Session 1: 創作支援
マンガストーリー制作支援に向けた議論ツールデザインの検討
鎌田尚希(東京電機大学),武川直樹(東京電機大学)
現在のマンガ制作教育はペン入れ技術が主体で,ストーリー構成の教育が不十分です。この研究は,マンガの質の向上において重要なストーリー構成力を向上させるツールをデザインすることを目的としています。新たに考案したストーリー構成プロットシートを用いて,提案するファシリテーションルールに基づきグループ議論を行うことによって,漢然としたアイデアから徐々に細かいストーリーを構築することができます。ストーリー構成段階における議論の役割を明確にします。
- プロットシートとファシリテーションルールの提案は非常に面白いと思います。最近漫画を読んでいる時、おもしろいアイデアやテーマを持っているのに、明確な目標を持たずに起承転結がうまくできなかったことで読むと違和感が出てくる作品が増えていることが感じて、惜しいと思っています。作品を書く前にプロットシートをきちんと作成することは重要だと思います。また、プロットシートとファシリテーションルールのアィデアは、漫画のみならず、ノベルにも活用できるかもしれません。(雷)
発想支援における物語構造を利用したプロット生成システムの提案
日笠敬大(慶應義塾大学大学院理工学研究科),川野陽慈(慶應義塾大学大学院理工学研究科),須賀聖(慶應義塾大学大学院理工学研究科),栗原聡(慶應義塾大学理工学部)
近年,コンテンツ制作の市場が拡大すると共に、ストーリーやシナリオの需要が高まっています。しかしシナリオライター不足や,作成できるストーリーパターンの制限が深刻な問題となっていて,シナリオ生成におけるライターの創造性を刺激できるシステムの開発が求められています。この研究では,物語構造を利用してプロットを自動生成する手法を提案しています。物語構造を利用せず生成されたプロットと人手で作成されたプロットと比較して,評価を行いました。その結果、物語構造を利用してプロットを作成することの有用性とシステムの課題を発見することができました。
- 私自身も数回同人ノベルを書いた経験があります。最も深く感じることは、自分が書きたいプロットを書いた後で、これらのプロットをうまくつなげる方法がわからないことです。例えば、「メインヒロインとの出会い」と「学園祭」は学園ノベルの定番であり、これらのプロットについて著者達は普通ユニークなアイデアを持っています。ところが、この2つのプロット間の日常は更に難しいと思います。もしAIで作者が苦手な部分のプロットが構想できたら作品を書くことが容易になります。(雷)
Session 2: データセット
漫画のセリフと発話者対応付けデータセットの構築とその分析
櫻井翼(明治大学),伊藤理紗(明治大学),阿部和樹(明治大学),中村聡史(明治大学)
漫画の発話者推定などの研究を発展させるには,そのセリフを誰が発話したのかというデータセットが必要となります。この研究では,これまでに構築してきた Manga109における漫画のセリフと発話者を対応付けるデータセットを,アノテーション付与者数が平均2人から5人へとなるように拡張を行いました。また,これらのデータセットにおける各セリフの評価人数や分散度合いなどを指標とした分析を行いました。分析の結果,アノテーション付与者が2人と5人の時とでは 10%近く完全一致率が下がることを明らかにしました。また,評価一致度指標を算出することで,SF やバトルなどのシーンでは,アノテーション付与者にとって発話者の対応付けが困難であることなどを明らかにしました。
- コミック工学の研究をやろうとすると、まず「データセットはどこから取るの?」が関門になるのが現状です。Manga109は素晴らしいデータセットですが、コミック系の研究を継続的に発展させるために、新たなデータセット構築やそのための手法・ツールの開発の重要性は増しています。この研究は漫画の中のセリフ発話者情報に注目し、そのデータをアノテーションするためのインターフェースを開発し、さらに実際の漫画にアノテーションを試み、SFやバトル漫画には発話者特定困難のセリフが存在するなどの実務的な知見を報告しました。(韓)
漫画の読み順データセット公開に向けた調査
上原瑞歩(群馬大学 社会情報学部),鷲尾光樹(東京大学 大学院情報理工学系研究科),林克彦(群馬大学 情報学部),上垣外英剛(東京工業大学 科学技術創成研究院),木曽鉄男(LegalForce Research),小田悠介(LegalForce Research)
電子漫画の普及に伴って,漫画メディア処理の需要が高まっています。国内では Mangal109 のような比較的規模の大きな漫画データセットが公開されていますが,翻訳・文脈理解·情報検索などの自然言語処理を行うにはまだ十分な情報がアノテーションされていません。そこで,著者らはコマ・セリフの読み順を Manga109 に付与するため,アノテーション基準の策定及びツールの開発を行って,さらに実際にアノテーション作業を行った結果生じたアノテーション上の問題についての調査結果を報告しました。
- Manga109に新たな情報を付与・拡張することは、全く新しいデータセットを一から作るより効率がだいぶ良いと思います。ゲームにMODを追加して機能や遊べる要素を増やすに似ているますね。(韓)
Session 3: 表情・表現理解
アニメキャラの顔パーツの位置バランスとキャラクタ属性の関係性に関する基礎検討
中島楓華 (関西大学総合情報学部),山西良典 (関西大学総合情報学部),巽優人 (立命館大学大学院 情報理工学研究科),藤田宜久 (立命館大学情報理工学部),仲田 晋 (立命館大学情報理工学部)
この研究はアニメキャラクタの顔パーツの位置バランスが関連するキャラクタ属性を明らかにするための基礎検討を行っています。アニメキャラクタの顔はキャラクタの属性(例えば,性別や性格など)がひと目見てわかるように,目や口などの顔の中の重要なパーツの位置関係に属性ごとの傾向があります。例えば,「気が強い」キャラクタであれば目尻が上がっていたり,「男性」のキャラクタであれば目と口の距離が長くなっていたりします。キャラクタの顔の特徴からキャラクタの属性を推定することが可能になれば,作画時に目標とするキャラクタの属性として適切な顔パーツのパランスであるかを描画時に判定したり,自由に描画したキャラクタの顔画像からキャラクタの属性を自動で付与するなど,創作の支援につながると考えます。アニメキャラクタの正面顔画像を収集し,両目と口の特徴点の座標を取得し,両目と口の位置関係によって構成される三角形の底辺と高さの比率を算出することで、これらの顔パーツの位置バランスをキャラクタごとに用意しました。一方で,ファンサイトからアニメキャラクタの年齢,性別,性格に関連するタグをアニメキャラクタの属性として収集しました。そして,顔パーツの位置バランスを説明変数,キャラクタの属性を目的変数とする機械学習モデルを構築することで,顔パーツの位置バランスによって推定可能なキャラクタの属性,つまり,顔パーツの位置バランスと関連するキャラクタの属性を調査しました。
- キャラクターの属性とそのキャラクターの見た目に関係があるのでしょうか。言われてみればなんか定番テンプレみたいな、お約束のパターンがなくもない気もしますが。(金髪・縦ロール・お嬢様・ツンデレは大体ワンセットで登場させられています)この研究は顔のパーツとキャラの属性に注目していて、髪色や髪型、体型や服装などには触れていないが、それだけでも面白いです。さらにアニメキャラクターの属性をまとめているファンサイトがあることにびっくりしました。(韓)
多文化間における記号化された表情の認知に関する研究
田脇明奈(長崎県立大学大学院),金谷一朗(長崎大学),山本景子(京都工芸繊維大学),有田大作(長崎県立大学
コンピュータと人間のインタフェース技術として,言語情報や文字でのやり取りだけでなく感情や情緒のやり取りが今後重要となってくると考えられます。感情や情緒のやり取りでは,表情や身振りが重要な役割を果たしますが,これらの身体的情報が文化を超えて共通であるかは知られていません。この報告は感情を表す表情の表し方の文化的差異についての調査結果を発表しました。
- 簡単な線や丸でそれほど豊富な表情が表現できることは非常に面白く感じられました。また、文化の差異による表情表現に対する分析も新鮮な視点でした。これがうまくできたら自分の文化を更に他の国に輸出することができると思います。(雷)
手塚治虫を基点としたマンガ表現の普遍性と特殊性の考察
迎山和司(公立はこだて未来大学)
この研究では,マンガを記号的絵画として捉えて,その普遍性と特殊性を実際の作品において客観的に計測します。手塚治虫は幅広い作品ジャンルを描いており,原稿枚数は 15万枚と大量にあります。この点に注目して,「ブラック・ジャック」全話のメタデータを作成し,手塚作品のキャラクタ認識器を作成しました。この認識器を使って,手塚以外の作家の各作品に適用して,数値化しました。判定は顔を対象に性別・年齢,表情の3つにした結果,どのカテゴリの分類でも概ね認識できていることを確認しました。表情については高い数値が得られ,目などの顔の要素で共通の表現が確認できました。一方,作家独特の表現の発見は,1作品において「笑」と「驚」で確認されました。今後は分析する対象を,各時代や海外の作品に広げて,より多くの普遍性と特殊性を確認します。
- 日本の漫画業界に及ぼす影響が最も大きな漫画家は誰だと聞いたら、おそらく疑問なく手塚治虫先生の名前が出てきます。現在でも、手塚治虫先生の技法を模倣している漫画家が少なくないと思います。もしプロの漫画家がわざと手塚治虫のスタイルでキャラクターを描いた場合、この認識器で認識する結果がどうなるか気になりますね。(雷)
Session 4: 画像処理
深層学習を用いた線画の自動着色モデルにおけるセグメンテーション画像の活用
川村茂修(東京理科大学),澤田隼(東京理科大学),大村英史(東京理科大学),桂田浩一(東京理科大学)
アニメーション作品やカラー漫画の制作では大量の画像に着色を行う工程が生じます。そのため,着色工程の自動化は作品制作における制作者の負担軽減につながる可能性があります。しかし,深層学習を用いた線画の自動着色のほとんどはキャラクター等の特定オブジェクトに焦点を当てている場合が多く,背景画のような画像全体に多様な特徴がある画像については良好に着色が行えない場合があります。そこでこの研究は参照画像を用いて着色を行う既存の自動着色モデルに対して新たに線画のセマンティックセグメンテーション情報を入力することで,背景向けの線画に対しても明瞭な着色が可能な手法を提案しました。従来の自動着色法と比較した結果,セマンティックセグメンテーション情報によって着色における領域線のぼやけが軽減されるといった効果が確認できました。
- セグメンテーションに関する研究と自動着色に関する研究それぞれは既存研究が結構ありますが、この二つを組み合わせたものは斬新ですね。(韓)
マンガ画像中の不適切画像の検出システム
村上聡(横浜国立大学大学院環境情報研究院/イーブックイニシアティブジャパン),永冨一也,長尾智晴(横浜国立大学大学院環境情報研究院)
この研究は少年少女青年向けに販売されているマンガ画像から不適切画像を検出するシステムの構築を行っています。一般的な不適切画像の検出システムでは1つの画像を入力し不適切の判定を行うが,マンガではページ内に複数存在するコマ毎に別々の画像を描画するため,コマ毎に不適切画像の検出を行う必要があります。本システムではページ内のコマを自動抽出するための CNNと抽出したコマ毎に不適切画像を検出する CNN を組み合わせ,マンガに特化した不適切画像の検出システムを構築しました。従来は目視でしか確認できなかった不適切画像の検出作業の効率と検出品質を大幅に向上することができました。
- 出版業界の事情をちょっと覗くことができた研究です。この研究はどういう場面を想定しているのかは最初分かりませんでした、すでに出版されているってことは出版社と担当編集からOK得られたことだし、なぜまだ検閲するんですか、という疑問がありました。発表者さんの村上さんに質問したら、海外市場への配慮や、昔の漫画を電子化する際今の時代の容認できるラインに配慮するなど、なかなかリアルな理由がありました。(韓)
漫画キャラクターの顔と畳み込みニューラルネットワークに基づく漫画の作者推定
福田光範(東京農工大学)
この発表では,漫画の作者を機械学習によって推定することを目的に行った研究が紹介されました。具体的にはキャラクターの顔画像を対象とし,キャラクターの種類によらずその作者を推定することを目的としています。作者推定のための推定器は簡単な構造のCNN で作成して,顔のパーツへの注目やスクリーントーンへの注目など,さまざまな手法での実験を行います。それらの手法の紹介と精度についての比較と考察を通して効果的な漫画の作者推定のための手法を提案していきます。
- 現在、スマホゲーム産業の発達とともに、二次元キャラクターの立ち絵はゲームのセールスにある程度の影響があります。立ち絵に対する剽窃も益々大きな産業問題になっていると思います。この研究に基づき作者推定の精度が更に向上できれば、似ている立ち絵に対して剽窃推定もできると思います。(雷)
Session 5: 読書支援
コミックにおける読者依存性の高い地雷表現共有システムの実装とその分析
伊藤理紗(明治大学),中村聡史(明治大学)
コミックには多種多様なものが存在しています。読者にとって好みの描写もあれば,苦手な描写もあります。ここで,一部分に苦手な描写が出現する場合,そのコミックに苦手な描写が含まれているかを読者が事前に推測することは難しいです。著者らはこれまでの研究において,読者が苦手な描写を気にすることなくコミックを鑑賞するための手法を提案しました。本研究では,その手法を実環境で利用するため,コミックを読みながら手軽に読者が任意の苦手な表現についてフラグを付与できるシステムを開発して,データ収集実験を行いました。実験の結果,実験協力者間である程度地雷フラグが重複することが明らかになりました。
- 地雷表現と不適切表現は共通している部分があると考えています。今回の研究会では「不適切画像の自動検出」と「地雷表現のアノテーション」という似たような題材に対する異なる手法が提案・議論されていました。(韓)
- 単なる地雷フラグの説明文を見ると気持ちが悪くなりました。もしこのシステムが実装できたらこちらにとってありがたいです。(雷)
コミクエ: 新刊読書時に前巻までの流れを想起可能とするクイズ共有手法の提案
野中滉介(明治大学),関口祐豊(明治大学),小松原達哉(明治大学),桑原樹蘭(明治大学),中村聡史(明治大学)
単行本派の読者にとって,新刊を購入して読み始めたときに話の流れが分からず,前の巻や,その前の巻を読み直すということは珍しくないです。前巻までのあらすじがあればある程度把握可能ですが,多くの場合十分ではありません。またそもそも前巻を読んでおらず,そのあらすじがネタバレとなる可能性もあります。この研究は,新刊を読む際の思い出しを支援するため,クイズ形式で振り返りを可能とする手法を提案して,システムとして実装しました。また運用によって,その有用性について検証を行いました。
- 既刊のストーリーを想起させ、かつネタバレを回避するというタスクに注目している研究は多いと思います。一般的にはこういう問題はあらすじの自動生成など、既刊の情報をある程度処理・整理してユーザに提示する系の手法に結びつけがちだと思いますが、この研究は「情報提示」ではなく「質問」による既読確認と内容想起という新しいアイディアを提案しています。(韓)
報告者:立命館大学大学院 韓 毅弘,雷 凱風