2020年9月17日，18日に第4回研究発表会が実施されました．今回は，オンラインでの開催となりました．また，2020年3月に開催予定であって発表を中止とした第3回研究発表会の振替発表や第3回で発表予定であったものを更に進展させた研究成果の発表も行われました．以下は，参加学生からの参加報告となります．
Session 1: モーションコミック
1. 大芝潤気 (大阪府立大)， 岩田基 (大阪府立大)， 黄瀬浩一 (大阪府立大)：C2GANを用いたランドマークに基づくアニメキャラクタの顔画像自動生成手法(第3回振替発表）
電子コミック市場の拡大に伴い，近年ではモーションコミックと呼ばれる，漫画のキャラクターの動作や表情，吹き出しなどの要素にアニメーションを付与し，演出を行うという新しい動画サービスが登場しています．このサービスにより，読者は新しい方法で好きな漫画を楽しむことができます．しかし，モーションコミックの作成は手間と時間がかかるため，モーションコミックとして楽しむことができる作品は一部の作品に限られています．そこで，この研究では表情変化に関するアニメーションの自動生成手法として，C2GANと呼ばれるネットワークを，アニメキャラクタの顔画像に適用し，ランドマーク（顔の特徴部分に打たれた点の集まり）に基づいたアニメキャラクタの顔画像を自動生成する手法を提案しています．今後の研究では，生成される顔画像の質の向上，ランドマーク推定を改善する手法を検討するとのことです
アニメーション1秒あたりにかかる絵の枚数は24〜30枚と聞いたことがあります．この研究で得られた成果は，そのようなコストの削減につながるので，今後も成果が期待される研究だと思いました．（立命館大学 今泉港大）
2. 大西諒太（愛工大）, 田中海斗（愛工大）, 澤野弘明（愛工大）, 堀田政二（農工大）：漫画画像のモーションコミック化手法の提案(第3回振替発表）
漫画を映像化したモーションコミックは，YouTubeの映像広告などに使用されており，作品の興味を引かせ，読者の購買意欲を高めるといった効果が確認されています．しかし，モーションコミックを作成する際，コマ内のキャラクタやセリフに付与した映像効果と背景に流れる音楽との間に関連性を持たせることは難しいと考えられます．そこで，この研究ではモーションコミックを作成する手法の一つとして，画像処理によって漫画からコマ抽出を行った後，映像効果を付与し，音楽のテンポ分析により，コマが切り替わるような手法を提案しています．今後の研究では，コマ抽出の精度の向上や，新たな映像効果の付与を行うとのことです
この研究では，映像と音楽の関連性に着目していることから，アニメの前後で流れるオープニングやエンディングの制作にも，この研究の成果が活かせるのではないかと思いました．（立命館大学 今泉港大）
Session 2： 内容理解
5. 迎山和司（はこだて未来大）：マンガを思い描くAI 〜私たちの心を知るために
人間は漫画を読む時，キャラクタの描写や背景といった情報から，心の中で漫画全体の世界観を思い描きます．ここで発表者は，AIに心の中で漫画を思い描くという行動を真似させた時，どのようなことがわかるだろうかと考えました．発表者はこの疑問に対するアプローチとして，漫画の登場人物やセリフ，背景といったメタデータをプログラムに当てはめ，動画を作成しました．作成した動画をAIが漫画を思い描いた結果として捉えることで，人間とAIのどこに違いがあるのかについて検証しています．この検証の結果から，作家と読者の中で共有している感情という要素を捉えることが，AIを作成する上での重要な課題だと考察しています．
AIが漫画を思い描いた結果として用いた動画はとてもわかりやすく，面白かったですさらにその動画から，人間が漫画を読む際，実は沢山のことを無意識化に行っている，ということを知り驚きました．（立命館大学 今泉港大）
6. 森理緒奈（関西大），山西良典（関西大），松下光範（関西大）：発話の役割を要素とするベクトルを用いた登場人物間の有向関係の表現方法の提案
漫画内の登場人物間には恋人やライバル，友人といった様々な関係性が見られます．しかしある一つの関係性に注目してみても，登場人物が互いにどう思っているかで，表現が多岐に渡ります．ここでは互いにどう思っているかを示した関係を有効関係と定義します．著者はこの有効関係をシステムが認識することで，登場人物の関係性に着目した漫画検索の作成が可能になると考察しており，この研究では，発話の役割の統計情報をベクトル化することで，登場人物間の有効関係を表現する手法を提案しています．今後の研究では，一対一の関係ではなく，複数の登場人物をある一つのグループとして，グループ間での有向関係の表現を目的に研究を行うとのことです．
最近，自分は少女漫画を多く読み始めたのですが，少女漫画といってもコメディ色の強いものから，シリアスなものまで，様々な種類が存在します．このような細かな分類にも対応した検索システムが，この研究で得た成果を元に開発されるのが楽しみだと思いました．（立命館大学 今泉港大）
7. 山口直彦（IPUT）：情報学の視点で読み解くライトノベル研究
この研究発表では，ライトノベル研究会が誕生した背景や，この研究会でどのような活動を行なってきたかについて報告しています．ライトノベルはゼロ年代の中盤から後半にかけて，アニメや漫画に並ぶ新しい表現形式として定着しましたが，ライトノベルを語る上での定義自体はあやふやなままでした．そこでライトノベル研究会では，ライトノベルの歴史や作品分析などの知見から，ライトノベルの関するある見解をまとめ，発表者はこの見解について，情報科学的な視点からアプローチを行いました．また，情報科学的な視点で見た時，ライトノベルが今後どのような変化をしていくのかについても考察していました．
ライトノベルが消えるのではなく，他の文学形式と融合するという考察が面白かったです．これを漫画に置き換えた時，今流行している表現方法はどういった経緯で誕生したのか，また今後どのような表現方法に変化していくのか気になりました．（立命館大学 今泉港大）
Session 3： データセット構築
8. 阿部和樹（明大），中村聡史（明大）：コミックのセリフと発話者対応付けデータセットの構築とその困難性(第3回振替発表）
コミックの内容をもとにした研究において，コマ内のセリフの話者が誰なのかということを推定することは重要です．筆者らは，これまでセリフからの話者推定に向けて，様々な分析を行い，その困難性について整理し，データセット構築手法を実現してきました．具体的には，話者とセリフの近さに着目し，セリフを発話してると考えられるキャラクタにドラック＆ドロップすることで話者とセリフの関係をアノテーションできるものです．今回の研究では，これまでの小規模なデータセットではなく，Managa109データセットのすべてのコミックを対象としたセリフ・話者対応付けデータセットの構築を行いました．
今後は，データセットの対象となるコミック数を増やしていくことと，人によるセリフと話者の判定の困難性について明らかにしていくことが展望としてあげられていました．議論では，コマ内に登場していないモブキャラのセリフなどは，人ですらアノテーションすることが困難であることや，コミックの年代によってもその特性が変わるといったことなどに焦点があてられていました．
キャラクタとセリフの対応付けの精度が上がれば，キャラクターの性格などの情報がセリフから抽出できる可能性があり，さらなるコミック工学の進歩に繋がる点が，興味深かったです．(関西大学 福元颯)
9. 元山直輝（大阪府大），岡田真（大阪府大），森直樹（大阪府大）：漫画のオブジェクト順位データセットの構築と機械学習による内容理解の提案
漫画は画像情報であるため，漫画の内容情報の研究では言語情報に付随する研究を行うことが困難です．小説が文章の順番をストーリーの展開として扱うことに対して，漫画は文章情報であるため，台詞の順番はユーザがストーリーの文脈を踏まえて判断する必要があります．そのため，漫画を機械的に分析する際に，漫画のコマや台詞といったオブジェクトの順位データセットが必要となります．この研究では，コマや台詞などのオブジェクトを人手で順位付けするアノテーションツールの開発とそれを用いて既存の漫画データセットの拡張を行いました．
議論では，コマ割りの問題とコマ内の発言順序の問題を2分したほうが，精度が出る研究ではないかといった質問が出てましたが，コマ順の推定がほぼ100%であることから，コマの階層化を利用して問題を解くことを目的としているということでした．
漫画の言語情報では，台詞だけでも吹き出しの有無や文字の大小があり，それに加えてオノマトペなどもあります．私自身もコミックを読んでいる際に混乱することがたまにありました．そのような状況における問題点などが細分化され，それぞれのタスクの困難性に着目されていたので興味深かったです．(関西大学 福元颯)
Session 4： 描画支援
10. 村津幸祐（立命館），藤田宜久（立命館），山西良典（関西大），仲田晋（立命館）：2次元平面上のアニメ風顔画像回転モデルの作成と検証
現在，日本のアニメーメーション作品は世界的に人気を集めていますが，キャラクターを描く工程の多くが手作業で行われており，人的コストや時間的コストが高くなっています．そのため，近年は作業効率のため3次元コンピュータグラフィックス（以下，3DCGとする）が用いられています．しかし，本来 2D で表現される映像を 3D 空間を介しているために，3DCGを利用すると多くの問題が生じます．
この研究では，1枚の画像から任意の角度の顔画像が生成できるように，キャラクターの顔画像に対し，特徴点を使うことで任意の角度に回転することのできる標準顔回転モデルの作成手法とその有効性を検討しています．回転モデルは，キャラクター顔画像の直線の始点と終点や曲線の頂点など構造的に特徴のある箇所を特徴点として設定し，その特徴点座標から補間式を生成して作成されています．回転モデル作成時に使用したキャラクターへの依存度が高かったことから，回転モデルの作成手順見直しが展望として挙げられていました．
私は漫画が好きで，漫画がアニメ化する際は毎度テンションが上がっているのですが，この研究がシステムとして実装されれば，私のような一般人でも自由にアニメーション化が可能になるので，システムとして実装が待ち遠しく感じました．(関西大学 森理緒奈）
11. 粟根啓太（東大），坪田亘記（東大），幾田光（東大），松井勇佑（東大）， 相澤清晴（東大）：画像補完による顔イラストの見栄え向上
近年デジタルイラストに取り組む初心者が増えていますが，初心者のイラストの技術向上を目的としたアプリケーションは多くありません．そこでこの研究は，初心者のイラストの見栄え向上を目的としていました．イラストから抽出した線画の周辺部をマスクとし，そのマスク部分に対して上級者イラストから学習した画像の補完を施す事で見栄えを向上させる手法を提案しています．結果として，顔の向きや表情，色味などの特徴を保った状態でスタイルの修正を可能しています．展望として，顔以外の適用が挙げられていました．
見栄えの定義が難しいところはあると思いますが，自分の好きなテイストに寄せるように，自分が描いた絵のバランスを補正してくれると，絵を楽しめるのかなと思いました．(関西大学 森理緒奈）
12. 坪田亘記（東大），伊神大貴（東大），相澤清晴（東大）：深層学習でのスクリーントーンレイヤーの付与によるトーン貼り(第3回振替発表）
コミックの線画に対して，トーンを重ねて貼っていく作業をトーン貼りと言います．トーン貼りは現状人手で行われているため，トーン貼りを自動化することを目的としています．具体的には，画素ごとのトーンのクラスラベルをトーンラベルとし，漫画からトーンラベルを得るためのトーン分類器と線画からトーンラベルを生成するトーンラベル生成器を実装しました．評価では，pix2pixとの比較実験を行い考察を述べていました．
議論では，定量的評価が困難であることが挙げられ，評価指標にはどのようなデータを使うべきかについて，話されていました．また，トーン自体は漫画家の方々が指定することから，キャラクターのトーン指定までは手動で，同一キャラクターのトーンを自動化する方向性に需要があるといった意見もありました．
コミックのトーンはアナログかデジタルで異なり，それぞれの困難性があると感じます．アナログからデジタルへの移行を行う漫画家さんにとっては，この研究の自動化が実装されれば，一番助かる気がしました．(関西大学 福元颯)
Session 5： コミック特徴抽出
13. 福田ちひろ（筑波大），三原鉄也（筑波大），永森光晴（筑波大）：マンガのシーン抽出のためのコマの連続性評価手法 ―人物出現パターンに着目して―(第3回振替発表）
マンガにおけるサービスの開発において，マンガの要約やダイジェストの自動生成する手法が提案されています．ダイジェストがあればマンガを全て読まなくても，内容を大まかに把握し既存作品を探索する際に役立つからです．しかし，マンガは画像情報のため，ストーリーの詳細については，画像データに明示的に記述されていません．そこで，マンガのシーンに着目し，隣り合うコマの連続性を評価する手法を提案しました．具体的には，マンガの主な構成要素であるキャラクターの有無を特徴ベクトルに変換してコマごとの類似度を算出し，類似するコマの連続的な出現からシーンを抽出しています．評価実験では，先行研究との比較により提案手法の有効性を示し，特にメインキャラクターの独白シーンや会話シーンといった特定のシーンの一部の抽出に有効であるという傾向を明らかにしました．今後の展望として，キャラクターの出現頻度以外にナレーションやセリフといった情報もシーン抽出に活用できる可能性を示していました．
議論では，シーンの転換をどう定義するかによって問題の複雑性が変わることや，キャラクターの出現はON・OFFではなく，キャラクターごとの重み付けを行う必要性について話されていました．
過去に読んだ長編コミックを見返したいと思った時，ある程度前から読み直さなければならないことがしばしばあります．そのため，このダイジェストの研究が進むことがとても楽しみです．(関西大学 福元颯)
14. 渡邉聡（明大），望月華（明大），二宮洸太（明大），梶田美帆（明大），中村聡史（明大）：印象にもとづくコミック検索に向けた服領域自動抽出と印象推定に関する検討電子コミックを検索する際，手掛かりとなるのは著者名やコミックのタイトルなどがありますが，ユーザのニーズに合わせたコミックの内容情報に基づいた検索は多くありません．例えば，「さわやかな雰囲気の漫画が読みたい」のような，印象や雰囲気に基づく曖昧な要求を満たすためには，そのコミックを分析するとともに，印象にまつわるクエリで検索ができるようにする必要があります．そこでこの研究は，コミックの内容で印象に大きく影響するものとして，登場人物の服に注目し，服の印象を自動的に推定する手法を検討しています．具体的には，コミックの服の印象にまつわるデータセットを構築し，評価者間の印象評価のブレや評価軸の妥当性について検証し， DeepFashion を用いたコミックの服領域抽出の検証を行っています．印象評価では，評価軸として適切とされる指標を明らかにする一方で，評価軸に左右されないユーザーが存在したことから，評価基準の統制が展望として挙げられています．また，服領域自動抽出では，対象によりカラーのみ判定可能なケースや，モノクロのみ可能なケースがあり，実世界での服を認識するDeepFationをそのまま用いるのは難しいことが述べられています．
漫画の内容情報に関する研究は色々ありますが，雰囲気や印象を服に着目し，推定する発想に非常に感心しました．(関西大学 森理緒奈）
15. 今泉港大（立命館）， 山西良典（関西大）， 西原陽子（立命館）， 小沢高広（漫画家 うめ）：任意の区間での出現傾向の類似性による漫画の登場人物の分類
出版される漫画は年々増加傾向にあり，漫画家は自分の作品と他作品との差別化をより意識するようになります．一方で編集者は増え続ける漫画の持ち込み中から，どの漫画が面白いか素早く見極める能力が必要となります．そこでこの研究は，作品の内容に着目した登場人物の分類を目的とし，ストーリー展開を計算的に捉える手法を検討しています．具体的には，登場人物の出現率系列を．DTWやDDTWなどのいくつかの距離尺度に適用し，登場人物間の類似度評価を行っています．読者の登場人物の役割分類，作者の登場人物の役割分類など，条件によって最適な距離尺度を明らかにしていました．
今後の展望として，登場人物を分類する際の最適なクラスタリング手法やクラスタ数を明らかにすることが挙げられていました．
漫画家さんと共同で研究する際に難しかった点など，研究者側の感想や，漫画家さん側の生の感想も聞き，非常に新鮮でした．(関西大学 森理緒奈）
全体の感想
今回の研究会の参加は自分にとって初の機会であり，それに加え，コロナの影響によるリモートでの発表ということで，とても緊張しました．しかし，発表と並行して，参加者の感想をリアルタイムで知ることができ，リモート発表ならではの利点を感じた研究会でした．とてもよかったです．（立命館大学 今泉港大）
オンラインで行われたため，現地での雰囲気は味わえませんでしたが，Scrap Boxでの質疑では，オンラインならではの良さを感じることができました．研究自体もそうでしたが，特に質疑では今後のコミック工学の発展を意識していて，コミックの将来に期待したくなる有意義な研究会でした．(関西大学 福元颯)
今回が私にとって初めての学会参加でした．発表はオンラインなので緊張しないと思っていたのですが，相手の反応が見えないのがかえって緊張しました．質疑応答では，今までの活動の中では聞くことのなかった貴重な意見をいただいたので，学会に参加してよかったと感じました．また，他の発表者の方々の研究内容に加え，わかりやすい研究発表を聞いて，自分の未熟さを知り，まだまだ頑張らないと，と感じさせられる場でした．今回学会に参加することで，原稿の作り方や発表の仕方など勉強になることが多かったと感じます．これからもこの経験を糧として引き続き卒業研究に励んでいきたいと思います．(関西大学 森理緒奈）
