セリフに着目したキャラクタロール推定に関する基礎検討
吉田真紘（関西大学），藤川雄翔（関西大学），松下光範（関西大学），山西良典（関西大学）
物語に登場するキャラクタは、共感や感情移入を生み出す重要な要素である物語上の役割（キャラクタロール）を持つ。しかし現状では、読者が好みのキャラクタを探したくても、キャラクタロールに基づく検索はできない。そこでセリフの特徴からキャラクタロールを推定する手法を提案する。読者はキャラクタの行動や言葉からロールを解釈するため、今回は主人公が他のキャラクタに向けるセリフに着目した。
小説家になろう・Netflixから、120キャラクタのセリフデータセットを構築した。さらにそれらを時系列順にまとめた「セリフ群」を作成し、BERTモデルをファインチューニングし、キャラクタロールの推定を行った。その結果、「師匠・先生」ロールで8割以上の精度が得られるなど、セリフからキャラクタロールを推定できる可能性が示された。一方で、「敵」ロールが発する勧誘や実力を認めるセリフを「ライバル」ロールと誤認識するといったケースも見られたため、今後はキャラクタロールの定義を再検討する必要がある。
感想：ファンの間で抱く「〇〇っぽいキャラ」「こういうキャラは〇〇しがち」くらいの曖昧な共有認識しかなかったキャラクタロールについて、セリフというテキスト情報のみから機械的に推定しようとする試みが印象的でした。7割を超える精度が出せたという成果も画期的だと感じます。ただ現状はロールの区分が基礎的な３種類に留まっているので、精度向上のみならずより細かい（検索の需要に答えられるような）細分化ができるようになることを期待しています。（桑原＠筑波大学大学院）
コミックにおけるオノマトペの不使用場面についての定量的調査
山田柊太，小松孝徳，中村聡史
本研究は、コミックにおける擬音語・擬態語などのオノマトペの不使用場面に共通する特徴を、Manga109およびCOOデータセットを用いて定量的に検証したものである。先行研究では、オノマトペが使われていないコマには「身体のパーツが拡大されている」「コマサイズが大きい」「丁寧な描写がなされている」といった特徴があるとされていたが、主観的な判断に基づいていた。本研究の分析の結果、「身体のパーツが拡大されている」点は再確認されたものの、「サイズの大きさ」や「丁寧な描写」に関しては、むしろオノマトペが使用されているコマに多く見られることが明らかになった。これらの違いは、対象とするコミックの年代やジャンルの違いによる影響と考えられる。
感想：この研究の話を聞いた時に真っ先に思い浮かんだのが、現在少年ジャンプ＋で連載中の「ダンダダン」（龍幸伸，集英社）でした。この作品は戦闘シーンでもオノマトペをほとんど使うことなく描写することで有名です。オノマトペは確かに読者に臨場感を伝えるための表現手法として有用ですが、多用しすぎるとごちゃごちゃして読みにくくなってしまうように思います。そのため、この研究はオノマトペを“意図的に使わない”ことによる表現にどんなものがあるのかを定量的に検証した研究であることから、個人的に大変興味が湧いた研究でした。今回は先行研究で検証した結果が定量的に調査しても同じかを検証したものであったため、オノマトペと他のコマ内の表現の関係性について明らかとなるように期待しています。（藤川＠関西大学大学院）
描き文字を付した図形の印象変化に関わる要因の特定に向けて
宮本真希（北陸先端科学技術大学院大学），日髙昇平（北陸先端科学技術大学院大学）
マンガは視覚情報と言語情報を組み合わせたメディアであり、絵の一部として描き文字という装飾文字が用いられることもあるが、読者は本当にその描写から共通のイメージを読み取ることができているのだろうか。描き文字は言葉と見た目で構成されており、組み合わせによって印象が変化する。描き文字の要素によって対象物の印象がどのように変化するのか特定するための実験を行った。白い正方形に描き文字を付加したアニメーションを実験参加者に提示し、その硬度の印象を５段階で評価させた。結果、描き文字のテキスト内容および文字輪郭が硬度の印象に影響を与えることが分かった。今後の課題として、異なる形状の図形での検証や日本語話者以外を対象とした実験などが挙げられる。
感想：マンガの読解は人間の高度な認知能力を要求する複雑な行為であり、機械にマンガを読ませる試みが容易ではないのもその認知の問題があるからです。人間がマンガを読む際に重要な手がかりとなる描き文字の印象を定量的に評価することで、どんな描き文字ならどんな印象を与えられるのかの対応性が明らかになり、それを機械的にコントロールできるようになるかもしれないと考えると、今後の発展が非常に楽しみな研究でした。（桑原＠筑波大学大学院）
漫画画像理解性能が漫画音声合成の品質に与える影響の調査
越野颯太（慶應義塾大学），上治正太郎（慶應義塾大学），高道慎之介（慶應義塾大学／産業技術総合研究所），中村友彦（産業技術総合研究所）
本研究は、漫画画像から自動的に演技音声を合成する「漫画音声合成」技術の性能を評価し、ボイスコミックの自動生成を目指した研究である。具体的には、漫画画像の認識・理解精度が最終的な音声品質に与える影響を調査した。提案システムは既存の漫画画像解析技術と音声合成技術を組み合わせて構築され、Manga109とMangaVoxデータセットを用いた実験により、テキスト検出・認識精度、フレーム・テキストの順序推定の正確さが音声の自然さや分かりやすさに大きく影響することが明らかとなった。また、セリフや固有名詞の正確な読みや感情表現も今後の課題として指摘された。
感想：ボイスコミックは漫画を読んでいるとよく見かけるので、馴染み深い内容の研究だと感じました。最近では、聴く読書としてオーディオブックなどが流行っていますが、漫画はセリフのテキストだけでなくイラストもあり、数も多いため全ての作品をボイスコミック化していくことは中々難しいと感じています。ですが、この研究が発展していくことにより、品質の良い音声合成が漫画に付与され、視覚障碍者にも漫画を楽しんでもらえるようなコンテンツになっていくのではないかと感じました。（藤川＠関西大学大学院）
Text-to-Image モデルによる吹き出しセグメンテーションと背景補完手法の提案
高木健路（愛知工業大学），長澤弥子（愛知工業大学），堀田政二（東京農工大学），澤 野弘明（愛知工業大学）
既存のマンガを縦スクロール形式のウェブトゥーンに変換する作業は人力で行われており、吹き出しの移動やそれに伴う背景補完など、編集者の負担が課題となっている。この変換作業の自動化のために、吹き出しのセグメンテーションと背景補完を行う手法を提案する。T2Iモデルによって学習用のデータセットを自動生成し、学習済みモデルで吹き出し領域の推定・除去・画像補完処理を行う。実験では、生成画像と実際のマンガ画像でデータセットの構成を分けて評価した。結果、マンガ画像のみで学習したモデルの精度が最も高かったが、生成画像でもその枚数を増やすことで精度向上が見られた。背景補完の実験では、白色背景やコマの分割など単純な構造は補完できた一方、キャラクターの顔など複雑な背景は破綻してしまった。今後の課題として、データセットの生成画像枚数の拡充などが挙げられる。
感想：機械的なウェブトゥーン変換作業は、実現すれば大きなコスト削減となる一方で、やはり精度の面で完璧な自動化はハードルが高いという現状が理解できました。コメントにもありましたが、マンガのウェブトゥーン化というのは、単なるパズルの入れ替えではなくアニメ化や舞台化に近い「翻案」の一種だと思うので、画像削除・補完のみで作業を達成するのは難しいかもしれません。ただ技術自体は目的を絞れば十分実用レベルに達しているようにも思うので、技術的な工夫だけでなく現場レベルでの活用法の模索にも期待します。（桑原＠筑波大学大学院）
キャラクターイラストに対するStyleGANベースの表情編集手法
徳永勇輝（立命館大学），仲田晋（立命館大学）
本研究は、アニメ風の顔イラストに対して表情を自在に編集できる画像変換手法の開発を目的としている。漫画・アニメ制作において表情の描き分けは手間のかかる工程であり、その負担を軽減するために、学習済みVAEとStyleGAN2のGeneratorを組み合わせた新たなモデルを提案した。提案手法では、ユーザが指定する「喜び」「悲しみ」の2種類のパラメータをもとに、入力イラストの構図や絵柄を保持しつつ表情を変換できる。検証実験ではCGキャラクターを用いて1000枚の画像データを生成し、学習により表情変換の有効性を確認した。変換後の画像は概ね意図通りの表情に変換されたが、一部でぼやけた出力も見られ、また現時点では表現できる表情の種類や対象キャラクターが限定的である。
感想：アニメを描く際は同じような絵を何枚も描く必要があるため、表情の描き分けは相当なタスクになると思います。そのため、その表情を描くための手助けとして役立つこの研究はそういった問題を解決するために非常に有用なツールになると感じました。今回の発表では、「喜び」と「悲しみ」の2種類で表現していたため、今後はより多様な表情が表現できるようになることを期待しています。（藤川＠関西大学大学院）
招待講演：『私的マンガ工学試論――デジタルマンガ挑戦40年史――』
すがやみつる（マンガ家・日本マンガ学会会長）
本講演では、マンガ家でありながら日本マンガ学会会長も務めている、すがやみつる先生のこれまでの経歴から始まり、マンガのデジタル化にどう向き合ってきたのか、マンガやマンガ家はこれから生成AIとどう付き合っていくか、などをお話しいただきました。
感想：実際にマンガ家として活動されており、またコンピュータを活用してマンガを描かれてきたすがやみつる先生のお話を聴くことができる大変貴重な機会をいただきました。74歳になった現在でもマンガに対して精力的に活動されており、自分のしたいことに年齢は関係ないのだなと感じる講演でした。また、マンガに関係の深いイラストと生成AIというセンシティブな話題にも触れられ、大変興味深いお話もありました。生成AIはどの工程でマンガを描くことを手伝えるのか、生成AIはマンガを理解することができるのか、をマンガ家の視点から語っていただきました。生成AIを活用することには大変賛否が分かれる内容かと思いますが、個人的には自分で描いたイラストだけを学習させたコンピュータにもう一人の自分としてアシスタントを務めてもらえることが生成AIの理想のポジションではないかと感じました。今後のマンガ業界と生成AIの動向には一マンガの研究者として、しっかり注目していきたいと思います。（藤川＠関西大学大学院）
物語間の共通性と差異性に着目したコンテンツナビゲーションに関する研究
藤川雄翔（関西大学），松下光範（関西大学），山西良典（関西大学）
現状の物語の探し方は、受動的なレコメンデーションや能動的なタグ検索が主であるが、推薦理由が不透明であったり、同じジャンルでも好みに合わない作品に出会ったりするなど必ずしも満足する結果になるとは限らない。主題を端的に表すコンセプト文を用いることで、物語の主題の共通性から検索が可能になりこの問題が解決する。複数の物語のあらすじ文をクラスタリングして共通部分を抽出することで、コンセプト文を生成する。
感想：これから行っていく研究の整理ということでしたが、非常に興味深い内容でした。コンセプト文によるレコメンデーションというのはある意味「理想」であり、それが難しいので代替手段としてジャンルやレーベルといった曖昧な区分が用いられてきた、というのが自分の理解です。なのでこれが実現すれば今までにないほど正確な作品探索ができるようになると思います。コンセプト文制作の難しさは、結局のところ全部のマンガを読んで中立的に記述することは不可能という制限に起因しているので、LLMのパワーがあればどうにかなってしまうような気もします。（桑原＠筑波大学大学院）
計量分析と心電計測によるマンガの登場人物と読者の感情遷移の把握
迎山和司（立命館大学）村井源（公立はこだて未来大学），佐藤直行（公立はこだて未来大学）
本研究は、AIによる「面白いマンガ」の生成を目指し、その面白さを定量的に測る手法を探るものである。手塚治虫『ブラック・ジャック』を対象に、マンガの各コマへの感情アノテーションによる計量分析と、読者の心拍変動を測定する心電計測の二手法を実施した。キメゴマでは登場人物と読者が共に「驚き」や「悲しみ」などの感情を共有しやすい傾向が見られたが、心拍データには個人差が大きく、生体反応と表明感情との乖離も示唆された。これにより、読者は野性的な感情ではなく、理性によって感情を構築している可能性が考察された。感情を含むデータの活用により、創造性を備えたAIの実現に貢献することが本研究の目的である。
感想：私は漫画を読んでいる間は感情が出やすいと思っています。ニヤニヤしたり、普通に声に出して笑ったり驚いたりしていると周りからも言われます（笑）。特に面白いと思っている漫画だとそういうことは多くなってしまいます。そういった点から見ても、読者の感情遷移を把握することは、漫画の面白さを定量的に測り、漫画の生成に繋げることに重要であると考えます。漫画の面白さをAIに理解させることで、より面白いと感じることのできる漫画の生成につながる研究であると感じています。（藤川＠関西大学大学院）
学術論文におけるマンガ引用の追跡性の分析―マンガ引用支援システムの実現に向けて
桑原誠市（筑波大学），三原鉄也（筑波大学），永森光晴（筑波大学）
本研究は、学術論文におけるマンガの引用について、その追跡性を「資料追跡性」と「箇所追跡性」の二観点から分析した。電子情報通信学会およびマンガ学会の論文計90本・1,360件の引用を調査した結果、全体の約55％が資料追跡性に欠け、特にタイトル表記の注不足やコマ内部の細粒度要素における曖昧さが課題として浮上した。これらの問題を踏まえ、マンガの書誌情報や構成要素をLinked Open DataやIIIFを用いて記述・管理し、正確な引用を支援するシステムの必要性と機能について提案を行った。
感想：この研究発表を聞いている間、私はどのように引用してきただろう、もしかしてあまり良くない引用をしていたのではないかと内心ヒヤヒヤしながら聞いていました…。私自身、論文内で実験対象の漫画に言及する際や、説明に漫画を用いる際に、どのように引用するべきかは毎回悩むところです。（これは論文に限らず、研究発表のスライド資料を作る際にも同じく悩みます。）そのため、この研究は漫画を研究対象とする研究者の助けになるシステムになると感じました。ただ漫画の書誌データをつくるためのコストがかかるといった課題もあるため、一筋縄ではいかないところもありますが、今後の研究でさらに発展して私たち漫画の研究者が漫画を引用する際に大助かりになるシステムが出来上がっていくことを期待しています。（藤川＠関西大学大学院）
Paper2Comix: 論文要約を構造記述化しコミック化するLLM/VLM連携マルチモーダルパイプライン
多田治子（国立情報学研究所），杉本晃宏（国立情報学研究所）
学術論文は専門家以外にとって内容の理解が難しい。その対策として、LLMを用いて論文を要約し、理解の容易なコミック形式へ自動変換するツールを開発する。構造記述言語であるD2言語のコードを基にGPT-4oでコミック画像を生成する一貫したツール構成を実現した。D2言語は記法がシンプルかつ自由度が高く、それでいて自然言語による指示よりも明確にマンガの構図を示すことができる。またさらに、その生成されたコミックの検証として、複数のVLM（GPT-4V・Claude-3・LLaVA）で性能比較試験を行った結果、Claude-3が総合スコア87.5%で最高性能を示した。特にレイアウト最適性やキャラクター表現の理解、複数カテゴリの誤りを含む画像の検出で優れた能力を示したが、キャラクターの表情指示誤りの検出には課題も残った。
感想：論文をマンガにするという発送がそもそもなかったので新鮮な発表内容でした。自分が研究・勉強をしていても、知らない分野の論文（特に英語の文献）は読むのに時間がかかってしまうので、理解の最初のステップとして要約マンガのようなものがあったら便利だろうと感じます。ただ今後の課題にもあった通り、現状だと構図が画一的でマンガというより絵つきの説明文のような印象を受けるので、マンガならではの表現上の工夫がさらに深まると論文の理解度が増すかもしれません。単なる論文の要約であればテキストで同じようなことができてしまうので、論文自体をストーリー仕立てにしてマンガ化するような方向性が実現されれば面白いと感じました。（桑原＠筑波大学大学院）
