未分類

第13回コミック工学研究会発表会報告記事

投稿日:

セッション1:読書体験

LLMを用いた人物相関図の自動生成に関する基礎検討
吉田 真紘(関西大学)、藤川 雄翔(関西大学)、松下 光範(関西大学)

概要:本研究の目的は物語テキストから相関図を自動生成することである。登場人物間の関係性はセリフ文や地の文の行動描写などから間接的に示されることが多い。こうした暗黙的な関係性の抽出には文脈を踏まえた解釈が求められるため、キーワードや共起関係を手がかりとする従来のルールベース手法では抽出が困難であった。そこで本稿では文脈を考慮した解釈が可能な大規模言語モデルを用いて関係性を抽出し、それをもとに相関図を生成する手法を提案する。検証の結果、実験対象とした 4 作品において一定の精度で生成可能であることが確認された。

感想:この発表は物語のテキストから登場人物の相関図の作成に必要な情報を、LLMが抽出できるのかどうかといった内容の報告でした。相関図は忘れかけていた物語をぱっと思い出すのにちょうどいいので、相関図が簡単に作れるようになると多くの作品でその体験ができるようになり良いと思いました。今回は1話のみの作品を対象に相関図を作っていましたが、今後複数話の物語になったときに話の展開によって変わった関係性をどう見せていくのかは気になるところです。(藤川@関西大学大学院)

音声マンガの構成要素に関するアンケート調査 ー有効性および必要性の検証ー
鈴木海人(筑波大学人間総合科学学術院人間総合科学研究群情報学学位プログラム博士後期課程)

概要:本研究は、視覚障害者向けの「音声マンガ」(朗読・ガイドナレーション・効果音で構成)について、その制作ガイドラインの有効性・必要性を、アンケート調査から検証した。視覚障害者・晴眼者 203 名から回答を得た結果、文字情報の全読み上げ、朗読とガイドナレーションの分離、一コマ単位の視覚情報説明、文体の制限といった項目は、ストーリー理解や聞き分けの面で有効性が確認された。一方、絵のイメージしやすさやコマ割り音・ページめくり音の必要性については評価が分かれ、視覚障害者間・晴眼者間でも差異がみられた。擬音やカラーページの説明などは検証できておらず、今後の追加調査と、LLM/VLM を用いた台本自動生成への展開が期待される。

感想:点訳マンガと音訳マンガの制作はボランティア団体に依存しており、読める作品がごくわずかであることを知りました。映画の音声ガイドから着想を得て、コマ割り音やページめくり音といった効果音を加えた「音声マンガ」という新しいメディアを提案されていたことが印象的でした。これが実現すれば、視覚的制約があっても晴眼者と同じようにマンガを楽しめるようになるかもしれないと考えると、今後の発展が非常に楽しみな研究でした。(吉田@関西大学大学院)

電子本棚の集合から得られるマンガ共起ネットワークのコミュニティ分析
今泉 港大(関西大学)、山西 良典(関西大学)

概要:本稿では、ユーザが登録した本棚情報に基づき、同一の本棚に含まれる作品同士を結びつけたマンガネットワークを構築する。本棚内の共起関係によるネットワークと、あらすじの類似度によって作成されるマンガネットワークのクラスタリング結果を比較することで、作品内情報の類似度だけではとらえることのできない、読者の楽しみ方による作品間の関係性を明らかにする。これにより、作品内情報に基づく分類と、読者行動に基づく分類の違いを分析し、読者の嗜好を反映した作品推薦や作品発見への応用可能性を検討する。

感想:電子本棚にお気に入り順で漫画を並べることで、ユーザが任意のテーマに基づいてランキング付けした自分だけの本棚を作れるというに着眼点に大変魅力を感じました。同じ本棚に含まれる作品同士を結びつけた漫画ネットワークでは、近接して配置された作品属性を手がかりにすることで、作品をジャンルだけでなく、言葉にしづらいメタ的な位置づけまで説明できるようになるとのことでした。これは、作品を推し語りするうえでも非常に嬉しいことだと感じています。(吉田@関西大学大学院)

セッション2:マルチメディア

KotoBalloon:ミーティング音声をコミック画像に変換するツールの開発
多田治子(個人研究者)

概要:本論文では、日本語の会議音声をコミック形式へ自動変換するツール KotoBalloon を提案する。本システムは、音声認識・話者分離・大規模言語モデル(LLM)による構造化を経て、解析結果を JSON 形式の中間表現(IR)として保持し、この IR からコミックを決定的に描画する。LLM の出力をスキーマ検証済みの JSON に限定し、描画を決定論的なプログラム処理とすることで、生成結果の再現性と検証可能性を担保する点に特徴がある。また、会議全体をトピック単位の大分類コマへ階層的に整理する仕組みを設計した。14 分 31 秒の自然会話音声への適用により一連の処理が破綻なく完了することを確認し、線形な発話列を俯瞰可能な構造として提示する視覚表現とそのインタフェースの発展可能性を考察する。

感想:会議の記録をコミック画像として生成するというアイデアは革新的だと感じました。コミックという表示形式であれば、議論の流れや要点の把握が容易になり、会議の始まりから終わりまでの時系列を視覚的に表現できると考えられます。一方で、音声データのみからイラストを自動生成することのリスクや動物アバターの選定といった倫理的な課題を伴うため、今後どのように実用化していくのか大変気になりました。(吉田@関西大学大学院)

人形浄瑠璃の感情表現はマンガに移植できるか
早野慎吾(都留文科大学)

概要:本研究は、人形浄瑠璃の感情表現をマンガ表現へ応用する可能性を検討したものである。八王子車人形『日高川入相花王』を対象に、好意、執着、苦悩、絶望の感情表現をモーションキャプチャによって分析した。その結果、好意では大きな円運動、執着では八の字運動、苦悩では直線運動と円運動の混合、絶望では小さな円運動と震えが確認された。さらに、これらの運動特徴を生成 AI によってマンガ表現へ変換した。その結果、人形浄瑠璃の感情表現は個々の所作ではなく運動原理として捉えることで、マンガのような静的メディアにも移植可能であることが示された。

感想:人形浄瑠璃の動きを学習したAIロボットの動作を最初に見たときに、まるで人が本当に動いているかのような人間味を感じました。感情の表現にはそれぞれ異なる動き方があり、私たち人間はそうした動きを特定の感情として自然に理解することができます。しかし、AIにとってこれらを理解してマンガへ移植させることは難しく、AI生成画像が的外れな画像を生成していたことから、マンガへ移植するには他にも考慮すべきことがあることを実感しました。(吉田@関西大学大学院)

VTuberのキャラクターデザイン様式研究 ── ホロライブの記号論的分析
茂出木謙太郎(デジタルハリウッド大学)

概要:本研究は、巨大化する VTuber 市場の価値の源泉である「アバタ」がいかにしてデザインされているかという「デザイン様式」を解明することを目的とする。アバタを目的を持った「ヒューマンインタフェース(HI)」として再定義し、ロラン・バルトの記号論を用い、「兎田ぺこら」と「儒烏風亭らでん」の事例を分析した結果、アバタのデザインは、オペレータの本人性が介入することを前提とした「多義的な余白、ユーザインタフェース

(UI)の初期状態」としてデザインされていることが明らかになった。運用を通じたパフォーマンスによって初期の記号的意味は事後的に上書きされ、ファンとの関係性構築や現実の文化制度への外化、そしてデザインのアップデートへと繋がっていく。結論として、現代の VTuber のデザインとは、パラソーシャル関係(擬似社会相互作用)の蓄積とともに事後的に意味を育て、アバタのデザインを更新し続ける「動的なエコシステム」を構築することであると主張する。

感想:Vtuberと漫画のデザイン様式の違いについて説明していただきました。漫画では、キャラクタのビジュアルが変化することでそのキャラクタの成長といった変化が読み取れるようになっています。一方でVtuberは、パーソン(演者)が変化することでビジュアルが変わる、というように、受け取るファンの解釈が先にあり、それに追従する形で外見が変化するという事を知りました。実際に漫画やVtuberの配信を見るとき、自分はどのようにコンテンツを受容しているのか改めて考えさせられる発表でした。(吉田@関西大学大学院)

セッション3:スポンサー講演・ライトニングトーク

鈴木聖人:長いセリフを読ませるための漫画コマ表現の定量分析

感想:漫画コマにおけるセリフの長さと、文字を除いた視覚情報との間に相関があるのかを分析した研究でした。吹き出しの中のセリフを読ませるために、あえて吹き出し以外に着目している点に新しさを感じました。最近の漫画では、状況や内容をセリフで語る説明セリフなども増え、全体的にセリフが長くなる傾向にあります。そのため、この研究の先に現代漫画のセリフ長の傾向を説明できる可能性がある点に面白さを感じました。(吉田@関西大学大学院)

すがやみつる(マンガ家):コミック工学なんかいらない

感想:現代の漫画産業は自動車に次ぐ第2の輸出産業であること、そしてデジタル作画や生成AIの普及、学校で漫画の描き方を学ぶことなどによって漫画の均一化が進み、無個性化が加速して飽きられることが危惧される。というお話をしていただきました。確かに、最近では異世界転生系をはじめとする単一ジャンルの類似した作品が数多く登場しており、私自身、一目見ただけでは作品ごとの違いに気づけない場面も出てきました。技術の進歩によって制作の裾野が広がる一方で、作品の個性をいかに保つかが、これからの漫画産業にとって重要な課題になると感じました。(吉田@関西大学大学院)

小沢高広(漫画家):妄想は人に、作業はAIに。

感想:漫画家である小沢先生が自らの漫画制作に用いるために開発した、漫画シナリオ執筆リポジトリに関するご発表でした。やはり、制作される方自らが開発したということもあり、制作に必要な実用的な機能が備えられているのが魅力的でした。特に、完成したシナリオに対して、編集者や読者などの3つの視点から分析させるという機能は興味深かったです。これは漫画などの物語の制作に限らず、大学などでの研究の際にも使えるのではないかと感じました。ライトニングトークという短い時間でしか聞けなかったのが残念なくらい興味深い内容でした。(藤川@関西大学大学院)

兵田 憲信(株式会社ドワンゴ):実例から見るLLMのマンガ理解:実務VQAタスクによる長期的文脈と視覚情報の定性評価

感想:LLMが漫画のようなテキストとイラストが入り混じり、かつ複数ページにまたがる長期的なコンテンツの文脈を理解することができるのかについて、文脈と視覚情報をどの程度まで理解しているのかを検証した発表でした。今回の検証でもLLMは漫画を大まかに把握し、正答することができていたので、漫画のこれまでのあらすじを説明してもらえる際に使えるのではないかと考えました。視覚情報がないと誤りやすくなってしまうようなので、やはり漫画の理解にはイラストが欠かせないコンテンツであるということを再認識するような内容でした。(藤川@関西大学大学院)

佐々木一磨(株式会社ドワンゴ):SAM3を用いたコマ・吹き出しの領域検出と分割構造からの読み順推定

感想:コミック工学研究会では幾度となく話題として上がる、ページのどの部分がコマと吹き出しなのかを判定し、どのような順序で読んでいくのかを推定する、といった発表でした。漫画はイラストとイラストの境界をコマで、イラストとセリフの境界を吹き出しで区切っているため、計算機に漫画の内容を理解してもらうには欠かせない技術ですが、難しい課題であると考えます。漫画によってもコマの形が違う、コマ割りも変わるなど多種多様な表現になっているので、計算機ができるようになることは大きな価値があり、コミック工学が向き合い続ける課題であると思います。(藤川@関西大学大学院)

セルシス(プラチナスポンサー):第13回コミック工学研究会スポンサー講演

SEGA(ゴールドスポンサー):第13回コミック工学研究会スポンサー講演

セッション4:創造:描画

絵コンテとレイアウトの対応関係学習に基づくレイアウト評価の基礎研究
木村沙耶(石川工業高等専門学校)、 川除佳和(石川工業高等専門学校)

概要:近年のアニメ制作業界における慢性的な人手不足により、新人アニメーターが十分な教育を受ける機会は限られている。 この課題に対し、本研究では 2D アニメーション制作のレイアウト工程に着目し、 絵コンテとレイアウトの対応関係を対照学習によって学習する基礎モデルを提案する。ResNet-50 を基盤とする dual-encoder構成を採用し、1 枚の絵コンテに対して対応する複数レイアウトを検索可能とした。 実制作データを用いた実験では Val Recall@5 = 0。536 を達成し、本手法がレイアウトの客観的評価の基盤となり得ることを示した。

感想:アニメの人気が高まり続ける中、アニメの制作現場の問題点も大きく注目される昨今でその状況を変えるための一石を投じる研究であると思いました。渡された絵コンテをもとにレイアウトを作成するアニメーターに対して、参考アドバイスやレイアウト例を出力するための第一歩となる研究発表でした。アニメーターは動きのない1枚の絵をいくつも描くことで動きを表現するため、その大元となるレイアウトに対して支援を行うことは非常に重要な役割を果たすと考えます。研究発表をされた方はまだ高専生とのことなので、今後のこの研究の発展に期待が寄せられる内容となっていました。(藤川@関西大学大学院)

オノマトペの連続性に着目したコミックの静寂表現の分析
山田柊太(明治大学)、小松孝徳(明治大学)、中村聡史(明治大学)

概要:本研究では、「Manga109」に含まれるコミック作品において、オノマトペが使われていないコマのうち、直前と直後のコマにはオノマトペが使われているものを孤立型のオノマトペ不使用コマとし、オノマトペ不使用コマのうち、孤立型の割合をコミックの特徴ごとに調査した。その結果、少年向けコミックやギャグ、バトルなどのジャンルで孤立型のオノマトペ不使用コマの割合が大きいことがわかった。

感想:前回の第12回コミック工学研究会で発表されていた、漫画内でオノマトペを意図的に使用しない表現に関する分析の続きの内容でした。今回はオノマトペの使われないコマだけでなく、その前後のコマにも着目して分析を行なっていました︎。確かにオノマトペを使わないコマは他のコマよりも強調されるといった側面があると思いますので、その前後のコマに着目するというのは良い視点だと思いました。今回はその前後のコマでオノマトペの使用・不使用を見ていましたが、そもそもその前後のコマがどういった表現のコマなのか分析してみるのも興味深いのではないのかと思いました。(藤川@関西大学大学院)

機械学習によるキャラクター頭部輪郭線のランダム生成と角度指定
中村奏太(立命館大学)、仲田晋(立命館大学)

概要:本研究は、2 次元キャラクターの頭部輪郭線を生成することを目的としている。頭部の形状はランダムに決定され、ユーザーは顔の向きを指定できる。CG 分野では椅子や車といった特定のカテゴリーの 3 次元形状をランダムに生成する DeepSDF という技術があり、これを応用することで目的達成を目指す。2 次元キャラクターの中には 3 次元図形として成立せず、CG 化が困難な場合もあるが、本研究ではそうした制約はなく、3 次元的に矛盾する図形にも対応している。

感想:この発表は、3次元で生成したキャラクターの頭部を2次元に変換し、その輪郭線を表現するといった内容でした。漫画やアニメのキャラクターの頭部は実在する人間の頭部と同じ形をしているとは限らず、クレヨンしんちゃん(臼井儀人,双葉社)のように個性的だったりします。そのような場合さまざまな角度で描くことは困難なため、それを3次元的に見たとき2次元ではこのように描けるよ、と視覚的に見せてくれるツールとなります。今後2次元の漫画やアニメを3Dアニメにするとなることも多いと思いますので、そのときに都度修正するのではなく、最初から3Dを意識した描かれ方になっていればより多くの漫画が立体的でダイナミックな表現が可能な3Dアニメにも落とし込まれていくのではないかと感じ、今後にワクワクするような内容となっていました。(藤川@関西大学大学院)

-未分類

執筆者:


comment

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

関連記事

関連記事はありませんでした