Session 1: 漫画×機械学習
小沢 高広（漫画家 うめ），山西 良典（関西大学）：漫画家と生成系AIの共創マニュアル：描画編 ‐2023年10月版‐
現役の漫画家が生成型AIをどのように活用しているかについて述べられていました。漫画制作において生成型AIが活用できる分野としては、脚本、ネーム、作画の3つが挙げられます。これらの中で脚本と作画は既に利用されていますが、ネームに対して生成型AIをどのように使用するかは課題の一つです。脚本での具体的な使用例としては、編集者のように内容について対話すること、設定監修、簡単な翻訳が挙げられます。作画での具体的な使用例には、キャラクターデザインやロゴデザイン、メカデザインなどのデザイン関連が多く挙げられています。また、背景をAIに作成してもらうという意見もあります。これは漫画家自身が1ページにつき50%以上をアシスタントに依頼しており、自分では描いていないため、漫画家が生成型AIの使用に抵抗を感じていない可能性があるという意見が出ました。
共創マニュアル：描画編として、生成型AIが作成した画像をトレースすること、全体をぼかすこと、謎の文字を置き換えること、時代設定、ディテールとパースの調整、エスニックの調整が挙げられています。生成型AIの利点としては、他の作品との重複を避けることや、実際に存在しない風景を描くことができるようになることが挙げられています。
感想：現役の漫画家が生成型AIに対してどのような感想を持っているか、どのように活用しているかを知ることができ、非常に興味深かったです。特に、AIによって生成された背景を修正したものを見た初見の印象としては、漫画家が描いたと言われても疑う余地がないほどの完成度でした。AIがさらに発展するとどのような可能性が広がるか、期待しています。（清野＠関西大学大学院）
鶴田 あおい，岩田 基，黄瀬 浩一（大阪公立大学）：機械学習を用いた人物領域画像のPerspective Fields推定手法の検討
漫画における背景の重要性に焦点を当てています。特に、人物と背景を組み合わせることは初心者にとって難しい課題です。これを補助するシステムがあればスキルアップにつながると考え、研究を進めています。
背景の中でも特にカメラ位置に注目しました。カメラ位置とは、物を撮影する際のカメラの高さを指します。これは消失点と関連しており、カメラ位置が整っていると自然なイラストが得られます。カメラ位置の推定は難しいが、曲線を多く含む前景画像からカメラ位置とその傾きを同時に表現する手法として、「Perspective Fields」が提案されています。本研究では、人物のみが映った実写画像からPerspective Fieldsを推定することを目的としています。風景画像に対して効果が示されているこの推定手法が、人物画像にも有効であるかを実験しました。実験の結果、風景が含まれる画像を用いた学習と比較して、人物画像を用いた学習により、Perspective Fieldsの推定精度が向上しました。
感想：これまでカメラ位置を深く意識していませんでしたが、比較画像を見たときにその重要性が理解できました。風景画像に有効なPerspective Fieldsを人物画像に適用することで精度が向上しました。これにより、人物と背景を組み合わせる補助システムが実現されることを期待しています。実現されれば、私も試してみたいと思います。（清野＠関西大学大学院）
Session2: セリフ
李 映萱，相澤 清晴，松井 勇佑（東京大学）：Manga109Dialog：漫画話者推定のための大規模な対話データセット
コミック工学では、漫画内のセリフとその発話キャラクターを推定する、「話者推定」が研究されている。これは、オーディオブックに作成時のキャラクターの自動分類やキャラクターとストーリーの関係性の分析などに応用されることが期待されている。しかし、既存のデータセットでは、セリフとそのセリフに最も近いキャラクターが対応づけされており、１コマ内に複数のキャラクターが登場する場面で精度が担保できない。本研究では、既存データセットであるManga109を拡張したManga109Dialogという新たなデータセットを作成した。このデータセットでは、コマをまたいだセリフや複数のキャラクターによるセリフなど、より複雑なアノテーションが付与されている。また、Manga109Dialogを用いた深層学習ベースの話者推定モデルを提案した。コマの読み順を考慮することで、話者とセリフが同じコマに登場しない場合も推定が可能になった。提案手法の予測精度は75%を超えており、既存の手法を上回る結果を示した。
感想
人間が持つ漫画の読み方の知識を解明に繋がる面白い研究だと思いました。コマの読み順のような人間の話者推定の知見を取り入れることで、精度が向上したのは非常に納得がいく結果でした。今後は、セリフの内容やセリフの発話順のような情報を用いていくとのことで、更なる精度向上に期待しています。また、研究を通して得られた人間の漫画の読み方の知見をもとに、漫画を読めない人を対象として、漫画の読み方支援などもできれば面白いと感じました。（田所＠関西大学大学院）
南出 瞭馬，山西 良典，松下 光範（関西大学）：キャラクタのセリフに表れる音変化の傾向の可視化
大量の漫画がある中で、読者の好みの漫画を探すことは難しい。そこで、読者は好みの性格のキャラクターに感情移入しやすくその漫画を好きになりやすいと仮定し、キャラクターを主軸にした作品検索を提案した。本研究では、その足掛かりとしてキャラクターのセリフからキャラクターの性格を推定する手法を提案した。語尾や言い回しというセリフの「表現」に着目し、112種類の語尾変化規則をもとに、キャラクターの性格を112次元ベクトルで表現した。コサイン類似度を用い、似たキャラクターを推定したところ、話し方が似たキャラクターの推定が可能であることが示唆された。
感想
キャラクターの性格の推定に語尾を用いるという視点はとても面白いと思いました。確かに、似たような性格のキャラクターは同じような語尾であるという感覚があります。しかし、発表でも触れていましたが、語尾が同じでも発話時のアクセントなどで印象が変わる場合もあります。アニメ化されている作品などから、発話の音響特徴も利用するなどして、各語尾のキャラクターの性格が整理できれば、キャラクターの創作支援などにも繋がるのではないかと感じました。（田所＠関西大学大学院）
Session3: 分析
幾田 光（東京大学），Leslie Wöhler（東京大学、JSPS International Research Fellow），相澤 清晴（東京大学）：漫画のコマの閲覧時間の統計的分析
漫画はマルチモーダルな媒体であり、人間がどのようにこれらのマルチモーダル要素を認識するかについての研究が行われています。この研究では、漫画の各コマをどのくらいの時間閲覧するかに焦点を当てました。この目的のために、Manga109のデータセットに新たなアノテーションを施し、新しいデータセットを作成しました。このデータセットを使用して、各コマの閲覧時間を計測する実験を行いました。実験結果から、コマの平均閲覧時間がテキストの長さと非常に強い相関関係にあることが明らかになりました。また、個人によって読む速さが異なることも確認されました。これらの結果から、コマの閲覧時間がテキストの長さに強く線形に依存する可能性が高いため、テキストの長さを用いた線形回帰により閲覧時間をかなりの程度説明できると考えられています。
感想
人間の情報処理方法を探るために、漫画のマルチモーダル性に着目した研究であり、その着眼点に感服しました。質問やコメントにもありましたが、今後はより漫画というコンテンツの特性にフォーカスしていき、漫画の「読みやすさ」の指標や、目を引くようなコマ割りの作り方などがわかるようになるととても面白いと感じました。
（田所）
村田 涼太（立命館大学），山西 良典（関西大学），仲田 晋（立命館大学）：N-gramを利用したアニメ映像のコマ打ちの分析
大量の漫画がある中で、読者の好みの漫画を探すことは難しい。そこで、読者は好みの性格のキャラクターに感情移入しやすくその漫画を好きになりやすいと仮定し、キャラクターを主軸にした作品検索を提案した。本研究では、その足掛かりとしてキャラクターのセリフからキャラクターの性格を推定する手法を提案した。語尾や言い回しというセリフの「表現」に着目し、112種類の語尾変化規則をもとに、キャラクターの性格を112次元ベクトルで表現した。コサイン類似度を用い、似たキャラクターを推定したところ、話し方が似たキャラクターの推定が可能であることが示唆された。
感想
キャラクターの性格の推定に語尾を用いるという視点はとても面白いと思いました。確かに、似たような性格のキャラクターは同じような語尾であるという感覚があります。しかし、発表でも触れていましたが、語尾が同じでも発話時のアクセントなどで印象が変わる場合もあります。アニメ化されている作品などから、発話の音響特徴も利用するなどして、各語尾のキャラクターの性格が整理できれば、キャラクターの創作支援などにも繋がるのではないかと感じました。（田所＠関西大学大学院）
藤川 雄翔，松下 光範，山西 良典（関西大学）：物語作品の短文要約によるストーリーの特徴分析
本研究では、ストーリーのコンセプトに焦点を当て、これを用いることでストーリー内容に基づいた検索が可能になると述べられていました。ストーリーのコンセプトを示すコンテンツとして、要約文とコンセプト文が挙げられます。ストーリーのコンセプトに関する課題としては、個々の物語作品に適したコンセプト文が必要である一方、ストーリーのコンセプトを記述したリソースは少ないという点があります。そこで、自分の好きな物語作品を他者に推薦する短文を作成してもらい、これらのコンセプト文を収集しました。収集した短文の文ベクトルを算出し、類似度による確認を通じて分析を行いました。ベクトルの算出方法としては、短文を形態素解析し、名詞、動詞、形容詞、副詞を抽出し、短文に含まれる単語の分散表現を取得し、全単語の分散表現ベクトルの平均を用いました。
結果として、A群（異なる物語作品の短文群）、B群（同一の物語作品の短文群）、C群（同一物語作品の短文が分類された群）の3つのグループに分類されることが判明しました。B群とC群で共通していたのは、キャラクターの目的が記述されていることでした。
感想：コンセプト文を用いてストーリー内容に基づいた検索を行う手法は非常に革新的 で興味深く感じました。漫画を探す際にストーリー内容を参照する機能があれば、新しい作品に出会う機会が増え、漫画の発展に寄与する可能性があると思います。もし実現できれば、私も是非使ってみたいと思いました。（清野＠関西大学大学院）
