第7回コミック工学研究会は,2022年3月16-17日につくばイノベーションプラザにて行われ,両日とも現地会場とzoomによるオンラインのハイブリッドでの開催となりました.参加報告は筑波大学 メタデータ研究室の半澤輝尚・堤彬が担当します.
1日目
1日目は4件の研究発表と招待講演が行われました.
Session 1: 画像処理(座長:松井勇佑)
三橋 力綺(立命館大学), 藤田宜久(立命館大学), 山西 良典(関西大学), 仲田 晋(立命館大学):CG線画に手描き線の特徴を反映させる試み
マンガやアニメの作画においてCGが利用される場面が増えてきました.この研究はCGで作成した作画に描き手の手書き線の特徴を反映させることで,CGの正確な線を人間が描いた線のように変換することを目的としています.中村らによる「ひらがなの平均手書き文字は綺麗」から着想を得て,平均化の逆変換を行うことで人間の個性(手書き)を反映させています.その結果,変換後の曲線には手書きのような揺らぎが生まれることを確認できています.
感想:
CGによって生成される正確な線を手書きの線のように変換するのは面白い試みである.私はマンガやアニメのCG作画が用いられる場面にのっぺりとした画面だという印象を受けた経験がある.そのため,CG作画の良さを活かしつつCG作画を用いた時のマイナスな点を修正することで,真の意味で手書きによる作画とCGの作画の良いとこ取りを実現できるように感じた.手書き線の揺らぎの他に,線の太さや濃さを反映した研究成果の発表が楽しみである.(半澤)
Fanglu Xie(NTT Corporation),Mitsuhiro Goto(NTT Corporation),Hitoshi Seshimo(NTT Corporation):Disentangling Defect-Aware Aesthetic Features for Line Art Modification
イラストの勉強をする初学者はアドバイスを受ける機会が少ないため上達が遅いという課題があります.この研究では課題を解決するために,AIで線画の修正すべきポイントを指摘する仕組みを提案しました.修正すべき線画の癖を定義し,深層学習を用いて初心者の絵に現れる線画の癖を識別・修正します.複数の癖が同時に存在することや癖の特徴が似ていることから分類の精度は不足していますが,今後作者ごとの特徴的な描き方が識別できれば,その人風にイラストを変換できる可能性があります.
感想:
Web上に資料のあるイラストの描き方などを活用することでイラストの完成前にアドバイスを受けることは容易だが,完成させたイラストに対してフィードバックをもらうことは難しい.AIに修正箇所を指摘してもらう方法は,イラストの勉強をする人にとって非常に良い学習になると感じた.今回の発表では線画を対象にしていたが,他の工程についても修正結果を見てみたい.(半澤)
招待講演(オーガナイザ:山西良典)
講演者:
・舛本和也(株式会社トリガー)
・秋山剛(株式会社プレイド)
・中山英樹(株式会社ワクワーク)
講演内容
アニメスタジオ「トリガー」によるオリジナルアニメーション「リトルウィッチアカデミア」の映像制作にあたって作成された絵コンテ・シナリオ・キャラクター設定および原画・レイアウトの画像データを公開するにあたり,データセット制作の経緯と狙い,作業内容についてご講演いただきました.
最初に制作資料データセットに含まれる作品「リトルウィッチアカデミア(以下LWA)」の説明が行われました.
LWAは2013年3月文化庁によるアニメーター育成プロジェクト「アニメミライ2013」にて発表された作品で,制作物の権利はスタジオに帰属しました.2013年4月に全編をYouTubeにて無料公開し海外からも話題を集め,同年7月には北米のクラウドファンディングサイト・Kickstarterにて続編制作プロジェクトを立ち上げ,全世界から総額62万5518ドルが集まりました.
その後続編として,2015年10月に「リトルウィッチアカデミア 魔法仕掛けのパレード」が劇場公開,2017年1月に2クール(全25話)のTVアニメシリーズとして「リトルウィッチアカデミア」が放送されるなど人気な作品です.
次に公開されるLWAのアセットについて説明がありました.LWAのアセットは2022年3月に公開され,現状は国内の大学及び公的研究機関の研究者に利用を限定し,学術研究用途にのみ利用可能であるそうです.
今回公開となる制作資料データセットの内容は以下の通りで,映像本編や動画,音楽やSEは含みません.台本は現状公開されていませんが要望があれば追加するそうです.試作段階のシナリオや台本の提供があると多くの研究に利用できるのではないかと思います.
・シナリオ 第3稿(決定稿)
・絵コンテ 197ファイル
・美術 392ファイル
・設定 89ファイル
・色彩 67ファイル
・作画 383ファイル(カット袋・タイムシート・レイアウト・原画)
・仕上げ 397ファイル
LWAアセット公開のきっかけは,2018年4月に秋山剛さんと中山英樹さんのお二人が食事をしている中で「アニメ×テクノロジー」の領域をもっと含ませたいと盛り上がったことだそうです.その1ヶ月後の2018年5月に秋山剛さんと中山英樹さんが国立情報学研究所(以下NII)にてコンテンツ科学系教授/副所長の大山敬三氏,IDR事務局の大須賀智子氏にアニメ分野のアカデミック用途のアセット公開について相談しました.更に1ヶ月後の2018年6月 に舛本和也さんにLWAアセットに関する企画書を提出し,プロジェクトについてLWAの権利を保有するトリガー・TOHO間で協議を行いました.アイデアの段階から2ヶ月ほどで企画書の提出まで行うという迅速さに驚きました.
アニメミライ版「リトルウィッチアカデミア」はトリガー1社にて権利を保有していますが,劇場版およびTVシリーズ版は製作委員会を組織して制作しており,TOHOが製作委員会の窓口を担っています.現在はアニメミライ版「リトルウィッチアカデミア」の権利運用をトリガーよりTOHOに委託し,TOHOが「リトルウィッチアカデミア」の各種の取りまとめをおこなっています.権利関係の複雑さから時間を掛けながら,非常に周到な準備を行なっている印象を受けました.
プロジェクトが具体的に進み,2019年2月にトリガーから中山英樹さんのご自宅にレイアウト・原画・修正原画などの素材一式(合計8箱の段ボール)を郵送し,これらのデータ化の作業を開始しました.2020年7月には学生の力を借りてデジタル素材化を完了したものの,アニメ関連資料に精通している人物がいなかったためデータの組織化が上手く行われず,スキャンをやり直すことになります.2021年5月にスタッフを確保しスキャンを再始動し,9月にトリガー・NII間でアセット公開に関する契約書のやりとりを開始します.アセット公開にあたりデータ構造やファイル名の変更作業を実施し2022年3月15日にアセットの公開を行うことができました.保存できないアニメ関連資料は産業廃棄物として廃棄される場合も多いため,このように制作に関わる資料をデジタルデータとして提供することは非常に貴重であると思います.
この後,講演者の方々に対して質疑応答が行われました.
Q. なぜ,アニメに関するアセットは少ないのか?
A. アニメ業界の構造によるところが大きい
アニメ作品は製作委員会により作られ,多い場合は10社以上が作品権利を保有するため各種承諾を取るために時間と労力がかかりやすい事がアニメに関するアセットが少ない原因として挙げられます.また中間制作物の権利を契約時に決めず,基本的にはクライアントが権利を保有することも原因の一つに挙げていましたが,近年では優先的利用権が契約書に盛り込まれることもあるようです.
Q. なぜ今回LWAアセット公開を行うのか?
A. 前例を作ることが重要だと認識しているため
アニメ業界ではテクノロジーによる業務改善の重要性を認識しながらも,業界内に専門家が少ないためどのようにテクノロジーを導入するか分からないことが問題です.LWAアセットを公開することで学術的なつながりを増やし,業界的に前向きな結果を得ることでアニメ業界にテクノロジーを導入するステップを進む必要があります.
LWAアセット公開のプロジェクトは今後,海外の方への公開や他作品のアセットの公開を行います.またコミック工学研究会への期待として,アセットを利用しフィードバックを行うことや,研究のために必要なアセットのアドバイスを求めました.その他にも,学術領域の人と気軽なコミュニケーションを行うことで,よりテクノロジー×アニメの領域を盛り上げたいと考えています.
感想:
リトルウィッチアカデミア(以下LWA)の制作資料データセット公開は,「アニメ×テクノロジー」の領域を膨らませるために産業分野から学術分野への研究資料の提供が目的である.講演中の質疑応答でも利用可能なデータの種類等について活発に議論がされており,LWAの制作資料データセットを公開することは,今後のアニメ領域での研究を大きく進展させるものであると感じた.具体的には作品の内容分析などの用途から台本の提供を期待する声が多く上がっており,今後のデータセット拡充が望まれる.今後もアニメ業界と学術領域が盛んに交流できるように願うとともに,そのような機会に私も参加できれば良いと思った.(半澤)
Session 2:表現分析(座長:西原陽子)
杉田 莉子(明治大学), 小松 孝徳(明治大学), 中村 聡史(明治大学):コミックにおけるオノマトペの効果的な「不」使用方法についての考察
通常の語彙に比べて臨場感に溢れる表現を可能とするオノマトペは,コミック作品において感情表現などで効果的に用いられています.この研究では,オノマトペ自体に注目する他の研究に対してオノマトペの不使用箇所に注目しました.オノマトペの不使用コマの特徴を分類し,オノマトペの不使用箇所が他のコマとの対比となって強調されることで物語の重要なシーンにおいてあえてオノマトペが使われないことを考察しました.
感想:
マンガの描写に用いられるオノマトペの不使用箇所に注目する発想は新鮮で非常に面白い.オノマトペの不使用箇所がどのようにマンガ作品の重要なシーンの抽出に用いられるか,今後の研究に期待が持てる.また,セリフ・キャラクター・漫符などのマンガの描写に用いられるオノマトペ以外の要素についても不使用箇所の特徴を調査することで,マンガの描写に用いられる要素について総合的な知見が得られるのではないだろうか.(半澤)
中村 剛士(中部大学), 兼岩 尭希(名古屋工業大学):ドラゴンクエスト呪文の音響特徴量による分類
音そのものが持つ特定のイメージを喚起する事象を音象徴と呼びます.この研究では,ドラゴンクエストに登場する呪文の音象徴特徴と攻撃呪文や防御・回復呪文などの呪文系統に関係があるのか調査しました.その結果,音響特徴量によって呪文のクラスを88%の精度で判別することができ,ドラゴンクエストの呪文は音響的に区別できるようデザインされた音象徴を持つ可能性があると考察しました.
感想:
私はドラゴンクエストのゲームをプレイしたことがあるが,ほとんどの呪文は発音や字面によって呪文系統を推測できると感じていた.この研究では音響特徴量という根拠を持って多くのケースで呪文の系統を識別可能であることを示している.呪文の系統を判断する根拠として,例えば攻撃系呪文に有声阻害音が多く含まれることなど,感覚的な理解では考察し得ない知見が得られるため,今回の研究のように客観的に分析し考察を行うことは大切であると感じた.(半澤)
2日目
2日目は4件の研究発表と企画セッションが行われました.
Session 3: コンテンツ分析 (座長:中村聡史)
アニメ映像中の人物の行動・感情認識
佐久間絢子(青山学院大学大学院),金子直史(青山学院大学大学院),林昌希 (フリーランス) ,鷲見和彦(青山学院大学大学院)
実際の人物を対象とした行動認識が盛んに行われている一方, アニメ映像中の人物の行動認識についての研究は行われていませんでした. 実際の人物の行動・感情認識のモデルをアニメ映像に適用し, ニューラルネットワークによる機械学習を用いて行動認識を試みました. アニメ映像を用いて手動でデータセットを作成しました. データセットのクラスはAngry, Blown in wind, Cry, Depressed, Fly by oneself, Fly on something, Happy, Laugh, Panic, Run, Surprisedの11クラスです. アニメ映像データに対して分類実験を行ったところ, データ数の少なさやアニメ映像に適した特徴抽出ができていないという課題点が明らかになりました.
感想:
完成されたアニメ映像からの行動・感情認識だけでなく, 制作途中段階の資料に対する分類まで応用できるとさらに面白い. クラス分類をした結果をアノテーションとして付与することで, 制作支援などにつなげられるだろう. 多くの人が関わるアニメ制作現場にける意思伝達の一助になる可能性もある. (堤)
MMPoseを用いたマンガキャラクタにおける姿勢推定の検討
迎山和司 (公立はこだて未来大学),野寺由規 (公立はこだて未来大学),蛯名紬 (公立はこだて未来大学)
実写画像に対する姿勢推定が行われている一方, マンガ画像に登場するキャラクターの姿勢推定は進んでいませんでした. 実画像の姿勢キーポイントを含むデータセットをマンガ調画像に変換した訓練データで新たな学習モデルを作成しました. 姿勢推定実験の結果, 腰から上の全身が含まれる漫画キャラクタに対しては有効な検出ができました. 今回はManga109のデータについて, キャラクターの範囲を示すBodyのアノテーション範囲で姿勢推定を行うことで精度を担保しました. 今後の展望として, 漫画画像に対する精度向上のため, 検出アルゴリズムの工夫やマンガ画像の正解データを増やすことが挙げられます. この研究はマンガの自動生成における表情の自動生成に次いで, 姿勢の自動生成への手がかりにもなり得るものです.
感想:
マンガの自動生成の一環としての姿勢推定研究とのことだった. むしろ人間の作者の場合, マンガ制作過程においてキャラクターの姿勢をどのように決めているのか気になった. 表情から典型的な動きを導いて自動生成することは行われているようだったので, マンガにおけるセリフなどから判別できる状況や意味も推定の助けになるのかもしれない. (例:ずっこける, 走る, などの状況では重心が安定していない, など)(堤)
企画セッション (オーガナイザ:三原鉄也)
コミック・アニメ・ビデオゲームの工学的研究・データ活用を探る
パネリスト:
・山川道子 (株式会社プロダクション・アイジー)
・福田一史 (大阪国際工科専門職大学 工科学部)
・山本美希 (筑波大学芸術系)
コミック, アニメ, ビデオゲームをクロスモーダルなコンテンツとして捉え, 工学的知見の展開や応用を図ることを趣旨として, 各分野のパネリストの皆さまが議論しました. コミック・アニメ・ビデオゲーム, もしくは工学系, 人文系といった, 繋がるべきでありながら分かたれて議論されがちな分野をつなげることを期待し, セッションが始まりました.
山川さんはアニメ分野, 特に資料整理や保存などに詳しく, アニメの制作資料や関連出版物の管理, 保管に携わっています.
福田さんはゲーム研究, 情報組織化について取り組まれており, データモデリングや目録作成にも携わっています.
山本さんは絵本や視覚的表現の研究をされており, トランスボーダーマンガリサーチグループを通してマンガ分野にも携わり, ご自身でマンガの執筆もされています.
オーガナイザの三原さんは情報学, 図書館情報学の分野から, メディア芸術についてのデータ整備などに携わっています.
今回のセッションでは事前に4つの質問を用意し, 事前にいただいた回答を元に議論しました.
Q1. 業務.研究・教育の中で分析したら面白いと思っている資料・データは?
A. 一話が作られるまでの作業内容の詳細とその過程で見える時間・コスト (山川)
撮影の時間やスキャンにかかった時間を表す資料(タイムスタンプ)や, カット袋(原画や動画を入れる袋)に書かれた情報を見ると, 誰がどこで働いているか, 労働環境やかかっているコスト, 自動化するべき点などがわかるとのことでした. しかし, アニメ制作現場について詳しい専門家でなければ, 単にカット袋に書いてあるデータを読んでも何を表しているものかわからないというのが実際のところです.
また, 制作現場のリアルな課題感, どういった技術的需要があるのかを外から知ることが難しいというところも難しいですが, 取り組んでいくことが難しい
A. パッケージ画像 (福田)
商用のパッケージの撮影を行い, 書影のような形で研究用データを作成しています. 書影にはキャラクター,裏表紙の説明文,CEROレーティングなどのメタデータが含まれます.
特にゲーム分野では奥付のような情報が形式化されていないため,様々な情報が記述されるパッケージの情報としての優先度は高まります. データ化できると, パッケージからトレンドを探るなど面白いことに使えそうです.
A. 学生作品 (山本)
創作教育を行う中での学生の作品が資料として集まっています. 例として, 共通のストーリーに対して表現が異なるもの(短文をマンガに起こす授業など)や, 単純なキャラクターを共通して用いた上で, 与えられたシチュエーションに対して表現するものなどがあります. 学生の許可をとる必要があるが, 共通の軸を元に制作しているので分析などはしやすいかもしれません.
関連して, アニメ制作の新人育成において, 教育の現場で過去の資料を利用することがあるのか, という話題があがりました. 山川さんによると, 新人に対しては1ヶ月ほど研修を行い, スタジオ内の過去資料から研修資料を作るなどしているようです. 権利関係など難しいところがありますが, 過去作を習作などに柔軟に利用できると面白いのではないかということでした.
メディア芸術データベース (福田)
マンガ, アニメ, ゲーム,メディアアートを対象に, どのような出版制作物があるか,さらにそれらのアクセス先の情報を集約, 提供するシステムであるメディア芸術データベースの開発に携わってきました. メディア芸術データベースがAPIとして利用されるようになりつつあり, 面白くなってきています.
Q2. 業務・研究・教育の中でAI技術やデータ解析を用いて解決できると嬉しい課題は?
筆跡鑑定 (山川)
アニメにおけるアーカイブ資料の活用の際に真贋判定がネックになってくる. アニメにおいて, 美術品と異なる点は資料そのものの価値や真贋を判定する人が少なく, 各スタジオにおいて長く働いている方や一部の評論家や研究者にしかわからないという現状があります.
A. 画面構成, 動きの描写 (山本)
アメリカのコミックと日本のマンガの描かれ方の違いとして, 日本のマンガのコマには主観的な描かれ方が多く, アメリカのコミックは俯瞰的な構図が多い, といったような違いを技術で判別できると面白いです. また, 動きの描写を示す際, 急ブレーキをかけた車が前のめりに変形したりするカートゥーン的表現が用いられるか, 形態は写実的に描写しスピード線で動きを表すか, といった違いについても関心を持っているのですが, こうした数を調査する必要がある課題をAI技術を用いて解決することを期待しています.
A. エンディングスタッフロール (福田)
ゲームやアニメは膨大なコントリビューターを抱えており, 300~400人, やもすると1000人もの方々が関わっています. そういったものを分析するためのデータ化にはコストがかかるため, 機械化することでコスト軽減が期待されます. 実現可能性は高まってきていると思います.
研究的な問題と実装が追いついていない問題の区別が難しいという現状がありますが, 現場として解決できると嬉しいテーマです。また, 組織構造によって異なる役職名があるなどシソーラスや辞書のような問題もあります. それらを乗り越えるための, 標準的なデータ整備を行うことも必要です.
アニメ, マンガ, ゲームにおいてクレジットの表記についてはある程度似通った仕組みがあるのかもしれないですね. (三原)
エンドクレジットは誰が何を担当したか知るために必要だが, 海外に外注している仕事では会社名で表示され誰が担当したか分からないことが多いです. エンドクレジットについては, 使われているフォントが少ないという部分もあり, 文字データを認識するのかフォントを検出するのかといったアプローチも面白そうです. (山川)
マンガについても, アシスタント含め共同で制作していますが, 背景を誰が書いたか, などについては研究の場で論じられることがあまりなく, 代表してマンガ家の名前で出版することが一般的だというところがアニメやゲームとは異なる点のように思いました. (山本)
背景担当のアシスタントを奥付に表記する作品も増えてきてはいるが, 今後マンガにおいても研究の可能性があるかもしれませんね. (三原)
ここで現地からの質問があがりました.
デジタルアーカイブについて, アニメーターさんの原画や動画を保存する取り組みがあると存じていますが, どのような手順で描いたか, といった手元の情報や, デジタルでのタイムラプスといったものを保存する, また教育に活用するといった取り組みはあるのでしょうか?(現地質問)
そこまでは行なっていないです. 理由として, アニメーターさんが描く席にカメラを設置することのハードルの高さがあります. また, デジタルの場合は書き上がったものを残している状況で, 書く途中のデータを残す意識まではありません. データ量が大きくなることや, 教育側として過程データを利用する意識がないことも理由に挙げられます. タイムラプスはあくまでエンタメとして鑑賞するにとどまっています. 撮影されることを気にしない時代に至ったら, そういったデータも残るようになるかと思います. (山川)
Q3. 実際にデータを利用したり提供したりする際に生じた問題は?
たくさん集めて処理したいという現場の需要に対して起こる問題についてお聞きしたいです. データをただ集めただけでは使えるものにはならず, 構造化する必要があります. しかし, 「鑑定士」のような専門の技術者がいないと難しいですが……(三原)
資料も, 未活用のままだと破棄されてしまいます. 商業的に利用価値があるものが残り, 利用できないものは破棄されていくことになってしまう, 資料を利用できるように整理することで破棄を避けることができます. (山川)
研究者側としては使えるデータがあれば興味が湧くのですが, 現場としてはアクセスがなければ破棄するしかないという現状について, 現場としてマネタイズになり, 研究側として資料が増える, という状況へ変えることは合理的な解としてあり得るということですかね. (三原)
学術研究への門戸を開くことが産業界に必要です. 現在の制作現場としては, 「研究などに使わないなら見せる必要はない」となるのが実情ですが, 「使わないかもしれないけど一回見せてみよう」ができるようになると状況が変わると思います. ただ, 人件費などの問題も出てくるので研究として取り組むことができるといいのではないでしょうか. (山川)
コミック工学研究会1日目に発表された, リトルウィッチアカデミアの制作資料データセット公開によって業界に一石を投じることができましたね. データ提供の問題を解決するためには,データを提供することによるインセンティブ,あるいは大きなメリットが必要になります. 資料の提供側にとってのメリットを何か考えられないでしょうかね? (山西, 現地質問)
投資する価値があると思えるプラットフォームを用意して, 事例が積み重なるといいと思います. (山川)
活用事例, 実践事例を増やすことが必要です. また, 何を作れば喜ばれるか実感がないという課題がデータ作成側としてもありますね. (福田)
学生作品に関しては展覧会を開くこともあるので,作品を発表・公開することに関しては意欲的な土壌があるかもしれないです. (山本)
ここさえ見ればその1年の動きがわかる, というようなプラットフォーム, もしくは会をショーケースとして開くと産業界としても便利なのではないでしょうか? (三原)
メディア芸術のポータルサイトとして, 「どういうことを参照できれば各分野が協力しやすいか」という情報共有が必要ですね. ゲーム, アニメは, 他の成立した文化(浮世絵など)というより商品であるため, 各ステークホルダーが納得する必要があります. そこを解決することで先に進めるのではないでしょうか. (山西)
Q4. パネリスト同士で聞いてみたいこと
A.分野横断 マンガ・アニメ・ゲームは本当に近いのか?
マンガと絵本の分野横断には可能性を感じる一方, マンガとアニメーション・ゲームはメディアの形式としてはもう少し遠い存在に感じています. ファン層が近く, 同時代的であるという点では共通していますが, 扱うツールが違うという点で異なるようにも感じます. ただし, アーカイブのやり方などの手法については共有できる部分があると思います. (山本)
奥付とスタッフロール, など同じロジックで扱える内容であることも多いですね. (三原)
分野横断の難しさは, お互いが使用している言語が違うことも理由の一つと考えています. ロゼッタストーン(語彙として共通のもの)を作ることが今後飛躍するために必要だと思いますが, どこで行うべきだと思われますか?アイジーではアニメ, ゲーム, 実写, マンガ, 絵本など取り扱っており, 断片的情報が集まっています, 実際これらがつながる可能性は十分にありますが, まとまった期間, 場所で集中的に取り組む必要があるとも思います. (山川)
分野横断的に用いやすい(IDを共有しやすい)典拠データが必要だと思います.
ゲームの場合は映像あり, インタラクティブ性ありと, 分析要素が多すぎるためコンテンツの分析はこれからになるかと思います. マンガ・アニメ・ゲームは異なる部分もありますが,共通する所も多いためそれぞれの分野で交流する意義は大きいと思います. また, メディアミックスは日本の文化の特徴であるという点で, キャラクター, 世界観, 権利関係などについてトランスメディア点的状況を絡めていく展開も想定されます. (福田)
セッション全体を通して, ピンポイントな部分で盛り上がった印象でした. 大雑把に似ている点を論じがちですが, ディティールを見て行ったところに共通点があるのかもしれない, というのが個人的な収穫でした. (三原)
感想:
本セッションはコミック, アニメ, ビデオゲームをクロスモーダルなコンテンツとして捉える, という趣旨で始まったが, それぞれのコンテンツは似ている分野のようでメディアの形式としては少し遠いコンテンツであり, それでいて局所的な構造や理論(奥付やスタッフロールなど)には似通ったところがある, という面白い話題も提起された. 各分野の共通点と違いを俯瞰して考え, 共通であることにこだわりすぎないことで協力が進むのかもしれない. 局所的な理論や構造に各分野を横断するキーポイントを発見し, 分野の横断的協力をより進めていく, そんな予兆を感じさせる興味深いセッションだった. (堤)
Session 4:情報表現 (座長:永森光晴)
語彙の標本化と量子化によるあらすじの特性表現に関する基礎検討
山西良典 (関西大学), 西原陽子 (立命館大学), 松下光範 (関西大学)
本研究は, 人間が漫画作品同士の類似や相違を捉える基準はどこにあるのか, また, 計算機科学的な情報表現の形式, 単語に対する数値ベクトルや自然言語処理は, 人間の認知的にも妥当であるかという疑問から, あらすじの特性表現に対して離散的特性の有無を考えるアプローチを考察するものです. 自然言語表現の分野で用いられる単語分散表現では, 連続的なベクトルによって意味が表現されていますが, 人間のコンテンツ認識では, 離散的な特性の有無を捉えるアトリビュートのような認識を行なっている, との考え方に乗っ取った手法が提案されました.
マンガのコンテンツ特性を表現する指標として, 作品を表現する要素に相当する単語集合を取得することが課題です. eBookJapanにおいて「異世界」「医療」タグがついている作品のあらすじを抽出し, 登場した語彙に対してクラスタリングを行い, 単語集合を取得します. 結果大きく分けて, 1.「小説, 原作, 作品, 収録, 連載」など, トランスメディア化されていることを示すメタ特性を示す単語クラスタ, 2.「内容特性を示す単語のクラスタ」3. それ以外, の3つの単語クラスタに分類されました. マンガのあらすじ特性を表現する方法として, 単語集合を用いることで, ジャンルよりは細かく, 単語よりは大まかな概念での表現を提案することができました. 今後の展望として, ノイズ的な単語が含まれるクラスタについての情報精錬を進めていくことが挙げられます.
感想:
あらすじによるマンガの分類による意味的な側面からの分類ができることで, 新たな切り口からのマンガ推薦に活用できると面白い. トランスメディア化されている作品のあらすじには「小説化」や「原作」などの作品コンテンツではないメタ的な語彙が多いという結果も興味深かった. マンガを探す際にジャンルでは広すぎ, 特定の単語で探すには狭すぎるというのは実感するところがあり, 単語集合という切り口は腑に落ちるところがあった. (堤)
Manga109 validator: 統一的な漫画アノテーションのための形式チェック機構
坪田亘記 (東京大学), 幾田光 (東京大学), 白定勳 (東京大学), 粟根啓太 (東京大学), 小野直樹 (東京大学), 松井勇佑 (東京大学), 相澤清晴 (東京大学)
複数のデータセットにおいてメタデータ形式が異なることで, 共通のアルゴリズムやモデルの利用が妨げられることがあります. メタデータ形式が後続データセットに引き継がれない原因として, 後続で作成したデータセットのメタデータ形式が, 先行データセットの形式に則っているかを検証することが難しいということが挙げられます. そこで, メタデータの形式がManga109データセットの形式として正しいかどうかを検証するテストスクリプト「Manga109 validator」を開発しました. これはXMLファイルの構造と内容に関してManga109の形式に則っているかを検証するものであり, pythonプログラムとして提供され, 誰でも自由に使うことができます. 今後これを利用しManga109形式のデータセットが増えることが期待されます.
感想:
せっかくメタデータを作っても使えるデータ形式になっていない, という事態を起こさないためにも, メタデータ形式の検証はありがたい. メタデータを広く増やすことでマンガ分析の幅を広げるという観点からも, メタデータ生成支援をするツールは有用なものとして今後利用されていくだろう. 私も今後, Manga109形式のデータセット作成をする際にぜひ利用したい. (堤)