本シンポジウムと研究会については，当日聴講参加されていた漫画家の井川コーイチ先生がルポ漫画を描いてくださいました．井川先生のご厚意のもと，こちらに掲載いたします．
今回の参加報告は，関西大学総合情報学部4年生の竹元 亨舟と田崎 丈太郎の2名がお送りします．
第1部 「創作ツールの開発現場から」
登壇者：
- 轟木保弘（株式会社ワコム）
- 秋元亮（株式会社セルシス）
講演内容：
株式会社ワコム
コミック制作の主流になりつつあるデジタル制作の支援について、ハードウェアの側面について株式会社ワコムさん、ソフトウェアの側面について株式会社セルシスさんに、最新の取り組みやプロジェクトについてご講演いただきました。
ワコムでは、ペンタブレット製品のブランドビジネスとTSBUテクノロジーソリューション（例えばスマートフォン、タブレット端末などへのペン・タッチセンサーの供給）を主力とした事業を展開しています。
「ライフロングインク」の理念で、デジタル技術ならではの表現を活かし、「デジタル上での究極の紙とペン」の提供を目指しています。
「共感と共創」を掲げており、メディアやエンジニア、関わる全ての人と共感できるものの開発することを目指しています。
創造的混沌をテーマとして「Connected Ink 2022」というイベントの取り組みがなされています。
ワコムには25年以上の液晶ペンタブレットの開発の歴史があります。
ワコムはペンタブレット市場への参入は最後発で、元々はデジタイザと呼ばれる製図用の機材を一般で使用される製品として生まれました。かつてCGは物体の軌道の計算などが目的の演算を行い、画面に表示するための技術でありましたが、その後は映画や工業デザインの産業に活用されるようになりました。
1990年頃からワコム製品は海外から注目を受け、1994年の映画「ライオンキング」や2001年の映画「STARWARS EP1」の現場で使われました。
近年では、主要なクリエイティブ用のソフトウェアは海外製が多数を占めており、ワコムではGPMというグローバルな製品コンセプト、企画をになう部署があります。
この部署は、世界中の主要な地域のクリエイターをリサーチするチームを有し、さまざまな製品に応じたプロジェクトチームを結成しています。
例えば日本・アジアではIC・回路設計・ファームウェア、米国ではドライバー開発・主要ソフト・プラットフォーマーやソフトベンダーとの連携の強化、フランスではブランドマーケティングが担当されています。
現行のソフトウェアベンダーとのプロジェクトの一端としては、筆圧の強さでGameに使われる音声を出力する「GameSynth」や、筆の軌跡の特徴量の変化を解析する「KISEKI ARTプロジェクト」といったものがあります。
「Wacom Pro Pen 2」には、クリエイターからのフィードバックにより、さまざまな意見が取り入れられていますが、クリエイターの要望は果てしなく、全てを取り入れることは不可能に近くなっていますが技術でさらなる向上と実現を目指して取り組んでいます。
例えば「Hi-uni DIGITAL」というデジタル鉛筆製品は三菱鉛筆とのコラボレーション製品で、テレワーク・リモート・オンライン教育で使われるようになっています。
リモートワークの普及によって、遠隔でも表現したいものが表現できる技術とはなんなのか（例えば筆圧や傾きなど）を考える必要が出てきました。
この考えから、「Instant Ink」という、描画される線を予測して先に描画する技術などが生まれています。
株式会社セルシス
セルシスでは、アニメマンガイラストなどの制作ツール、携帯電話で漫画を読むためのビューワー、グラフィックの編集作業を行うアプリケーションなどの開発を行なっています。
アニメーション制作のデジタル化に注力しており、最近では、東映アニメーションと共同でタイムシートをデジタル化したり、制作テンプレートの情報共有が行われています。
マンガ制作への取り組みでは、20年以上サポートされ続けたコミックスタジオを基点に、漫画を描くための道具としての「CLIP STUDIO PAINT」を開発しました。
印刷所からの要望で開発された3D製本プレビュー機能は、製本された書籍の見た目がわかりやすくなるだけでなく、現在では制作途中のページ確認としてクリエイターのモチベーション向上にも使われています。
自動彩色機能は、レイヤーに描画された線画を参照して全自動で彩色する機能で、カラーイラストから線画を抽出して構築したデータセットを用いた機械学習を用いています。
ポーズスキャナー機能では、写真に写ってる人物のポーズ読み取り、ポーズを写真と同じようにとらせることができます。
AIを用いた機能は、短期的利益だけでなくクリエイター支援を見据えた研究が行われています。
また、学習データとしてクリエイターのコンテンツを用いるのはデリケートな問題なので、同意の上でデータを取り扱っています。
漫画電子書籍への取り組みも行われています。
漫画ではコマで構成されるというコンテンツの特性があります。
ページからコマを1つずつ切り出す機能の開発が行われていますが、複雑なコマ配置では工数が多くかかってしまうという問題点があります。
セグメンテーションによる領域分割技術では、アルゴリズムだけでなく、AIやユーザーインタラクションを用いた技術も開発されています。
自動コマ検出技術は、ヒートマップを用いた手法が試みられていますが、自動認識にて作業による修正が発生してしまい、むしろ工数がかかるという現状になっています。
ヒートマップに代わるコマ検出技術として、手直しを前提とした、コマ矩形のみを出力する技術が開発されています。将来的にはヒートマップ技術とハイブリッドにすることで精度向上するのではないかと考えられています。
自動顔認識と自動文字認識技術も行われており、顔認識では正面、横顔の強くデフォルメされた顔の検出が可能となっています。文字認識では、マンガ画像でも高精度で文字の認識が可能です。認識機能の活用方法としては、コマの中の重要な領域を検出したり、表示領域の自動指定や自動再生時の速度調整、例えば、キャラクタの台詞や顔を長めに表示するなどが実現できると思われます。
演出付き縦読みコマコンテンツは縦読みのコマコンテンツに動的な演出効果を実施したもので、通常の漫画コンテンツに比べてリッチな表現が可能です。
ガラケーが普及していた時代は解像度が悪かったため、一コマごとに画面を表示するという手法が用いられていましたが、高解像度のスマートフォンが登場したことにより、ページ単位での閲覧が可能になり、スマホでも遜色ない閲覧体験ができるようになりました。
KOMATOONは既存のページ作品のコマをベースにWEBTOON化したコンテンツです。1からWEBTOONを作るより低コストで制作や市場への展開が可能で、AIによるスマートスムージングはこれに適用するためでもあります。コンテンツの消費スピードとしても、タップして進むよりスクロールして読む方が早く、既存のコンテンツに比べて消費スピードが速いため客単価の向上が見込めます。
ユーザー参加型のコミュニケーションツールやグラフィック用の素材投稿・販売サイトの展開を行なっています。コミュニケーションツールでは、自動機械翻訳を実装し、国や言語を超えたコミュニケーションを可能にします。素材投稿・販売サイトでは、漫画やイラスト用の素材の投稿や販売ができ、600万人以上のクリエイターによる膨大なデータがあります。
近い将来の研究については、WEBTOONの世界的なトレンドに対応し、モバイル端末で漫画・イラストを描くユーザーのフォローを行います。画像生成AIについても動静を注視しています。ブランドイメージとして、「Enjoy creating more」を掲げ、「クリエイションで夢中を広げよう」を目指しています。
Q＆A
Q.書き味は既存デバイス（鉛筆とか筆とか）に依存するのでしょうか？ デジタルのペンならではの書き味・デジタルでしかできない表現があるのでしょうか？
A.人間がかけてる筆圧は細かく取れませんが、機械では60度の角度までの負荷がどこにかかっているかや奥行き情報などが実数でわかります。3Dオブジェクトに対する彫刻では、クリエイターがヘラやのみをどのようにあてているかという、感覚的なものを明らかにできる可能性があります。口伝の技術を分析できる可能性があります。
Q.トーン貼り付け時にエッジが途切れているところの処理はどのように実施していますか？
A.途切れている範囲が小さければ、それを無視して領域を抽出する機能があります（隙間閉じ機能）。範囲が大きい場合は、ペンツールなどでトーンを描画することで貼り付けと同じ効果を得られます。
Q.ユーザーの声はどこから得ているのでしょうか？
A.（セルシス）WEBサイトの問い合わせやコミックマーケットのブースです。
（ワコム）漫画家、デジタル漫画協会、漫画ジャパンや、アニメ会社、ゲーム会社で働いているクリエイター、そのマネージャー、システムの監督です。
Q.セルシス・ワコムさんの痒い所に手が届く機能は産業からするとコスパの面では悪いんじゃないですか？
A.少数意見であっても、もっと多くが助かる可能性があればエンジニアとして考えるべきだと考えています。例えば、鉛筆みたいに細いペンなど、欲しいという人のためになんとかできないかと意識しています。
Q.ハードウェアとソフトウェアをそれぞれ開発されている会社ですが、クリエイターの支援という分野で同じ目標に対して、会社の違いなどから由来するアプローチの違いはありますか？
A.（ワコム）いろんな方の要望があり、何をどう製品に落とし込むかは難しいです。規格の面でも、国ごとに使ってるOSの比率、電圧など、色々異なります。決定力は野心的に決めていきます。物として出す以上、5年10年武器として使い続けられるかを重視し、ロングスパンのアップデートを提供します。
（セルシス）クリエイター第一で、要望で上がってきた機能がクリエイターのためになるかを検討します。
Q. あらたらしい機能を作る際、 クリエイター（人）のためのデザインと、クリエ―ション（行為）のためのデザインは異なるけれど、そこのスコープの当て方に興味があります。
A.これまでは、ある程度絵を描く知識を持ったクリエイターに向けたデザインが多かった（その方向にしか開発していなかった）のですが、最近は描くこと自体が楽しめるような方向へシフトしていこう、という意識を持っています。
感想：
ビジネスと研究、上級者と初心者など、製品開発をする上でバランスを取ることは難しいのだと感じました。（竹元）
第2部 ソフトウェアとデバイスの現場紹介
株式会社セルシスの企業紹介、インターンの取り組みについての説明が行われた。
株式会社セルシスは1991年5月に設立され、RETAS STUDIOやCLIPSTUDIO PAINTの開発をおこなってきた。社員の54％がエンジニアで、テレワークの導入率は100％である。また、新人社員の57％がインターンを経験している。インターンの勤務形態は本人の希望に沿った対応が可能である。研究開発を希望する場合は論文の推定、調査及び再現、実践的作業を希望する場合はPAINTの改修作業等がある。他にもアプリ・WEB・インフラ開発等の業務もあり、多くの場合、元インターンの社員がメンターを務める。
後半では、講演者の学生時代のインターンの体験談を交えた説明が行われた。最後に、実際にサービスを触ってみたい人や、クリスタは知っていてもセルシスを知らない人には是非インターンに応募してみてほしい、という話で締められた。
Q＆A
Q.留学生はインターンに参加可能か。
A.大歓迎。現在も海外からのインターンの方が活躍している。
Q.外国人社員の割合、及び業務内容は？
A.全従業員の15％が外国人。海外マーケティングに関する部署が多いが、その他の部署に勤務している人もいる。開発部の場合日常会話程度ができる必要がある。
Q.学生がインターンで得た内容を大学の研究や共同研究とするのは大丈夫か。
A.そのケースは今のところないが、今後に期待。
感想：CLIPSTUDIO PAINTというアプリケーションの名前は知っていたが、それを開発している会社については全く知らなかったので。勉強になった。漫画やイラスト等の創作を経験したことがある参加者にとって、創作の際用いられるアプリケーションの開発の話を聞くことは良い刺激になったと思う。（田崎）
第3部 「Past and Future Works for Comic Computing 1」
コミック工学研究会の新しい委員の先生方に登壇いただき、研究紹介をしていただきました。
登壇者：倉本到
研究テーマとして、対話ロボットの実践的研究、ゲーミフィケーション、個性を有するエージェントデザインを主軸にしています。
対話ロボットの実践的研究では、福知山駅にロボットを置いて通行人と対話させる実験をしています。
ゲーミフィケーションでは、「デスクワークの量を定量化してゲームにする」、「満員電車で立っている間だけゲームが進む」、などを考えました。
エージェントとの対話に関する研究では、意思決定支援システムの開発を行なっています。
既存の情報検索推薦システムにおける問題点として、明確なクエリが必要で、「なんでもいい」のような曖昧な要求しか持たないユーザーに入力を明確化させるのは難しいことです。「井戸端会議モデル」では、対立する意見を交換する2人のエージェントと、中立な立場から会議の進行を担当するエージェントでインタラクションを行い、対立するエージェントたちの会話に対して、ユーザーは積極的に関与することも、会話に干渉しないこともできます。ユーザーは要求が明確になった時点で会話に参加可能です。
人間同士の会話では、話者の個性に応じて様々な対話が形成されます。エージェントの個性がどのような影響を及ぼすのか、個性の付与によって用途が拡張されるのかというクエスチョンのもと、対立エージェントの外見に個性（批判的な親、擁護的な親、大人、自由な子供、順応的な子供など）を与える実験を行いました。10名の被験者に対して効果調査を行なったところ、個性に違いがある方が意思決定を行いやすく、意思決定結果に偏りが出ることがわかりました。特定のエージェントに対する嫌悪感による決定や被験者が好きなエージェントの提案に賛成するなどの影響を受けることがわかりました。
「萌え擬人化」を用いた研究も行われています。昨今のインタラクティブな機器は、高機能化・複雑化・多様化・専門化などによって区別しづらく、理解し難いものには購買意欲が下がってしまうという問題点があります。この研究では、製品の特徴を「萌え擬人化」で表現する手法が提案されました。萌え擬人化は、人間の性格とシステム特性を対比させる「擬人化」と、表現要素と人物の性格との関係が確立している「萌え」の組み合わせで、システムを直感的に理解できることが期待されます。また、データベースが明らかになれば、適切なキャラ表現を知識なしに自動生成可能になると考えられます。受容性の拡大という点でも、システムのネガティブ要素を個性として表現する（ドジっ子、ツンデレ、不思議ちゃんなど）ことで愛着の創出や選択肢の提供として貢献すると考えられます。アンケートにより実施された調査では、食堂の食券売機を擬人化し、萌え要素の変更で人間の性格を表現可能かを調査しました。因子得点の結果、好みに有意差は現れないこと、目が閉じているほど内向的で複雑なシステムに見えることなどがわかりました。
感想：
井戸端会議モデルは人間の意思決定をサポートするためにユーザーの情報収集ステップと対話ステップをシームレスに行えるので強いのかなというように考えました。萌え擬人化では、製品の売上に関わるようなシステムは適切な表現をすることが強く求められるのかなと考えました。（竹元）
登壇者：澤野弘明
澤野さんは画像映像分析を主軸とし、支援システム開発、コンテンツ制作などを行なっています。
画像映像分析では、漫画の分析、スポーツの分析を行なっています。
モーションコミック生成では、アルゴリズム的になるべくAIを用いずに漫画から吹き出しとコマを抽出し、順序推定することでモーションコミックの生成を行いました。
卓球映像分析では、卓球の強豪校である愛知工業大学と協力してピンポン外交の立役者となりました。
ハンドボール試合分析では、ハンドボールはオリンピックの種目で有名なのに誰もやっていないという点に目をつけ、映像分析とタギングシステムの開発を行いました。
下水管調査に関する研究では、専門家による目視が必要な危険で狭い短距離の下水管調査をカプセルに包んだカメラを流すことで、安全で長距離を調査可能にしました。
支援システム開発では、手話の動きをCGで再現し、WEB上で単語と動作の入力と編集が可能なWikiを制作しました。
卓球タギングアプリでは、Youtubeを見ながらアノテートすることにより、卓球における打球とコースのタギングを行い、どういうシーンが多いのかを分析しました。
卓球脳トレでは、卓球のレシーブに対する返球を考える頭の体操アプリを開発しました。卓球は「走りながら将棋をしている」と称されるほど、サービスの役割やレシーブコースの限定、得意なコースに誘導、回転の足し算など、考えることが多く存在します。
コンテンツ制作では、水槽の中の金魚を検出して、その位置に吹き出しなどの演出を投影するシステムを制作しました。また、「ネルの日記」という映像作品を制作していました。
感想：
多様な分野というかコンテンツに渡る研究の幅の広さに圧倒されました。様々なドメインに適応していける意欲や知見の広さ、柔軟性が強みになるのだと感じました。（竹元）
第8回コミック工学研究会発表会セッション
発表タイトル：作品の展開メディアに対応したレビューの分類手法
登壇者：藤居優奈
作品が漫画、アニメ、舞台等の、複数のメディアで展開されるメディアミックスが一般的になりつつある。だが複数のメディアで展開されると、作品に関するレビューがどの展開メディアのものかが分かりにくくなる。この研究では、作品の展開メディア毎にレビューを分類する手法を提案している。作品毎の展開メディアのデータベースを作成、レビューを収集し、fastTextを用いて収集したレビューを展開メディア毎に分類する分類機を作成した。メディアの展開順番が共通している作品ごとにグループ分けし、その中で共通しているメディア2種類に対するレビューを分類した。また、比較用にグループ分けを無視した分類も行った。評価実験を行った結果、分類するメディアの組み合わせによって分類機の精度は変化した。
感想：展開メディアの推移によってレビューの内容や語彙に差が表れたのは面白いと感じた。現在はレビュー内容のポジティブ、ネガティブとの関係性の分析を行っているとのことなので、それを反映した場合の分類精度がどう変化するか、今後の発表が楽しみだ。(田崎)
発表タイトル：漫画のストーリーラインに関する類似度評価手法の一検討
登壇者：今泉港大
電子書籍の普及により、作品の海外展開や絶対数が増加した結果、読者がストーリーラインを重視した漫画検索をすることが難しくなりました。この研究では、著者名や作品名を必要としないストーリーラインをクエリとした漫画検索システムを提案します。計算機によってストーリーラインを人間と同等に評価できることは、AIが人間と同様に漫画を読むことにもつながると考えられます。
提案手法では、ストーリーラインを特徴付ける要素を、意味を直感的に理解可能かという言語・非言語情報と、変化の単位に基づいた局所的・大局的情報の2軸で定義します。局所的な言語特徴としてセリフの感情極性、大局的な言語情報としてあらすじ、局所的な非言語情報として活躍キャラクターの出現率、そして、大局的な非言語情報として表紙画像のカラーヒストグラムを用いた類似度評価手法を提案しました。
評価実験では、1月に漫画を5冊以上読む読者10名と、そうでない10名を対象とし、各手法でのストーリライン類似度評価と主観評価を比較しました。
比較にはある作品Xと主観的に類似するストーリーのランキングPと、提案手法によるランキングMを作成し、それらを一致させるために必要な最小操作回数を類似度としました。
比較の結果、漫画を頻繁に読む読者はそうでないものに比べ、より局所的な要素に着目していることが示されました。
Q.このような手法はライトノベルにも応用できるのでしょうか？
A.出現率はキャラが画面に占める面積で計算したので、ライトノベルだと回数の方が重要になるかもしれません。
Q.ストーリーラインの定義はなんでしょう？恋に落ちるとか勝利するとかの展開を表す語ではないのでしょうか。
A.そもそも、我々が「なんとなく」複数の漫画に対して同じようなストーリーであると認識する場合には、一体なにを認知しているのか？という部分に興味を持っています。これは、大凡の流れ（つまり大局的に要約したような物語）なのか、それとも細かな系列的な変化（つまり、局所的に変化する展開のようなもの）を評価しているのか、を明らかにしたいということになります。
Q.類似度評価手法自体の正当性は評価してないのでしょうか。
A.類似度評価としては、漫画をよく読む人にとっての漫画のストーリーの類似度を評価する方法としては、局所的な変化の系列の類似度が利用できそうだという提案になります。
感想：
ある抽象的なオブジェクトに対する人間の認識が何に由来するのかを解き明かすのはコンテンツ理解の第一歩として非常に重要だと思います。この研究では、複数のメディアを用いてストーリーというコンテンツの認知を評価している点が面白いと感じました。（竹元）
発表タイトル：異常検知技術を用いたアニメキャラクターの顔パーツのバランス分析
登壇者：巽優人
アニメキャラクター等の顔を描く際、綺麗に作画するにはキャラクターの顔パーツのバランスが重要になるが、同じ作品や作風でもキャラクター毎に特徴は異なり、顔パーツのバランスが変化してしまう。この研究では異常検出の技術を用いてキャラクターに応じた顔パーツのバランス提示を目指す。顔パーツの位置で構成される図形の2値画像の学習と、顔パーツの位置の座標の値の学習、という2つの手法で取り組んだ。結果として、前者の手法は区別できるものとそうでない物があり、判定に不安を感じた。対して、後者の手法には可能性を感じている。
Q.これは作画崩壊を判定する物なのか？
A.作画崩壊には限らない。演出のために意図的にバランスを崩しているもの等も対象としている。
感想：質問で出た通り、最初は作画崩壊を検知する取り組みなのかと思った。テクニックとしてのバランスの崩壊の検知という観点は斬新で、とても面白いと感じた。ただ、顔パーツのバランスが整っているかどうかは作者、作風毎に大きく異なるのではないかと思った。今後の課題として、別作者、監督の作品間でも応用できるようシステムの汎用性を高める、という点が挙げられると考える。（田崎）
発表タイトル：モーションコミック自動生成におけるコマ抽出に関する検討
登壇者：田中海斗
映像制作支援として、漫画画像に対して動き・音を付与した映像作品であるモーションコミックの自動生成を試みました。
モーションコミックでは、コマの特徴に応じた映像効果や吹き出しの動作、音源のテンポにあったコマの切り替えが必要になります。このような操作を未経験者でも行えるようにデザインしました。モーションコミック生成では、入力されたページ画像のコマ抽出を行い、映像生成を行います。この課題として、黒色ページ中のコマの分割や順序推定、見開きページの判定というものがあります。
黒色ページ中のコマの分割では、黒色が一部でも含まれるページを黒色ページとし、入力ページに対して余白除去を行った後、ページ枠のnピクセル内側の4辺のうち、一辺が画素で満たされているものを黒色ページと判定しました。実験の結果、Manga109内のデータセットすべてで正しく判定できました。
コマの順序推定では、コマの右上の頂点を基にコマを探索することで93%の制度で順序推定ができました。
見開きページの判定では、見開きページの判定では画像中の特定位置の画素が連続しているかというアルゴリズムを提案し、実験の結果、すべてのデータで正しく判定できました。
Q.見開きコマの判定は、ページの上部のみがぶち抜きコマの場合でもうまくいくのでしょうか？
A.線上の画素がつながっているかを判定しているので、可能です。
Q.誤推定の原因になっているところを見ると、コマ同士の重複を許さないようにしたら推定率上がるのではないでしょうか？
A.被ったコマの座標から順序を推定する手法を検討しています。
Q.コマ順序について、数学的に完全に法則を説明できるのか？というのが個人的にすごく興味があります。
A.まだその段階ではないと思いますが、対象としたデータ全てに関しては正しく適応できました。
感想：
アルゴリズムによる処理はAIと比較すると一見柔軟性がないように感じられますが、内部が明快であるからこそ予期しない動作を防ぐことができ、人間の認知を説明することができそうなタスクでは強力なのかなと考えました。なんでもかんでもAI一辺倒ではいけないのだと感じました。（竹元）
発表タイトル：Interactive Manga Generation based on GAN
登壇者：Qianwen Lu
第1研究では、写真をベースとしたシーンラインのインタラクティブなレンダリングを目的とする。漫画の背景に写実的なものを使用したいという理由がある。しかし、背景写真に不要なものが写りこんでいた場合、これを取り除く必要がある。セレクションペンとスマートブラシのそれぞれを用いたマスクの生成によって線画の描画を最適化した。結果、写真から不要な物を取り除き、線の接続及び情報の追加に成功した。
第2研究では、ペインターの線画の特徴の学習と、前景領域を含む写真の線画の生成の精度向上を目的とした。理由としては、ペインターが前景領域と背景領域のキャラクターの両方を同一の背景写真に収める必要が生じる場合があり、また、ペインターは詳細に描くオブジェクトを選択できる必要があるからである。
評価実験では、前景と背景、描画のそれぞれに対して評価を行った。描画ではノイズが少なく、明瞭な線を生成できた。
今後は、完全な漫画生成に向けて、キャラクターを背景に設置することを目指す。
感想：写真から線画を生成するというアイデアは新鮮で面白いと感じた。今後の展望の、キャラクタを背景に設置することによる完全な漫画生成の話は、後述のフリートークで話されていたAIによるアニメ背景の生成と、取り組みとして似ている点があって面白いと思った。（田崎）
Past and Future Works for Comic Computing 2
前日のPast and Future Works for Comic Computing 1の続きです。
登壇者：仲田晋
仲田先生は3DCGのシミュレーションや、アニメ映像との比較を題材にした研究をされています。
シミュレーションでは、局面モデリングと高速描画、発泡金属の形状モデリングなどを行っています。
アニメ映像との比較では、アニメ映像はどういうふうに捉えればいいのか？という疑問に3DCGの視点から向き合います。
アニメ映像では、人物はセル画、背景は水彩画のような組み合わせや、少ない枚数で動きを表現したり、極端な省略・抽象化・記号化が行われていたりするが、違和感なく見ることができ、この特徴はほかの映像にはあまり見られません。このため、CG的にアニメーションを表現するのは難しいです。
先行研究では、セル画のキャラクタの回転は3DCGとは辻褄が合わないことや、アニメのキャラクタにはモーションキャプチャの動きは合わないこと、描写するものごとのカメラが異なることなどが示されており、アニメをCG的に解釈するにはギャップが大きいと言えます。
アニメ映像にはルールが決まっておらず、アルゴリズムを用いてアニメの作画プロセスを模倣することは難しいと言えます。
2次元線画キャラクターの回転モデルでは、正面で書いた絵から回転モデルを生成できないだろうかというクエッションから、角度ごとに頂点を追従できる式を定義してモデル化しました。
「アニメっぽさ」とは何かをクエッションとして、変形や色彩や輪郭線を個別に
実験を行いました。一対比較法で36人の被験者に評価してもらったところ、輪郭線の影響が大きいことがわかりました。
また、アニメの絵柄を年代に合わせて変換できるのか？やCG線画に手書き線の特徴を反映させる、アニメ風髪モーションのモデル化といった研究をなされました。
Q.アニメの絵柄の変換の紹介をしていましたが、こちらの研究は現時点では「古い絵柄」と「新しい絵柄」があるアニメ同士でしょうか？
A.対応していない作品同士をバラバラに集めて互いに変換できるようにしています。対応なしの画像群を学習するネットワーク（Cycle-GAN）を使っています。
Q.アニメ風モーションはなぜそうなる、そうしたらいいという理由はあるのでしょうか？
A.理屈はないと思われる。書き方の慣習はあるはず。迫力を出すためにさまざまな誇張 /デフォルメが起こっている。
Q.ゲームとかで使われているCGとかはアニメと同じ理屈のCGで動いていますか？(藤居@立命館)
A.同じではないと思います。ゲームはCGをそのまま使っていますが、アニメでは作画に寄せるような加工をしてから使っているはず（？）です。（仲田＠立命館）
Q.CGアニメキャラの表情がのっぺらぼうのように見えた。CGキャラの動きは計算されたような、平べったい動き、セル画に近づいているとは思うが、違和感がある。そこが限界なのでしょうか？
A.限界ということはない。受け入れられやすくなっている。今のCGのやり方をよしとするか、受け止める側の問題もあるのかなと。
Q.アニメのロジックとCGが依拠する物理世界のロジックに乖離があるとすれば、特定の作風（例えばジブリ）をCGで作ることは困難ということでしょうか？
A.特定の作風が難しいということではない。作品によってやりやすい／やりづらいということはあるかもしれないと思いました。
感想：
3DCGアニメでもセル画に近づけるためにわざとモデルを歪ませるなどを聞いたことがあります。芸術的に、作家の心象映像的に正しいことと、物理的に正しいことが等しくないということなんですね。（竹元）
登壇者：Junjie Shan
Junjie Shan先生はマルチメディアコンテンツを利用する言語学習へのサポートに関する研究をされています。
言語学習の4つのスキルとして、聞く・喋る・読む・書くが挙げられ、聞くと読むは情報獲得、喋ると書くは情報創作になります。
一般的な教材は内容がかたく、興味を失いやすいです。言語学習において、身近な興味のあるメディアコンテンツを教材とすることができれば、モチベーションが維持できると考えました。
アニメを用いた聴解練習サポートにおいて、難点となるものは難易度の分別です。学習者の段階により適切な難易度とシーンの対話を用意する必要があります。
アニメの会話シーンの難易度の推定研究を行いました。提案手法では、アニメのセリフ台本に対して、対話シーンを区切り、対話中の単語と表現から難易度レベルを推定します。難易度には日本語能力試験の4つのレベルとの単語分散表現のCOS類似度を用いました。レベル推定の実験では、3つのアニメの台本に対してシーン分けと難易度推定を行ないました。結果、短くて簡単な挨拶だけのレベル4が最も少なく、レベル1と2が多いことがわかりました。ミステリー系や推理系のアニメを使用したため、説明口調で、ロジックが必要であったためだと考えられます。また、日常系アニメは難易度が低いことがわかりました。
読解テスト問題の自動生成支援では、文章を読んで問題を解答する読解テストを、学習者の興味を抱いているドメインの文章、例えば、VTuberのツイート、アイドルのブログなどから自動生成することを目的としました。読解問題では回答者は全文を理解する必要があり、専門知識が必要となる場合があります。読解問題の種類として、読解材料の文章全体に対する問題である通用問題（CM）と、読解材料にある具体的な内容に対する問題である具体問題（DR）を定義し、Seq2Seqモデルで読解問題を作成しました。
感想：
コンテンツによって問題の難易度に差が出る可能性があるというのは、面白い点だと考えました。推理モノが好きな学習者は異国語のロジックが必要な文章でも適応的に読み解いて学習していけそうな直観があります。（竹元）
登壇者：迎山和司
迎山先生は、デッサン、着彩の勘所の理解や、なぜ芸術、美術、絵画を求めるのかについて計算機で理解を進めること、コンピュータによる芸術作品（ジェネレーティブアート、マシーンアート、人工知能画家）を研究テーマにしています。
人工知能画家は、詳細はプログラムせず、大量の画像と絵を分解し組み合わせる方法を教えただけで画像を生成することができます。
絵を描くという行為はチンパンジーも行うことが知られていますが、意味のある絵を描くのは人間にしかできません。空想の事物を描くことができるようになるのは3歳児以降で言語知能獲得と関連あるのではないかと考えられています。AIは一枚の絵画を描けるようになりました。次は連続した絵画、つまり物語表現、すなわち漫画の生成に挑戦しています。漫画は現代的な物語表現の一つで、絵と文字が組み合わさった複合表現が用いられ、要素が記号的であるという特徴があります。迎山先生は、最近ではTEZUKA2020プロジェクトにも参加されました。
登場人物の表情、姿勢漫画や吹き出しなどのメタデータを編集するツールである“info_editor”、カメラでコマの情報を検出する”easy_reader”、4コマ漫画を1コマに圧縮する”scenario_plotter”、漫画をAIで自動生成する“page_generator”などを制作されました。AIのべりすとの生成文を使って漫画の自動生成やポーズを検出するAI、似顔絵AI、しりあがり寿AIなどが作られました。最近では、MidjourneyやStableDiffusionなどの高性能な生成側AIを漫画生成に組み込もうとしています。
感想：
勘所と表されているような、抽象的で感性的なものを明らかにしていくという試みは、とても興味があります。人間が持ちうる知識、つまりは生後からの人生経験から、どのような因子が芸術に繋がっているのか、それは逆算可能なのか、とても面白いです。（竹元）
フリートークセッション
アニメ制作現場での、Midjourneyについての意見や考え、見解をトリガーとした議論が行われた。
現在アニメ制作現場が抱える課題として、人的リソースが不足しており、今のやり方は割に合わないという点が挙げられる。また、絵を描く技術も下がりつつあるため、これをAIで補給できないかと考えた。
現在行われている取り組みに、背景をすべてAIで作成し、人間は人間のイラストレーターが描き、3分間のアニメを制作した、というものがある。他にもMidjourneyを使い何ができるかは模索中である。技術的な不満点はまだまだあるが、人間とMidjourneyが作業を半分ずつ分担し、機械で認識できない部分は人間が手書きで補完し、ちゃんと見えなくてもっ問題ない部分は機械にやらせるだけでも、制作現場としてはだいぶ楽になると話されていた。
チーム的にはAIの登場は歓迎されており、それによって技術会社がつぶれる、といったような心配はしておらず、むしろ技術会社がAIをつかえばよいのではないか、と話されていた。しかしこれはあくまでも管理側の意見であり、技術者からの意見や職業による感覚の違いについてはまだわからないとされていた。
Discussion
Q.イラストレーターの人のために研究開発している人はどのように情報収集しているのか。
A.画像生成AIには勿論興味がある。倫理観の問題もあるがスピード感もまた重要。(セルシス)
Q.入力として線画をファインチューニングに用いることはできるか？
A.アスペクト比が変更できないという問題点がある。画風を真似るという人間にとっては一番難しい課題を難なくクリアできる半面、アスペクト比や解像度の変更等と言った、シンプルなことが意外とできないのがAI技術。生理的な忌避反応との向き合い方に関しては、クリエイターの見せ方の工夫が問われる。また、作家性だけで成り立っているものではなく、生産性、量産性も併せて成り立っている。
Q.背景描画には具体的にどれほどのリソースや時間がかかっているのか。
A.映画だったら1000枚ほど。1枚当たり2、3日かかる。後ろの風景は使い回す等、工夫してスピードアップはしている。50点分ぐらいAIにやってもらい、人がやらざるを得ない工程で人的リソースを使う、といった取り組みを考えている。
・音楽には初音ミクがあるが、初音ミク登場以前は歌を歌えない人は歌付きの楽曲が作れなかった。今後絵が描けない潜在的なクリエイターが表層に出る可能性があるかもしれない。
Q.ハードウェア開発者(Wacomとして)の視点はどうか。
A.プロフェッショナルがデジタルで絵を描いてみてもいいという段階までに既に苦労している。100％要望を叶えられたわけではなく、突き詰めていきたいと考えている。AIに関しては、クリエイタがどういう意図で線を引いているかを研究している。役立つ技術があればカバーしたいと思っている。
Q.実際に作れるようになると思う？最後まで残る課題は？
A.最初の発想、仕上げは絶対人間である必要があり、ここが自動になってしまうと人間では理解できない作品が出来上がってしまう。また、タイムラプスや書き足した情報等の、中間生成物は人間にしか作れないが、アニメ作品の中間生成物はほとんどアーカイブできていないのが現状である。何を残すべきなのか、人間の創造性はどこに宿っているのかを考える必要がある。他にも、このトピックに関する研究者は個々に活動してしまっているので、研究結果を持ち合いたいと考えている。
感想：イラストを自動生成するタイプのAIはクリエイターにとっては目の上の瘤のようなものなのだろうと思っていたが、実際は歓迎しておりそれを用いた様々な取り組みを行っているという現場の声もあると聞いて、とても驚いた。風景の作画等の機械でもできる単純作業は機械にやらせ、人の作画等の難しい作業は人間が行うことで人的リソースを有効活用する、という取り組みはとても面白いと思った。アニメ業界の発展の未来を垣間見ることができた。(田崎)
