PFN Creative Project

Overview

Preferred Networks（PFN）は、ディープラーニング技術の実世界への応用を目指し、 OSSのディープラーニングフレームワークChainer™の開発や、自動運転、ロボットの高度化、がんの早期診断などの研究・開発を行っています。

PFNでは、このディープラーニング技術のクリエイティブ分野への応用も進めており、2019年1月25日公開のオリジナル劇場長編アニメーション映画『あした世界が終わるとしても』に技術提供するとともに、製作委員会に参画しました。
今回、本作品の制作のために新たに開発・提供した技術 DesignChainer™（デザイン・チェイナー）および MotionChainer™（モーション・チェイナー）の概要をご紹介いたします。

DesignChainer

デザインには様々な要素や手法があります。抽象化もその１つの概念であると考えられます。抽象化は、それ自体の定義が難しいのですが、近年、ディープラーニングの発達により、ニューラルネットワークを用いて抽象的なベクトルや特徴量を抽出し、それを操作、変更するということが可能になりました。 ニューラルネットワークにより画像を再解釈することで、抽象化というデザインにおける概念の一つを実現することができないか、と考えて開発したのがDesignChainerです。

このDesignChainerによる変換が果たして正解か、というと難しいのですが。道具としての一つとしてひとつの解になり得るのではないかと思います。 図１の二つの画像を見て、どちらがコンピュータによるデザインで、どちらが人間によるものなのか、ぱっとわかる人は少ないのではないでしょうか。 今回学習したモデルではこのような結果になりましたが、様々な条件付けをすることで、色々な再解釈や抽象化の余地が残されています。それは人間のアーティストの解釈の余地が多様なのと少し似ているかもしれません。

また、抽象化の度合を変化させることで、異なる表現を生むこともできます。

左は、ほとんど元の形状が保たれていますが、右のものはごく一部の要素が強調され、元のデザインに無かった要素が追加されています。

抽象度を高くしたもの（右）は、完全に線画のようになっていますが、単純な輪郭の抽出とも違った結果になりました。 このように、ニューラルネットを用いて画像の特徴をある程度抽出し、再解釈を行うことが可能です。

ニューラルネットによる再解釈を行うことの利点の一つとして、抽象化されたベクトル内での操作が可能になる点だといえます。

MotionChainer

大勢の人々の動き（モーション）を生成する仕組みのことを群衆システムと呼びます。 従来は、群衆のモーションの作成には、膨大な工数が必要でした。

PFNは、この群衆システムにニューラルネットワークを用いたMotionChainerを開発しました。 これにより複雑なルールを記述しなくても、自然に群衆の動きを作成できます。

インターフェースはUnity環境上に構築し、アーティストの方にも扱いやすくなっています。

このインターフェースはシミュレーション環境の構築も兼ねていて人物や背景の配置をこの上で行うことができます。 また、シミュレーションの結果のモーションもUnity環境にて確認できます。

最終的にこのシステムを使って、1000体超の人物のモーションを作成すると以下のような映像を作ることができます。

MotionChainerを使うことで難しい設定をせずに、こうした群衆シーンを作成することができます。

Link

• 映画『あした世界が終わるとしても』
• 『あした世界が終わるとしても』公式Twitterアカウント（@ashitasekaiga）
• Preferred Networks Creative Project『PaintsChainer』