Overview

Preferred Networks(PFN)は、ディープラーニング技術の実世界への応用を目指し、 OSSのディープラーニングフレームワークChainer™の開発や、自動運転、ロボットの高度化、がんの早期診断などの研究・開発を行っています。

PFNでは、このディープラーニング技術のクリエイティブ分野への応用も進めており、2019年1月25日公開のオリジナル劇場長編アニメーション映画『あした世界が終わるとしても』に技術提供するとともに、製作委員会に参画しました。
今回、本作品の制作のために新たに開発・提供した技術 DesignChainer™(デザイン・チェイナー)および MotionChainer™(モーション・チェイナー)の概要をご紹介いたします。

DesignChainer

デザインには様々な要素や手法があります。抽象化もその1つの概念であると考えられます。抽象化は、それ自体の定義が難しいのですが、近年、ディープラーニングの発達により、ニューラルネットワークを用いて抽象的なベクトルや特徴量を抽出し、それを操作、変更するということが可能になりました。 ニューラルネットワークにより画像を再解釈することで、抽象化というデザインにおける概念の一つを実現することができないか、と考えて開発したのがDesignChainerです。

図1:作品中に登場するキャラクター「アルマティック」の頭部の画像を、
ニューラルネットワークによって抽象化して再構成した例

このDesignChainerによる変換が果たして正解か、というと難しいのですが。道具としての一つとしてひとつの解になり得るのではないかと思います。 図1の二つの画像を見て、どちらがコンピュータによるデザインで、どちらが人間によるものなのか、ぱっとわかる人は少ないのではないでしょうか。 今回学習したモデルではこのような結果になりましたが、様々な条件付けをすることで、色々な再解釈や抽象化の余地が残されています。それは人間のアーティストの解釈の余地が多様なのと少し似ているかもしれません。

また、抽象化の度合を変化させることで、異なる表現を生むこともできます。

図2:腕の画像を入力にして、異なる抽象度で出力を行った結果

左は、ほとんど元の形状が保たれていますが、右のものはごく一部の要素が強調され、元のデザインに無かった要素が追加されています。

図3:足のパーツを入力にして、異なる抽象度で出力を行った結果

抽象度を高くしたもの(右)は、完全に線画のようになっていますが、単純な輪郭の抽出とも違った結果になりました。 このように、ニューラルネットを用いて画像の特徴をある程度抽出し、再解釈を行うことが可能です。

図4:入力した二つの画像を、ニューラルネットによる抽象化を行った空間で混ぜ合わせています

ニューラルネットによる再解釈を行うことの利点の一つとして、抽象化されたベクトル内での操作が可能になる点だといえます。

MotionChainer

大勢の人々の動き(モーション)を生成する仕組みのことを群衆システムと呼びます。 従来は、群衆のモーションの作成には、膨大な工数が必要でした。

PFNは、この群衆システムにニューラルネットワークを用いたMotionChainerを開発しました。 これにより複雑なルールを記述しなくても、自然に群衆の動きを作成できます。

MotionChainerFigure1

図5:MotionChainerの大まかな仕組み

インターフェースはUnity環境上に構築し、アーティストの方にも扱いやすくなっています。

MotionChainerFigure2

©Unity Technologies Japan/UCL

図6:MotionChainerインターフェース例

このインターフェースはシミュレーション環境の構築も兼ねていて人物や背景の配置をこの上で行うことができます。 また、シミュレーションの結果のモーションもUnity環境にて確認できます。

最終的にこのシステムを使って、1000体超の人物のモーションを作成すると以下のような映像を作ることができます。

MotionChainerを使うことで難しい設定をせずに、こうした群衆シーンを作成することができます。

Chainer™、DesignChainer™およびMotionChainer™は、株式会社Preferred Networksの日本国またはその他の国における商標または登録商標です。

This website is not sponsored by or affiliated with Unity Technologies or its affiliates.“Unity” is a trademark or registered trademark of Unity Technologies or its affiliates in theU.S. and elsewhere.