VTuberがダンスをする仕組みを解説
こんなことが知りたい
VTuberのダンスはどんな仕組みで動いている？
ここでは、 「VTuberの3Dモデルがダンスをする仕組み」 について解説していきます。
「ライブ配信のときは、どのような仕組みで動いているのか？」 「オフラインのダンスコンテンツを作るときは、どのように作成するのか？」 「人の身体の動きをどのように3Dモデルに適用させるのか？」
3DVRの部署で働いている私が、 できるだけ丁寧に説明していきます。
この記事を書いた人
さくら
- 3DCADサポートエンジニア
- サポート歴7年
- Autodeskとダッソー製品のカスタマーサポートに従事
- 2022年からVR部署の管理職
- 法人向けVRを扱う
詳しい紹介はこちら 「自己紹介」
目次
VTuberどうやって動かしている？
VTuberの3Dモデルがダンスするには、 「モーションキャプチャーのデータを3DCGモデルのアバターに流し込み、 3Dビューワで表示する」 という流れが一般的です。
ライブ配信の場合は、 モーションキャプチャーでリアルタイムに3Dモデルの骨格を計算して、 3Dビューワでアバターに変換したものを配信します。 配信映像までの流れは下の図のようになります。
一般的に、モーションキャプチャーは制作会社を通じて、 モーションキャプチャースタジオで撮影します。 いわゆる、法人向けモーションキャプチャを所持していて、 「一日数十万円～」で撮影を請け負ってくれるところが多いです。 ライブ配信の場合は モーションキャプチャースタジオから配信します。
VTuberのアバターは、 Unity、Unreal、Maya、MotionBuilderなどの3Dビューワを使って表示します。 モーションキャプチャーシステムは、 これら3Dビューワへリアルタイムにデータを流せるプラグインソフトがあります。
オフラインコンテンツの場合、 まずは、モーションキャプチャーのデータだけを収録します。 オフラインコンテンツ作成の流れは、 下の図のような感じです。
後日、モーションキャプチャーデータのポストプロセス処理をして、 アニメーション作成ができる3DCGソフトのMaya、3ds Max、MotionBuilderのいずれかに データをインポートさせます。
ちなみにポストプロセス処理とは、 データが消えている部分やノイズを除去する作業です。 また、足の接地がじっさいの動きと異なって 離れている部分を修正することもあります。 これは、モーションキャプチャーの専用ソフトで処理をします。
法人向けモーションキャプチャだと、ViconのNexus、Shogunというソフトがあります。 OptitrackだとMotiveというソフト、Xsense MVNだとMVN Animateが専用ソフトにあたります。 おそらく、個人の方が見る機会はほとんどないでしょう。
アニメーション作成では、 Maya、3ds Max、MotionBuilderでインポートしたモーションキャプチャーデータを アバターに適用させます。 これによりアバターがダンスをするようになります。 インポートさせたあとに、不自然な動きになっていないかを さらにチェックしていきます。
アニメーションに不自然なところがある場合は、 3DCGソフト側でアニメーションの修正を行います。 この修正を行ったあと、アニメーションをレンダリングして 映像ファイルにするわけです。
VTuber活動でのモーションキャプチャーの使われ方については、 別のページで詳細をまとめています。
もし、興味があればそちらも合わせてご覧ください。
VTuber3Dモデルの仕組みは？
さて、VTuberのアバターである「3Dモデル」について もう少し詳しく説明していきます。
VTuberのアバターは、モーションキャプチャーで自然に動くように チューニングされています。
チューニングとは、 「3Dモデルができるだけ高速に3D表示できて、 さらに自然な動きになるようなモデリングをしている」 ということです。
例えば、3Dモデルには「骨格」という設定があります。 人間でいうと骨にあたる部分です。 アバターの骨格については、下の図のような感じです。
この骨格をできるだけ簡素化して、さらに可動域を制限して 腕が胴体にめり込まないようにしたり、 足が変な方向に向かないようにするわけです。
続いて、モーションキャプチャーのデータを 3Dモデルの骨格に適用させる仕組みです。
まずは、モーションキャプチャー側で骨格の位置と姿勢を計算します。 この計算された骨格の動きのデータを3DCGソフト側の3Dモデルの骨格に流し込むことで アバターが動くようになります。
これを実現するには、 「モーションキャプチャーで計算する骨格と 3DCGソフトの3Dモデルの骨格を1対1対応させる必要があります。
ただし、必ずしも両方の骨格の構造が同じである必要はありません。 主要な骨格だけ共通していれば、3DCGソフトの設定でアバターに適用することができます。
例えば、MotionBuilder、MayaではHumanIKという機能を使って モーションキャプチャーで計算する骨格とアバターの骨格データを 対応付けていきます。 UnityではVRIKプラグインというソフトを使うことが多いです。
VTuberの3Dアバターは、 このような仕組みで作られています。
VTuberどうやって撮影する？
さて、VTuberのダンス撮影ですが、 「モーションキャプチャースタジオ」で撮影することが多いです。
モーションキャプチャースタジオでは 主に2種類のモーションキャプチャーを所有していることが多いです。 一つ目が「光学式モーションキャプチャー」 二つ目が「慣性式モーションキャプチャー」です。
ちなみに、「どちらを使うべきか」については、 モーションキャプチャースタジオのスタッフの方が提案してくれます。 最初から最後までコンサルしてくれるわけですね。
光学式モーションキャプチャー
「光学式モーションキャプチャー」では、 ピチッとした専用スーツを着用して、 マーカーと呼ばれるセンサーを身体中につけます。
マーカーは一人当たり40個～50個つけていきます。 骨格の動きを詳細に推定するには、 最低でもこの数が必要になります。
身体につけたマーカーは複数のカメラでとらえます。 ダンスをする演者を囲うようにカメラを配置して、 できるだけ隠れがないように多くのカメラ台数で撮影します。
モーションキャプチャーの専用ソフトで、 この複数のマーカーから「骨格」を計算し、 そのデータを3DCGソフトへ流し込みます。 3DCGソフトで骨格の動きデータをアバターに適用させます。
慣性式モーションキャプチャー
「慣性式モーションキャプチャー」では、 こちらもピチッとした専用スーツを着用して、 IMUと呼ばれるセンサーを身体の主要部分につけていきます。
IMUセンサーは17個つけることが一般的です。 具体的な個所は 「頭、胸、腰、上腕、手首、手、太もも、すね、足首、つま先」です。 手足は左右につけていきます。
モーションキャプチャーの専用ソフトで骨格を推定します。 慣性式モーションキャプチャーでは、 「あらかじめ決められた骨格」になるので、 アバターの3Dモデル骨格との定義づけが必要になります。 Maya、MotionBuilderであればHumanIK機能を使います。
3DCGソフトで骨格の定義づけをすると、 モーションキャプチャーのデータを3Dモデルに適用できます。
これがVTuberのダンス撮影の概要です。
おすすめVTuberに関係する記事
VTuberに関する記事は他にも書いています。 もし、興味があればそちらも合わせてご覧ください。
まとめ
「3DモデルVTuberのダンス動作の仕組みを解説」 についてのまとめです。
VTuberの3Dモデルのアバターは、 モーションキャプチャーデータを使って動きを再現している。
ライブ配信の場合はモーションキャプチャーのデータから骨格を推定し、 その骨格データをリアルタイムにアバターに適用させている。 アバターは3DCGソフトで表示する。
オフラインコンテンツの場合は、 モーションキャプチャーのデータを撮影する。 その後、ポストプロセス処理をしてから3DCGソフトに搬入させて アニメーションを作成する。
VTuberの3Dモデルの仕組みは、 自然な動きになるように骨格を設定している。 また、高速に表示できるようにできるだけ単純化させている。
VTuberのダンスは一般的にモーションキャプチャースタジオで撮影することが多い。
モーションキャプチャースタジオでは、 光学式モーションキャプチャーと慣性式モーションキャプチャーの 2種類を用意しているところが多い。
撮影しようとしているダンスが、 どちらのモーションキャプチャーに適しているかは、 スタジオのスタッフが提案してくれる。