3DモデルVTuberのダンス動作の仕組みを解説

VTuberがダンスをする仕組みを解説

VTuberがダンスをする仕組みを解説

こんなことが知りたい

VTuberのダンスはどんな仕組みで動いている?

ここでは、 「VTuberの3Dモデルがダンスをする仕組み」 について解説していきます。

「ライブ配信のときは、どのような仕組みで動いているのか?」 「オフラインのダンスコンテンツを作るときは、どのように作成するのか?」 「人の身体の動きをどのように3Dモデルに適用させるのか?」

3DVRの部署で働いている私が、 できるだけ丁寧に説明していきます。

この記事を書いた人

自分
さくら

  • 3DCADサポートエンジニア
  • サポート歴7年
  • Autodeskとダッソー製品のカスタマーサポートに従事
  • 2022年からVR部署の管理職
  • 法人向けVRを扱う

詳しい紹介はこちら 「自己紹介」

目次

VTuberどうやって動かしている?

VTuberの3Dモデルがダンスするには、 「モーションキャプチャーのデータを3DCGモデルのアバターに流し込み、 3Dビューワで表示する」 という流れが一般的です。

ライブ配信の場合は、 モーションキャプチャーでリアルタイムに3Dモデルの骨格を計算して、 3Dビューワでアバターに変換したものを配信します。 配信映像までの流れは下の図のようになります。

VTuberのライブ配信までの流れ

一般的に、モーションキャプチャーは制作会社を通じて、 モーションキャプチャースタジオで撮影します。 いわゆる、法人向けモーションキャプチャを所持していて、 「一日数十万円~」で撮影を請け負ってくれるところが多いです。 ライブ配信の場合は モーションキャプチャースタジオから配信します。

VTuberのアバターは、 Unity、Unreal、Maya、MotionBuilderなどの3Dビューワを使って表示します。 モーションキャプチャーシステムは、 これら3Dビューワへリアルタイムにデータを流せるプラグインソフトがあります。

オフラインコンテンツの場合、 まずは、モーションキャプチャーのデータだけを収録します。 オフラインコンテンツ作成の流れは、 下の図のような感じです。

VTuberのオフラインコンテンツ作成までの流れ

後日、モーションキャプチャーデータのポストプロセス処理をして、 アニメーション作成ができる3DCGソフトのMaya、3ds Max、MotionBuilderのいずれかに データをインポートさせます。

ちなみにポストプロセス処理とは、 データが消えている部分やノイズを除去する作業です。 また、足の接地がじっさいの動きと異なって 離れている部分を修正することもあります。 これは、モーションキャプチャーの専用ソフトで処理をします。

法人向けモーションキャプチャだと、ViconのNexus、Shogunというソフトがあります。 OptitrackだとMotiveというソフト、Xsense MVNだとMVN Animateが専用ソフトにあたります。 おそらく、個人の方が見る機会はほとんどないでしょう。

アニメーション作成では、 Maya、3ds Max、MotionBuilderでインポートしたモーションキャプチャーデータを アバターに適用させます。 これによりアバターがダンスをするようになります。 インポートさせたあとに、不自然な動きになっていないかを さらにチェックしていきます。

アニメーションに不自然なところがある場合は、 3DCGソフト側でアニメーションの修正を行います。 この修正を行ったあと、アニメーションをレンダリングして 映像ファイルにするわけです。

VTuber活動でのモーションキャプチャーの使われ方については、 別のページで詳細をまとめています。

もし、興味があればそちらも合わせてご覧ください。

VTuberの仕組み解説!モーションキャプチャー使われ方

VTuber3Dモデルの仕組みは?

さて、VTuberのアバターである「3Dモデル」について もう少し詳しく説明していきます。

VTuberのアバターは、モーションキャプチャーで自然に動くように チューニングされています。

チューニングとは、 「3Dモデルができるだけ高速に3D表示できて、 さらに自然な動きになるようなモデリングをしている」 ということです。

例えば、3Dモデルには「骨格」という設定があります。 人間でいうと骨にあたる部分です。 アバターの骨格については、下の図のような感じです。

3Dアバターの骨格

この骨格をできるだけ簡素化して、さらに可動域を制限して 腕が胴体にめり込まないようにしたり、 足が変な方向に向かないようにするわけです。

続いて、モーションキャプチャーのデータを 3Dモデルの骨格に適用させる仕組みです。

まずは、モーションキャプチャー側で骨格の位置と姿勢を計算します。 この計算された骨格の動きのデータを3DCGソフト側の3Dモデルの骨格に流し込むことで アバターが動くようになります。

これを実現するには、 「モーションキャプチャーで計算する骨格と 3DCGソフトの3Dモデルの骨格を1対1対応させる必要があります。

3Dモデル骨格のマッピング

ただし、必ずしも両方の骨格の構造が同じである必要はありません。 主要な骨格だけ共通していれば、3DCGソフトの設定でアバターに適用することができます。

例えば、MotionBuilder、MayaではHumanIKという機能を使って モーションキャプチャーで計算する骨格とアバターの骨格データを 対応付けていきます。 UnityではVRIKプラグインというソフトを使うことが多いです。

VTuberの3Dアバターは、 このような仕組みで作られています。

VTuberどうやって撮影する?

さて、VTuberのダンス撮影ですが、 「モーションキャプチャースタジオ」で撮影することが多いです。

モーションキャプチャースタジオでは 主に2種類のモーションキャプチャーを所有していることが多いです。 一つ目が「光学式モーションキャプチャー」 二つ目が「慣性式モーションキャプチャー」です。

ちなみに、「どちらを使うべきか」については、 モーションキャプチャースタジオのスタッフの方が提案してくれます。 最初から最後までコンサルしてくれるわけですね。

光学式モーションキャプチャー

「光学式モーションキャプチャー」では、 ピチッとした専用スーツを着用して、 マーカーと呼ばれるセンサーを身体中につけます。

マーカーは一人当たり40個~50個つけていきます。 骨格の動きを詳細に推定するには、 最低でもこの数が必要になります。

身体につけたマーカーは複数のカメラでとらえます。 ダンスをする演者を囲うようにカメラを配置して、 できるだけ隠れがないように多くのカメラ台数で撮影します。

光学式モーションキャプチャーの図

モーションキャプチャーの専用ソフトで、 この複数のマーカーから「骨格」を計算し、 そのデータを3DCGソフトへ流し込みます。 3DCGソフトで骨格の動きデータをアバターに適用させます。

慣性式モーションキャプチャー

「慣性式モーションキャプチャー」では、 こちらもピチッとした専用スーツを着用して、 IMUと呼ばれるセンサーを身体の主要部分につけていきます。

IMUセンサーは17個つけることが一般的です。 具体的な個所は 「頭、胸、腰、上腕、手首、手、太もも、すね、足首、つま先」です。 手足は左右につけていきます。

慣性式モーションキャプチャーの図

モーションキャプチャーの専用ソフトで骨格を推定します。 慣性式モーションキャプチャーでは、 「あらかじめ決められた骨格」になるので、 アバターの3Dモデル骨格との定義づけが必要になります。 Maya、MotionBuilderであればHumanIK機能を使います。

3DCGソフトで骨格の定義づけをすると、 モーションキャプチャーのデータを3Dモデルに適用できます。

これがVTuberのダンス撮影の概要です。

おすすめVTuberに関係する記事

VTuberに関する記事は他にも書いています。 もし、興味があればそちらも合わせてご覧ください。

個人向け!低価格モーションキャプチャー4選

VTuber向けのおすすめPCと推奨スペックを解説

VTuberの仕組み解説!モーションキャプチャー使われ方

プロが使う!フルトラッキングできるVRシステム

個人向け!フルトラッキングできるVRシステム

VTubeStudioが重い?配信で確認したい3つのこと

VTubeStudioのおすすめPCスペックはコレ!

まとめ

「3DモデルVTuberのダンス動作の仕組みを解説」 についてのまとめです。

VTuberの3Dモデルのアバターは、 モーションキャプチャーデータを使って動きを再現している。

ライブ配信の場合はモーションキャプチャーのデータから骨格を推定し、 その骨格データをリアルタイムにアバターに適用させている。 アバターは3DCGソフトで表示する。

オフラインコンテンツの場合は、 モーションキャプチャーのデータを撮影する。 その後、ポストプロセス処理をしてから3DCGソフトに搬入させて アニメーションを作成する。

VTuberの3Dモデルの仕組みは、 自然な動きになるように骨格を設定している。 また、高速に表示できるようにできるだけ単純化させている。

VTuberのダンスは一般的にモーションキャプチャースタジオで撮影することが多い。

モーションキャプチャースタジオでは、 光学式モーションキャプチャーと慣性式モーションキャプチャーの 2種類を用意しているところが多い。

撮影しようとしているダンスが、 どちらのモーションキャプチャーに適しているかは、 スタジオのスタッフが提案してくれる。

関連記事

個人向け!VTuberになるための必要な機材はコレ!

個人向け!VTuberになるための3Dソフト

VRChatのおすすめPCはコレ!推奨スペックを解説

VIVE Pro2でVRするのに必要なもの4点

個人向け!低価格モーションキャプチャー4選

VTubeStudioが重い?配信で確認したい3つのこと

VTubeStudioのおすすめPCスペックはコレ!

メタバースのおすすめPCはコレ!推奨スペックを解説

アイトラッキングができるHMDはコレ!

VIVE Pro2でVRするのに必要なもの4点

VTuber向けのおすすめPCと推奨スペックを解説

MetaQuest2で遊ぶのに必要なものはコレ!

VRシステム開発に必要なものはコレ!4つのアイテム

初心者向け!VRに必要なものはコレ!失敗しない機材選び

VTuberの仕組み解説!モーションキャプチャー使われ方

プロが使う!フルトラッキングできるVRシステム

Blender推奨スペックはコレ!おすすめパソコン10選

個人向け!フルトラッキングできるVRシステム

初心者向け!VR向けノートパソコン選び3つのポイント

BlenderでVRをするのに必要なものはコレ!

VR研究で使える脳波計とHMDはコレ!

VR研究で使うHMD選び3つのポイント

3DCADをVRで見るためのCADソフト5選

Quest2のPC推奨スペックと失敗しないパソコン選び方

厳選!おすすめHMD 11選

VIVEの推奨スペックと失敗しないパソコンの選び方

アイトラッキングをVRでする方法はコレ!

VIVE ProEyeのアイトラッキングで何ができる?

VRパソコンで重要な3つのスペック

Copyright (C) 3DCADパソコンのスペックガイド. All Rights Reserved.