mocopiのデータをMotionBuilderで編集する方法を解説
こんなことが知りたい
BVHデータをキャラクターに適用する方法を知りたい
mocopiで撮ったデータをMotionBuilderで編集する方法を知りたい
ここでは、 mocopiを検討している方もしくは、mocopiを持っている方に向けて 「mocopiで撮ったBVHデータをMotionBuilderで3Dキャラクターに適用してから アニメーションを編集する方法」を解説しています。
mocopiのデータを使ってコンテンツを作りたいけど、 どうやったら自分の3Dキャラクターに動きを適用させるかわからない… という方も少なくありません。
そんな方に向けて mocopiで撮ったモーションキャプチャーデータを オフラインで編集する方法を具体的な手順とともに説明していきます。
あなたのコンテンツ作りのお手伝いができれば幸いです。
目次
- BVH読込みからアニメーション編集までの流れ
- mocopiで撮ったBVHを読込む
- BVHをキャラクタライズ
- 3Dキャラクターの読込みとキャラクタライズ
- リターゲット
- リターゲットの微調整
- IKとFKで修正
- まとめ
BVH読込みからアニメーション編集までの流れ
まずはじめにですが、MotionBuilderは モーションキャプチャーデータを使ったアニメーション作成に特化したソフトです。
最近では おすすめの3Dアニメーション作成ソフト としてもピックアップされ、 モーションキャプチャーデータを使ったアニメーション作成の先駆者的ソフトです。
昔は業務用のモーションキャプチャー向けソフトでしたが、 いまはmocopiのデータも読込めるので 個人で使っている方も増えてきています。
まだ、MotionBuilderを使ったことがなくて どのようなソフトなのかわからないという方は、 ぜひ 「初心者向け！MotionBuilderでできることはコレ」 もあわせてご覧ください。 MotionBuilderでできることの概要をまとめています。
続いて、mocopiですが2023年に販売開始した個人向けモーションキャプチャーです。 個人で買える値段のVR機器として人気で VTuberのコンテンツ作成でもよく使われています。
個人向けモーションキャプチャーは いくつか販売されていますが、 mocopiは性能と価格のバランスが取れています。 さらに生産数も多いため売り切れになることが少なく 全身トラッキングできるVR機器の普及に一役買っています。
そんなmocopiは配信やメタバースで遊ぶときに リアルタイムでアバターを表示する機能をよく使います。 しかし、データとして記録しておき、後で見返すこともできます。
記録したデータファイルは「BVHファイル」という形式で保存され、 mocopiのスマホアプリで再生することができます。
しかし、mocopiのスマホアプリでは他のアバターに動きを適用したり、 撮ったデータを編集して 見栄えの良いアニメーションに修正するのは難しいのが現状です。
しかし、MotionBuilderを使うことで アバターの変更やモーションキャプチャーデータの編集ができるようになります。
さて、その方法ですが 次の2つのパターンがあります。
- スマホで記録してMotionBuilderで修正する
- MotionBuilderで記録してそのまま修正する
1つ目は、 mocopiのスマホアプリで動きを記録をして そのデータをMotionBuilderにインポートさせる方法です。 流れとしては、以下の図のようになります。
スマホの中にBVHファイルとして保存されているので、 そのBVHファイルをパソコンに転送します。 そして、そのBVHファイルをMotionBuilderで読込んで アニメーション作成と修正を行います。
とりあえず、モーションキャプチャーを素早く済ませておいて データ処理をあとでじっくり方法です。
データ記録の具体的な方法はSONYの公式ページにある mocopiの取説に書いてありますので、 そちらを参考にしてみてください。
2つ目は、 MotionBuilderとmocopiをリアルタイムで接続して、 MotionBuilderでBVHファイルとして記録する方法です。
あらかじめMotionBuilderにmocopiのPluginソフトを インストールしておく必要があります。
パソコンを使うので準備が面倒ですが、 データ編集をするパソコンに直接データを記録できるので ファイル転送の手間が省けます。
こちらも具体的な方法はSONY公式に載っています。
MotionBuilder Pluginを使ってアバターを動かそう・SONY公式
さて、ここまではBVHファイルを記録するまでの説明でした。 続いて、アニメーション編集までの流れです。 記録したBVHファイルを3Dキャラクターに適用してアニメーション化するには 次の6つのステップが必要になります。
- BVH読込み
- BVHのキャラクタライズ
- 3Dキャラのキャラクタライズ
- リターゲット
- リターゲットの微調整
- IK・FK修正
まずはBVHファイルをMotionBuilderで読込みます。 次にキャラクタライズを行います。
キャラクタライズとは、 簡単に言うと「骨が身体のどこの部位なのかを教える作業」です。 BVHにも3DCGキャラクターにも「骨」が設定されています。 そのそれぞれの骨は、 身体のどの部分なのかを定義するわけですね。
キャラクタライズをしたあとは、 リターゲットを行います。 リターゲットとは「キャラクターに動きのデータを適用すること」です。
リターゲット後に、 IK、FK機能を使って腕の位置や足の位置などを微調整していきます。
このあと、具体的な操作方法を解説していきます。
mocopiで撮ったBVHを読込む
まずはmocopiで撮ったBVHファイルをMotionBuilderで読込みます。
mocopiのスマホアプリで記録した場合、 スマホの以下のフォルダに保存されています。
- iPhone：「mocopi」フォルダの「MotionData」
- Android：アプリで初めて記録したときに指定したフォルダ
mocopi取扱説明書より参照：SONY公式
データはスマホにあるので、 まずはBVHファイルをパソコンに移動させます。 移動させたBVHファイルをMotionBuilderで読込みます。
さて、今回の説明で使うBVHファイルですが、 以下のリンクからダウンロードできるようにしました。 もし、手元にBVHファイルがない場合は、ぜひ使ってみてください。
下のリンクを右クリックして「名前を付けてリンク先を保存」とすると BVHファイルをダウンロードできます。
BVHファイルを読込むには、 MotionBuilderのメニューにある「File」→「Motion File Import...」を選びます。 BVHファイルを選択して「開く」ボタンをクリックします。
インポート時にオプションウィンドウが表示されるので、 ウィンドウ右下の「Import」ボタンをクリックします。
無事にインポートされると、 3Dビュー画面に骨（ボーン）が表示されます。
ちなみにBVHのデータは、 最初に両腕を上げた「Tポーズ」と呼ばれる姿勢も記録しておくと、 あとでキャラクタライズのときに便利です。
今回使ったデータは、 Tポーズからスクワットをする動作を使用しました。
BVHをキャラクタライズ
読込んだBVHのデータを使ってキャラクタライズをしていきます。
画面右下の「Resources」のなかにある「Asset Browser」タブを選択します。 ツリービューの「Characters」を選択します。 そのなかの「Character」アイコンを3Dビューにドラッグ＆ドロップします。
画面右側の「Character Controls」のなかに キャラクタライズのための設定画面が出てきます。
ここの「Definition」タブにある人の骨のような画面を使います。
まずは腰から対応付けしていきます。 「Definition」タブの腰の部分を「ダブルクリック」します。 腰の部分が選択された状態になります。
ここで3Dビューに移り、BVHの腰の骨をクリックします。 すると「Definition」タブの骨の腰の部分が緑色になります。
この作業を他の骨にも行います。 mocopiの骨の対応は最低でも次の項目を設定するといいでしょう。 「頭、首、鎖骨、上腕、前腕、手首、胸椎、腰椎、骨盤、大腿、下腿、足」。 これらを設定すると下の図のように緑色に変わります。
ちなみに、上腕、前腕、手首、大腿、下腿、足は、 左右どちらかの骨を選択すると、もう片方の骨も対応付けられます。 例えば、右上腕を設定すれば、左上腕も設定されます。
一通りの対応付けが終わったら、 鍵のマークの「Lock Character」をクリックします。 その後、ウィンドウが出てくるので「Biped」を選ぶとキャラクタライズ完了です。 このBipedとは二足歩行のキャラのときに選びます。
キャラクタライズが完了すると下の図のようになります。 両手足の先に小さな四角形が見えたら正常にキャラクタライズされています。
MotionBuilderの骨とBVHの骨の対応表は下の図の通りです。 また、首、鎖骨、胸椎はわかりづらいので、 図も載せておきます。
次に、キャラクタライズしたキャラクターの名前を変更します。 キャラクターを複数作った場合、 同じキャラクター名だと不都合が生じるためです。
画面左下の「Navigator」タブを開き、 ツリービューの「Characters」→「Character」を選択します。 そこで右クリックをして「Rename」を選び、適当な名前を付けます。 今回は「Motion」にしました。 「Character Controls」の「Character」の名前も変わっています。
ここまでで一度、ファイルとして保存します。 メニューの「File」→「Save As...」で適当なfbxファイルとして保存します。
今回は「bvh_characterize.fbx」という名前で保存しました。
3Dキャラクターの読込みとキャラクタライズ
続いては、 アニメーションの主人公である3Dキャラクターの キャラクタライズをしていきます。
今回使う3Dキャラクターは、 Mixamoというサイトの キャラクターを使います。
MixamoはAdobeが運営する3DCGキャラクターとアニメーション素材を提供するサイトで、 登録すると無料で使うことができます。 そこから選んだ女性の3Dキャラクターを使用します。
Mixamoでは、 Tポーズの3Dキャラクターをダウンロードすることができます。 MotionBuilderでキャラクタライズがしやすいのでとても助かります。
ここからは、前述したmocopiのBVHをキャラクタライズしたときと同じ手順で 3Dキャラクターをキャラクタライズしていきます。
MotionBuilderの骨の名前と3Dキャラクターの骨の名前の対応表は 次の通りです。
キャラクターの名前を「dancer」と変更しておきます。
キャラクター名の変更後、 適当な名前でfbxファイルとして保存しておきます。 fbxファイルは「File」→「Save As...」で保存できます。
今回は「dancer_characterize.fbx」という名前で保存しました。
リターゲット
続いては、 3DキャラクターにBVHの動きのデータを適用する「リターゲット」をしていきます。
作業の流れとしては、 「新しいシーンを作成」→「キャラクタライズした3Dキャラをマージ」 →「キャラクタライズしたBVHをマージ」 →「アニメーション適用」となります。
まずはじめに、新しいシーンを作成します。
メニューの「File」→「New」を選びます。
続いて、キャラクタライズしてある3Dキャラクターをマージします。 メニューの「File」→「Merge...」を選びます。
キャラクタライズをしてあるBVHと3Dキャラクターを両方選びます。 Ctrlキーを押しながら、該当のfbxファイルを複数選択します。
すべての情報を読込みたいので、 特に何も操作せずに「Merge」ボタンをクリックします。 2つのfbxファイルを読み込んでいるので、2回確認画面が出てきます。
読込みに成功すると、 キャラクタライズされた3DキャラクターとBVHデータが読込まれます。 ちなみに黄色の骨がBVHデータです。
続いて、 3DキャラクターにBVHの動きのデータを適用する 「リターゲット」の設定です。
「Navigator」タブを選択して、 ツリービューの「Characters」のなかから「dancer」を選びます。
「Characters Settings」タブを選びます。 そのなかの「Input Type」のプルダウンメニューから「Character」を選ぶと、 すぐ下の「Input Source」にBVHデータの「Motion」が自動で選択されます。
その横の「Active」のチェックボックスに チェックを入れるとリターゲットが完了です。
3D画面すぐ下のテイクを選ぶところから動きのテイクを選び、 スライダーを動かすと3Dキャラクターにアニメーションが適用されているのが確認できます。
今回の場合、動きのテイクは「Squat」という名前にしていたので、 それを選びます。
ここまでできたら、一度、保存しておきましょう。 メニューの「File」→「Save As...」を選び、 適当な名前でfbxとして保存します。
今回は「Dancer_Squat.fbx」という名前で保存しました。
リターゲットの微調整
3Dキャラクターの体格とmocopiのBVHの体格で差がある場合、 リターゲットのときに不都合が生じることがよくあります。 これをリターゲットの設定で、ある程度調整することができます。
調整するためのパラメータは、 「Character Settings」タブのなかの 「Retargeting」にあります。
「Match Source」はBVHの位置データを3Dキャラクターに適用するための設定です。 歩いたり走ったり、足を開いたりしているときは、 歩幅を合わせられるのでより自然な動きになります。
スクワット動作も肩幅に足を開いているので、 チェックを入れると自然な動きになりました。
身体部位の動きに制限をかけるには 「Motion Reduction」を使うと不自然な動きが改善されることがあります。
胸、首、頭、肩についてのパラメーターがあります。 スライダーを右に動かすほど動きが制限されて動く範囲が小さくなります。
今回は、頭が不自然な動きをしていたので 「Head Reduction」の数値を上げてみました。
ちなみに肩を回すような動作は「Shoulder Reduction」が有効です。 例えば、何かを振りかざすような動作や ピッチングような動作ではこのパラメーターが有効です。 ただ、今回はスクワットなので数値を変えても動きに変化はありませんでしたので、 そのままにしています。
IKとFKで修正
最後に、3Dキャラクターのアニメーションを修正して仕上げていきます。
mocopiのモーションキャプチャーデータを リターゲットで3Dキャラクターに適用するとき、 どうしても不自然な動きになる部分が出てきます。
例えば、足が予期しない方向に曲がっていたり、 肩が胴体にめり込んでしまったりして、 不自然なアニメーションになってしまうこともあります。
MotionBuilderでは、 このリターゲットで生まれた不自然な動きを 手動で修正することができるわけです。
機能としては「プロット」と「コントロールリグ」を使って アニメーションの修正をしていきます。
MotionBuilderでの「プロット」とは、 3Dキャラクターにキーフレームを打ち込むことを言います。 リターゲットは3Dキャラクターがmocopiのデータを参照しているだけで キーは打ち込まれていなく、動きは修正できない状態です。
そのリターゲットの状態から「プロット」をすることで 3Dキャラクター自体に「キー」として動きをコピーします。 そうすると動きを編集できる状態になります。
Mayaや3dsMaxではプロットのことをベイクとも言います。 各フレームにキーを焼き付けるイメージです。
続いて、コントロールリグについてです。 「コントロールリグ」とは、 すごく簡潔にいうとIK、FKなどを使ってアニメーションを修正するための機能 と言ってもいいでしょう。じっさいにはもっといろいろなことが設定できますが。
IK、FKは手や足を引っ張ってキャラクターの姿勢を変えたり、 関節を直接曲げて姿勢を決めたりすることができます。 IKとFKについては 「IKとFKの違いってなに？アニメーション初心者向け」 もあわせてご覧ください。
コントロールリグはこのほかにも、関節の可動域を決めたり、 3DCGの表面が互いにめり込まないようにしたりと 色々とキャラクターを制御できます。 つまり、アニメーション作りのための便利ツールなのです。
さて、前置きはこのくらいにして、 まずはプロットをしていきます。
「Navigator」タブのツリービューにある「Characters」から 3Dキャラクターの「dancer」をダブルクリックで選びます。
「Character Settings」タブを選択して、 「Input Source」の行にある「Plot Character...」をクリックします。
ベイクする先を確認するウィンドウが出てくるので、 「Control Rig」を選びます。 これは、コントロールリグにキーフレームを打つという意味です。
プロットのオプション画面が出てきますが、 特に変更することなく下の「Plot」ボタンをクリックします。
同時にコントロールリグが作成されます。 コントロールリグのタイプをIKとFK両方使えるようにしたいので 「FK/IK」ボタンをクリックします。
3Dビューではキャラクターの動きを制御できるコントロールリグの骨格が表示されます。 画面右側の「Controls」タブで コントロールリグの設定を変えることができようになります。
いま、コントロールリグに対してキーを打ち込んだ状態です。 ここからアニメーションを修正していきます。 アニメーションの修正には「FCurves」という機能を使います。
FCurvesは、骨の角度や位置の軌跡をグラフで表したものです。 例えば、下の図では右足首の角度を時系列で表示しています。 X、Y、Z軸それぞれの値を時系列でグラフに表示しています。 グラフ中の四角が「キー」になります。 このキーを動かすことでキャラクターのアニメーションが変わっていきます。
今回は、スクワット動作のときの足首のアニメーションを修正していきます。 リターゲットで適用させたアニメーションでは、 足首を捻った姿勢になってしまっています。 これをできるだけ自然な感じのアニメーションに修正します。
スクワットは基本的につま先の位置は動かない動作です。 いまのアニメーションではつま先が動いてしまっているので、 まず、つま先を固定します。
画面右側の「Controls」タブを選び、右つま先を選びます。 さらにつま先部分の「Right Toe Base」を選択して、 「IK Blend T」の値を100に変更します。
これでつま先部分をIKで修正できるようになりました。 ちなみに「IK Blend T」はつま先の底屈ができるようになります。 「IK Blend R」は捻りです。 今回、つま先を捻らせたくないので「IK Blend R」の値は0にしています。
続いて、つま先のコントロールリグを選択した状態で、画面下の「FCurves」を選びます。 「Translation」の「X」を選び、 グラフ上にマウスカーソルを持っていき、キーボードの「A」を押します。 すると、つま先のX軸方向の軌跡が表示されます。X軸のデータは左右方向の軌跡です。
グラフ上ですべてのキーをドラッグして選択します。 白い四角をドラッグして動かして、 グラフ全体をほぼ平行に変形させます。
今回のスクワット動作では、 右つま先のX軸は-28.1付近が静止している姿勢なので、 そこに平行になるように軌跡の形を変形させていきます。 すると、つま先の左右方向の移動はほとんどなくなります。
続いてY軸に対しても同じことをしていきます。 Y軸は上下方向なので、ほぼ0にしていきます。
最後にZ軸の軌跡も平行にします。 Z軸は前後方向の動きです。 今回の場合は-34付近が適当なので、そこに合わせてグラフを変形させます。
ここで足の接地に関してのパラメーターを変更していきます。 「Navigator」タブのツリービューで「Characters」の「dancer」を選択します。 「Character Settings」タブを選択し、「Modifiers」→「Floor Contacts」を選びます。 そのなかの「Foot Floor Contact」と「Toes Floor Contact」にチェックを入れます。
この設定は、 足が地面を突き抜けないようにアニメーションを自動で補正してくれる機能です。 モーションキャプチャーのデータは、足が地面よりも下になることもあるので、 MotionBuilderで地面のめり込みを補正します。
足の周りについている四角がセンサーになっていて、 この四角いセンサーが地面より下に行かないようになっています。 右は紫の四角で左は黄緑の四角になっています。 つま先の曲がり具合も自動でIK補完してくれます。
続いて、足首の動きを修正していきます。 足首は不自然に捻っている動きを修正したいので、 「Rotation」の値を変更していきます。
右足首のコントロールリグを選択した状態で、 「FCurves」タブのなかの「Rotation」→「X」を選択します。 グラフ上にマウスを持っていきキーボードの「A」を押して軌跡を見やすくします。
X軸のデータは足首を回旋させる動きなので、 こちらもほぼ0にすることで捻りを軽減させることができます。 FCurvesでキーをすべて選択して、白い四角部分をドラッグして グラフの形をほぼ平行にしていきます。
続いてY軸のデータです。 こちらは足を内側と外側に曲げる動きです。 スクワットでは微妙に曲がることがあるので、 グラフの形は平行にはせずに少し山が残るくらいに変形させます。
まず「Rotation」→「Y」を選択します。 グラフ上にマウスを持っていきキーボードの「A」を押して軌跡を見やすくします。 FCurvesでキーをすべて選択して、白い四角部分をドラッグして 少し山が残るくらいに変形させます。
最後に足首の左右方向の動きも減らしていきます。 右足首のコントロールリグを選択した状態で 「Translation」→「X」を選びます。 グラフ上にマウスを持っていきキーボードの「A」を押して軌跡を見やすくします。 FCurvesでキーをすべて選択して、白い四角部分をドラッグして グラフの形をほぼ平行にしていきます。
ここまでで、右足の修正は完了です。 左足も同じ手順で操作して動きを直していきます。 これでアニメーションの修正は完了です。
ちなみに、修正済みと修正前を比較する動画を作ってみました。 「右足は修正済み」で「左足は未修正」の動きを比べてみてください。
右半身は自然な動きになっているかと思います。 左半身は足がぐねっと捻っているので、かなり不自然ですね。
このような感じでアニメーションを修正していきます。
少し長かったですが、 慣れてくるとけっこうスムーズに作業できるようになります。 MotionBuilderは他の3DCGソフトと比べると覚えるのが簡単なので ぜひチェレンジしてみてください。
MotionBuilderは個人で使うとけっこうな金額になります。 ですので、できるだけお得に買う方法も 「MotionBuilderの価格を解説！お得に買うならこのプラン」 で紹介していますので、興味があればそちらもあわせてご覧ください。
ちなみに学生であれば無償で使うことができます。 中学、高校、大学、専門学生の方は、 無償で使える期間にぜひともチャレンジしてみることをおすすめします。
モーションキャプチャーに興味がある方へ
mocopiとMotionBuilderを使ったデータ処理について 具体的手順を解説してきましたが 思っていたより簡単だったと感じる方は多いのではないでしょうか。
mocopiは手軽にモーションキャプチャーができるのをコンセプトにしているので 簡単なのは知っている方も多いかと思いますが、 MotionBuilderもそこまで難しいソフトではありません。
そのためMotionBuilderは習得するのに独学でもスキルを身に付けることができます。 MotionBuilderの独学での勉強法でも 解説していますが、比較的短期間で使えるようになります。
私自身もここで解説しているMotionBuilderを使ったmocopiデータの編集についての内容は、 2週間程度でスキルを習得することができました。
ただ、少し問題なのは 機材を準備するのに少しお金がかかることです。 3DCGやモーションキャプチャーを学ぶにはお金がかかるのが現状です。
例えば、MotionBuilderは高性能なパソコンが必須になるため、 20万円前後のパソコンを準備する必要があります。
おすすめの3DCGパソコン でも紹介していますが、 高性能なグラフィックボードが付いているゲーミングPCやクリエイターパソコンが 必要になってきます。
mocopiとMotionBuilderとさらにパソコンも必要になることから けっこうお金がかかるわけですね。
しかし、 VR市場が伸びているいま、VTuberも増えていき モーションキャプチャーデータ処理のスキルを持っていることが 有利になっていくと予想されます。 いち早くスキルを身に付けることで他の人より 一歩先にいけることでしょう。
ちなみに、3DCGやVR業界では、 MotionBuilderのスキルだけだと少し物足りないことも多いです。 Mayaや3dsMaxといった他の3DCGソフトとも連携できるのが好ましいのが現状です。 まずは MayaとMotionBuilderの違い を知ってから、ぜひともMayaなどもスキルを身に付けてみて欲しいです。
モーションキャプチャーデータを処理できるソフト は他にもたくさんあります。 すべてのソフトのスキルを身に付ける必要はないですが、 MotionBuilderともう一つ何かを組合わせられると 就職や転職で有利になっていくと感じています。
まとめ
「mocopiのBVHをモーションビルダーで編集する方法」についてのまとめです。
mocopiのBVHデータをキャラクターに適用するには、 MotionBuilderでキャラクタライズとリターゲットを行う。
MotionBuilderでBVHと3Dキャラクターの両方をキャラクタライズし、 その後、マージをして一つのシーンにインポートする。
BVHデータをリターゲットして、 3Dキャラクターに動作を適用させる。
リターゲット後にプロット機能を使って 動きをキーフレームとして変換する。