VTuberの仕組みを解説！プロと個人向けの両方を説明
こんなことが知りたい
VTuberってどのような仕組みで動いているの？
ここでは、VTuberに興味を持った方に向けて 「VTuberが動く仕組み」について解説 していきます。
VTuberは企業が運営する場合もあれば、 個人で活動している場合もあります。
基本的な仕組みは同じなのですが、 使っている機材や運営方法が少し違います。
プロ向け、個人向けで場合分けをしながら説明していきます。
この記事を書いた人
さくら
- 3DCADサポートエンジニア
- サポート歴7年
- Autodeskとダッソー製品のカスタマーサポートに従事
- 2022年からVR部署の管理職
- 法人向けVRを扱う
詳しい紹介はこちら 「自己紹介」
目次
プロのVTuberの仕組み
制作会社や大手企業が手がける、 いわゆる「プロのVTuber」がどのような機材を使って配信をしているのか、 をここから説明していきます。
プロのVTuberと言っても、 コンテンツの内容によって使う機材が変わってきます。 例えば「ゲーム実況」のような座ったまま動かずに配信する場合と、 「ダンス」のような身体を使ったプロモーションビデオの動画では 使う機材が全く違ってくるわけです。
プロのVTuberでもゲーム実況配信の場合、 個人向けの機材を使うことが多いので、 それは後ほど「個人向けVTuberの仕組み」のところで解説していきます。
ここでは、身体を動かしたコンテンツを作成するための 機材やワークフローを解説していきます。
さて、まずはコンテンツ作成で使用する機材です。 下の5つの項目の機材を使います。
- 法人向けモーションキャプチャー
- パソコン
- マイク
- 3Dビューワソフト
- 配信機材
最低限必要なものをピックアップすると、 この5つの機材が必要になります。 細かいことをいうと「スイッチャー」や「映像確認用モニター」 「クロマキーヤー」「ミキサー」と言ったものを使うことがありますが、 複雑になるので「配信機材」としてまとめました。
続いて「VTuber」についてです。 プロが手がけるVTuberは、 「身体を動かすアクター」と「声を出す声優」で分担することがあります。 もちろんひとりですべてをこなすVTuberもいますが、 キレッキレのダンスをするコンテンツを作る場合などは 分担することが多いです。
VTuberのダンス動作 には専門性の高い機材とソフトを使うので、 モーションキャプチャーに慣れたアクターが必要になることが多いのです。 そのため、分担することが多くなります。
さて、じっさいのコンテンツ作成ですが、 例えば、ダンスを含む歌のプロモーションコンテンツを作成する場合、 モーションキャプチャーでアクターを撮影して、 マイクの前で声優が歌います。
ライブ配信の場合、 ダンスの動きのデータをリアルタイムに3Dキャラクターに変換し、 さらに歌の音声データをパソコンに送り 配信機材で統合します。
3Dキャラクターの映像は3Dビューワソフトで作り上げます。 具体的な3Dビューワソフトでよく使われるのは、 ゲームエンジンのUnity、UnrealEngineもしくは、 Maya、MotionBuilderといった3DCGソフトです。
歌の音声データはマイクを通してパソコンに集約します。 パソコンに集約された「音声」と「3Dビューワの映像」を 配信機材で統合したあとにライブ配信する流れです。
「ライブ配信の仕組み」を簡単な図にしてみると、 こんな感じになります。
ライブ配信ではない、 動画コンテンツの場合も動きのデータと音声データを 別々に収録することが多々あります。
動きのデータは3DCGソフトで3Dキャラクターに適用させて映像化します。 その映像データと音声データを動画編集ソフトで読込ませて統合し、 ひとつのコンテンツとして作り上げます。
動画編集ソフトで作成した動画を YouTubeやSNSにアップロードしてコンテンツをリリースします。
ここまでがプロのVTuberのコンテンツ制作の流れです。
プロが使う機材はコレ
プロのVTuberが使う機材について もう少し詳しく説明していきます。
法人向けモーションキャプチャー
VTuberのアバターを人っぽく動かすには、 人の動きの再現性が高いハイエンドのモーションキャプチャーを使うことが多いです。 制作会社や研究機関で使われている精度の高い法人向けのモーションキャプチャーです。
具体的なモーションキャプチャーシステムには 「Vicon」「OptiTrack」「XSense MVN」があります。 「Vicon」「OptiTrack」は光学式モーションキャプチャーと呼ばれていて、 身体にマーカーと呼ばれる球体を付けます。
XSense MVNは慣性式モーションキャプチャーと呼ばれていて、 複数の加速度センサー（IMUセンサー）を身体に取り付けます。 どちらも人の身体を推定する機能があるので、 推定した身体のデータをVTuberのアバターに適用させます。
法人向けモーションキャプチャーの価格は500万～3000万円と高額です。 さらに多機能なため運用が難しく、経験やスキルも必要です。 そのため、ほとんどの場合が制作会社が運営する 「モーションキャプチャースタジオ」へ撮影を委託します。
身体、指、表情の動きをひとつのモーションキャプチャーシステムで撮影するのは難しいため、 複数の機器を組み合わせて同時撮影をします。
例えば、身体は光学式と呼ばれるモーションキャプチャー、 指はデータグローブと呼ばれる手専用のモーションキャプチャー、 表情はカメラで撮影する顔面キャプチャーの3つを組み合わせます。
これらモーションキャプチャーデータは 3DCGソフトに読込ませて統合します。 具体的なソフトとしてはMotionBuilderがよく使われます。
MotionBuilderでできること は、モーションキャプチャーのデータを3Dキャラクター適用させて アニメーションを作ることです。
モーションキャプチャーは このような流れで使われます。
パソコン
リアルタイム処理や大きな映像データを扱うので、 ワークステーションパソコンか、 ハイエンドのゲーミングPCを使います。
VTuber向けパソコンの推奨スペック としては、 グラフィックボード、CPU、メモリが すべてハイエンドのスペックであることが好ましいです。 理由は、ライブ配信の場合は3DCGをリアルタイムで表示しなければいけないことと 動画コンテンツの場合は、高速に動画出力しなければいけないためです。
例えば、 ライブ配信の場合は、VTuberの3Dアバターを高解像度の映像で遅延なく 表示する必要があります。 これを実現するには高速なCPUとグラフィックボードが必要になります。
動画コンテンツ作成の場合は、 高解像度の3DCG動画を出力の際にレンダリングという作業をします。 これには大容量メモリと大容量GPUメモリを搭載したグラフィックボードが必須になります。
こういう理由から、 グラフィックボード、CPU、メモリがすべてハイスペックである必要があるわけです。
マイク
VTuberの収録は通常一人のことが多いですが、 コラボなどの複数人で撮影する場合は、 「複数のマイク」と「音声ミキサー」が必要になります。
複数のマイクから発せられる複数の音声データを ミキサーで統合してひとつの音声データにします。 それをパソコンにつなげて音声収録を行います。
具体的な音声ミキサーには「YAMAHA」や「Blackmagic Audio」が有名です。 制作会社ではよく使われますが、 最近では価格の安いミキサーも出てきて、 個人のWEB配信でも使われるようになってきました。
ちなみに、 二人以上のVTuberのゲーム実況 でもマイクと音声ミキサーの組合わせはよく使われます。
ゲーム実況ではゲームの音も聞かなければいけないため、 ヘッドホンを付けることもあります。 また、マイクもスタンド型のマイクが多いです。
身体を動かすようなコンテンツの場合は、 ピンマイクのことが多く、 さらにヘッドホンは付けません。
3Dビューワソフト
プロが使う機材のなかで「品質を高めるカギ」になってくるのが 3Dビューワソフトです。
質の高いコンテンツを作成するために、 独自にプログラミングをして3Dビューワソフトを開発することも多々あります。 「こういう表現をしたいけど既製品だとできない」ことを 自分たちで開発して作ってしまうわけですね。
独自開発でよく使われる3DビューワソフトがUnityとUnrealEngineです。 もともとゲームを作るための開発環境であるUnityとUnrealEngineは、 機能追加がしやすいようになっています。
例えば、キズナアイのラストライブ「hello world 2022」も ラストライブ向けにUnityをベースに3Dビューワを開発しています。 エンドロールをよく見ると「Unityエンジニア」とありますが、 ラストライブのためにエンジニアがUnityに「独自表現」の機能実装をしています。
独自の3Dビューワは、 VTuberのノウハウが詰まった資産と言っても過言ではないです。
一昔前は3DCGソフトのMotionBuilderとMayaを3Dビューワソフトとして 使うところが多かったですが、 ソフトの価格が高いこととUnity、UnrealEngineの方が 拡張性が高いことを理由に3DCGソフトは使われなくなってきました。
ただ、プログラム資産として残っている制作会社も多いため、 いまでも使っているところはあります。
配信機材
プロが配信する場合、 配信するための映像と音声はハードウェアを使って統合して、 ひとつの動画データにします。
映像と音声が統合された動画データは、 配信ハードウェアを通して、 直接ライブ配信サービスに流します。
個人の配信では「配信ソフト」を使う場合が多いですが、 プロの現場ではできるだけハードウェアを使います。 理由は遅延が少なくさらに動作が安定しているためです。
配信機材の具体例としては BlackmagicのATEM Miniシリーズがあります。
例えば、YouTubeであればYouTube Liveに 配信ハードウェアが出力する 映像と音声をそのまま流していきます。
ちなみに、個人で配信する場合は、 パソコンにつながっているマイクの音声と パソコン画面の映像を配信ソフトで統合してから、 配信サービスに流します。
配信ソフトでパソコンに送られてくる音声データと 映像を合成するわけです。
しかし、最近ではATEM Miniも個人向けの機種が出てきて ATEM Miniのハードウェアを使ったゲーム配信 をする個人VTuberも出てきています。
個人のVTuberの仕組み
続いては、 個人でVTuberのコンテンツを作成する場合の仕組みを解説していきます。 まずは機材ですが、次の5つの機材が必要になります。
- 個人向けモーションキャプチャー
- パソコン
- マイク
- 3Dビューワソフト
- 配信ソフト
使う機材の種類は似ていますが、 仕組みが若干違います。
まず、「VTuber自身」は、個人なのでアクターも声優も同じです。 動きも声も一人でこなします。
モーションキャプチャーも個人で購入できる価格帯のものを使います。 ハイエンドのものと比べると精度が劣るので、 激しいダンスや細かな動きは難しいです。
3Dビューワソフトは、個人向けモーションキャプチャーに対応している ソフトを選ぶ必要があります。
マイクは市販のピンマイクもしくは、スタンドマイクを使います。 VR環境でVTuber活動をしている場合は、 ヘッドマウントディスプレイ（HMD）も使います。 その場合、HMDにマイクが内蔵されているので その内蔵マイクを使うことも多いです。
そして配信ですが、 配信専用のソフトウェアを使います。 配信用のハードウェアは高額なので、 価格の安いソフトウェアで代用することが多いです。
個人が使う機材はコレ
一般的な個人向けVTuberの機材をピックアップして説明していきます。
個人向けモーションキャプチャー
個人向けモーションキャプチャーは 法人向けモーションキャプチャーと比べると動きの再現性は劣りますが、 価格の割に優秀な製品が多いです。 価格は3万円強～15万円の価格帯です。
個人VTuberにおすすめのモーションキャプチャー としては、 具体的に「mocopi」「HTC VIVEトラッカーとHMD」「HaritraX」「Uni-motion」があります。
mocopiはVR機器のヘッドマウントディスプレイがなくても全身を モーションキャプチャーできるので 個人VTuberに人気です。
VIVEトラッカー、HaritraX、Uni-Motionはヘッドマウントディスプレイと 組合わせて使うことが多いため、 VRサービスでVTuber活動を行うときに人気のモーションキャプチャーです。 VRChat、cluster、VirtualCastといったVRサービスでよく使われています。
個人向けモーションキャプチャーの難点としては、 指や表情のトラッキングが難しいことです。 VR機器のフェイストラキングができるヘッドマウントディスプレイと組合わせれば 表情データも取れますが、 システムが複雑になるのでハードルが高くなっています。
そのほか、身体の動きをあまり必要としない ゲーム配信ではWEBカメラでモーションキャプチャーできるシステムを使います。 具体的なシステムだと「Luppet」や「Adobe Character Animator」があります。
パソコン
ハイエンドのゲーミングPCを使うことが多いです。 個人VTuberとはいえ、 3DCGキャラクターをリアルタイムに動かして表示するので プロの現場で使うようなハイスペックなパソコンが必要になります。
個人VTuberにおすすめのパソコンスペック としては、 グラフィックボードはNVIDIA GeForce RTXシリーズ、 CPUはCorei7以上、Ryzen7以上がおすすめです。
パソコンのスペックをケチってしまうと、 コンテンツの質が悪くなってしまいます。 個人VTuberの配信のカギはパソコンといってもいいでしょう。
マイク
ゲーム実況であれば据え置きのスタンドマイクを使うことが多いです。
価格は安いものでも構いませんが、 余りに安すぎると音質が極端に悪いこともあるので できれば5000円以上のマイクを使います。
ゲーム実況におすすめのマイクの価格帯は、5000～15000円前後のものが多いです。 ちなみに据え置きではなくインカムマイクはVTuberにはあまりおすすめできません。
なぜならモーションキャプチャー機器とインカムマイクが干渉することもあり 使い勝手が悪いためです。
ゲーム実況以外の全身を動かすのであれば、 ワイヤレスのピンマイクを使うことが多いです。
スタンドマイクや遠くから収音するガンマイクでは 声を拾えないことが多いため、 ピンマイクがよく使われます。
また、VR機器を使う場合ですが、 HMDにマイクが内蔵されているので、 別途マイクを準備する必要はありません。
3Dビューワソフト
基本的にはモーションキャプチャーに対応している3Dビューワソフトがおすすめです。
例えば、HTC VIVEトラッカーとHMDを使うのであれば、 VirtualCastやVRChatが3Dビューワも兼ねて配信できます。
mocopiであれば、 Unity、UnrealEngine、MotionBuilderに対応しているので そのいずれかがおすすめです。
ちなみに、ゲーム実況ではよくUnityが使われます。 背景や床の色を緑色に設定することで透過処理しやすくして、 配信ソフトで3Dアバターとゲーム画面映像を合成できます。
配信ソフト
プロの機材では配信ハードウェアを使っていましたが、 個人向けでは価格を抑えるためソフトウェアで対応することが多いです。
例えば、OBS Studioという無償の配信ソフトで 音声と映像の統合ができます。 その動画データをYouTubeやツイキャス、ニコ生などに配信する機能がついています。
まとめ
「VTuberの仕組み解説！モーションキャプチャー使われ方」 についてのまとめです。
プロのVTuberは5つの機材を使っている。 「モーションキャプチャー」「パソコン」「マイク」 「3Dビューワ」「配信ハードウェア」
VTuberの仕組みは、 モーションキャプチャーで全身の動きを取り、 マイクの音声とともにパソコンに収録する。 モーションキャプチャーの動きを3Dアバターに適用して 3Dビューワに3D表示させて映像を作成する。
配信ハードウェアで3D映像と音声を統合させて YouTubeLiveなどのライブ配信サービスで流す。
プロと個人では、使っている機材のグレードが違う。