【VmagicMirror】カメラ無しで3DCGのVtuberを始める方法【VRM】

3DCG
スポンサーリンク

はじめに

今回はカメラ無しで3DCGのVtuberを紹介します。
ソフトはVmagicMirrorの使い方を紹介します。

使いやすく、無料で高機能のソフトです。
…ただし、少し重く、動作が不安定。

常設機能があり、日常使い、作業の録画などで使用できます。
初めての3DVtuberソフトとしておすすめ。

↓他ソフト比較↓

VmagicMirrorの導入

こちらのページにアクセス。
無償版 → 最新版のzipをダウンロード。

VMagicMirror - 夢日記屋さん - BOOTH
VMagicMirror v3.6.0 Standard Edition 2024/02/25 VRMをキーボードとマウスだけで動かせるWindows向けソフトです。ゲームパッドにも反応します。 ゲーム画面やコーディング画面の横に置いて配信に使ったり、単にデスクトップマスコットとして置きっぱなしにしたりできます。ウェブ...

DLした.zipを右クリック。
すべて展開(T)…で展開。

.exeを選択して起動。

Windowsに保護されます。
詳細情報をクリック。

実行を押します。
指示に従ってインストール。

Windowsキー → VMahic Mirrorを探して実行。

このような画面が出てきます。

任意で、その他の設定 → 自動起動を有効化します。

これで、VmagicMirrorの導入が完了です。

VRMモデルの読み込み

今回は、こちらのサンプルを使います。
↓のリンクにアクセス。

AvatarSample_A - VRoid Hub
AvatarSample_Aは、VRoid Studioに付属されているサンプルモデルの1つです。 良識の範囲内で、本モデルに設定されているVRoid Hubの利用条件に沿って利用することができます。 VRoid Hub連携アプリや、外部サービス等でぜひご活用ください。 なお、本モデルはCC0ライセンスではありません、...

「このモデルを利用する」を選択。
→ ダウンロード。

VmagicMirrorに戻ります。
PC上のファイルをロードを選択。

DLしたモデルデータ(VRM)を選択
→ 開くをクリック。

緑色の画面の方で利用規約を確認。

エディターの方で「OK」を選択。

すると、キャラクターを読み込めます。

下にあるキャラ体格で補正をクリック。
すると、自動で位置調整できます。

任意で自動読み込みを有効化。

これで、VRMモデルの読み込みが完了です。

視点と画面位置の設定

配信をクリック。
カメラの「フリーカメラモード」にチェック。
デバイスのレイアウトの「フリーレイアウトモード」にチェック。

すると、緑の画面に文字とUIが表示されます。
・Position=位置の調整
・Rotation=回転の調整
・Scale=大きさの調整
・Local / World=調整の座標系調整
・画面上のバー「VMagic Mirrorと書かれたところ」=画面の位置調整
・Gamepad Scaleは、ゲームパッドの大きさ調整(詳しくは後ほど解説)

あとは画面の赤、緑、青の3軸のUIを操作して動かします。

カメラ → 視点位置をリセットで初期化。
デバイスのレイアウトの回転矢印でデバイスの位置を初期化。
(キーボード、マウス、ゲームパッド等)

視点はクイックセーブ → クイックロードで記録できます。
※デバイスの方は記録出来ないので注意。

調整が終わりましたら、「フリーカメラモード」と「フリーレイアウトモード」のチェックを解除。

視野角について

視野角はホーム → 設定ウインドウを開く。

レイアウトの所で調整できます。

視野角の操作(ズーム)とカメラの前後移動は別モノです!
下図がその違いのイメージ。

上が「距離が近い × ズームが浅い(視野角が広い)」時の見え方。
下が「距離が遠い × ズームが深い(視野角が狭い)」時の見え方。
ズームとカメラ位置で、画面に占める面積はほぼ同じにできます。

が…よく見ると映り方が違います。
上のズームが浅い方が、奥行きが強調されてるように絵が歪みます。
(耳のあたりを見ると顕著)

視野角は「画角」というな言い方もあります。
カメラ的な言い方をするなら、上が広角、下が望遠です。

◆用語の整理すると下記


【標準】
・標準=人間の視野に近い値
・標準を元に、広角が望遠かが決まる
・視野角(画角)= 47°
・焦点距離 = 50mm
・カメラなら標準レンズと呼ばれる

【広角】
・ズームが浅い
・視野角が広い(48°以上)
・焦点距離が短い (49mm以下)
・カメラなら広角レンズと呼ばれる

【望遠】
・ズームが深い
・視野角が狭い(46°以下)
・焦点距離が長い (51mm以上)
・カメラなら望遠レンズと呼ばれる

※理論的には「視野角 47°」「焦点距離 50mm」で分けますが…
実際は"見た目"の問題なので、そこまでシビアに使い分けられません。

「12mmレンズで広角だなぁ」や「125mmレンズで望遠だなぁ」
と言われるぐらいのモノです。

…難しい事を考えたくないなら、
今回は「視野角を下げる」だけを意識すればOK!

花や女の子を取る場合は、
カメラ位置を離して、望遠レンズで寄るのが基本。

VmagicMirrorでの違いはこちら。
こちらが望遠でカメラ位置を離したもの。(視野角2)
顔のいいVtuberですね。

こちらが広角。(視野角72)
だいぶ歪んでるのが分かります。
※視野角72以上は、お見せできない顔になりました。

ただ、広角が必ずしも悪とは限りません。
こちらは視野角108。
広い範囲が映るので「全身」や「パースを強調した絵作り」ができます。

ただ、Vtuberを可愛く見せる基本は「望遠」です。

ジャンプ漫画なら、広い視野角。
きらら漫画なら、狭い視野角。

視野角1~3が理想ですが…
VmagicMirrorは視野角を下げすぎると影で不具合が発生します。
※カメラを遠ざけれる距離に限界があるようです。

なので、私は視野角4に設定しました。

視野角4にも問題点はあります。
デバイスのレイアウトを変えようとすると、大きくなりすぎて動きません。

そこで、クイックセーブ&ロードの1と2を使います。

・クイックロード1で普通の視野角。(デバイスレイアウト調整用)
・クイックロード2で撮影用の低視野角。(配信画面用)

デバイスのレイアウトはセーブされないので、この調整方法がおすすめ。

超望遠(視野角4)のデメリットは、マウスを表す板が見ずらい事。
これは、奥行きが弱まるので仕方ないです。
ただ顔は良い。

これらを元に、あとはお好みで設定してください。
以上が視野角についての紹介です。

視野角4°の顔の良さをスコれ

ゲームパッドについて

ゲームパッド = PC用のゲームコントローラーです。

VmagicMirrorで表示 → ゲームパッドのチェックを有効化。

すると、画面に出てきます。

Gamepad Scaleはこれの大きさを変えれます。

ゲームパッドは持って無いと動きません。
買った方は → ホーム → 設定ウインドウを開く → デバイスで動作を設定。

私は持って無いので、これ以上は紹介できません。

作業配信をする

配信 → 背景を透過にチェック。

あとはDisccordなどで画面共有。

これで、作業配信できます。

動作の設定

基本的な動作は下記。
・右手の位置 → キーボード+マウスで決定
・左手の位置 → キーボードで決定
・顔の向き → 画面の中央からマウスの位置の差で決定

顔の向きは配信 → 顔・表情 → 「ユーザー」にすると画面の方向を向きます。

ユーザー → マウスを切り替えた際の違いはこちら。

何も操作しないと両手が下がります。

これを治すには、ホーム → 設定ウインドウを開くをクリック。

モーション → 入力が無い時に手をおろすのチェックを外します。

以上が基本的な動作の調整です。

細かな動作調整

配信 → キーマウスでの操作 → デフォルトをクリック。

ここで、キャラの挙動を微調整できます。

ペンタブレットにするとペンを持ちます。
プレゼンテーションにするとマウスの方向を指刺します。(ちょっと不自然な形)

表示 → タイピング演出をBuuerflyなどに切り替え。

すると、キータイプにエフェクトが入ります。
ちょっとうれしい機能。

ホーム → 設定ウインドウを開くをクリック。

エフェクトの所で画質、光、影、Bloom、風を調整できます。

画質は影の精度に関係します。

配信に戻り「ひねりモーション」にチェックを入れます。
体の動き方がちょっと良くなる機能です。

以上が細かな動作の調整です。

カメラとマイク連動

ここからは外部の入力装置が必要になります。
私はこちらのWEBカメラを使ってます。

マイクやWEBカメラがある場合は顔表情から設定。
チェックを入れて有効化。

マイクは音量をチェック → 感度調整で感度を調整します。

マイクを入れると、自動で音を聞き分け、a i u e oの口の形を作ってくれます。
以上がマイクとカメラの設定です。

カメラの高解像度モードは
CPU負荷が上昇する代わりに、
ややトラッキングの性能が向上するモードです。

…私のPCでは重く、入れるのが厳しかったです。

カメラが動かない時の対処法

ガメラが動かない時の対処法は下記の3つ
・WEBカメラに問題が無いか確認する
・フォルダ移動の警告に対応する
・別の所でカメラを使って無いか確認

WEBカメラに問題が無いか確認する

こちらのサイトにアクセス。
すると、WEBカメラの動作確認ができます。

接続機器(マイク/スピーカー/カメラ)テスト│グループウェア desknet's NEO
グループウェア desknet's NEOの接続機器(マイク/スピーカー/カメラ)テストのページです。

まず、そもそもカメラに問題が無いかを確認してください。
無ければ他の方法を試します。

フォルダ移動の警告に対応する

フォルダを入れた階層の途中に、日本語の名前が入ってると不具合が起こる可能性があります。
その場合「フォルダの移動を検討してください!」という警告が出ます。

今、VMagicMirrorが入ってるフォルダがこちら。
「【システム】」という日本語+特殊文字のプログラム的に最悪な名前をしてます。

このフォルダから出して、ドライブの直下に置きました。


必要な方はスタートメニューのピン留めをやり直します。

VMagicMirrorのファイルを開きます。
中のVMahicMirror.exeを右クリック。
スタートメニューにピン留めをするで再設定してください。

以上がフォルダ移動の警告に対応する方法です。

別の所でカメラを使って無いか確認

WEBカメラの入力は1か所でしか使えません。

WEBサイトプレビュー → VMagicMirrorを起動。
すると、2か所で使えないので動作しません。

こちらはVMagicMirror → WEBサイトプレビューの順に起動したモノ。
あとの方のWEBカメラのプレビューが動いてないことが分かります。

2か所以上で起動して無いか確認してください。
以上が、カメラが動かない時の対処法です。

ハンドトラッキングについて

カメラを使って手を動かせます。
ハンドトラッキング → ハンドトラッキングを有効化にチェック。

すると… 手は動きますが重いです。
そして制度も低め。

もしかしたら、私のPCのスペック問題かもしれませんが…
あまり実用的でないかなという印象。

以上がハンドトラッキングです。

表情の操作

下記のような単語を入力。
「joy、Angry、Sorrow、Fun、Neutral」
すると、表情が変わります。

覚えるのが大変なので調整します。
配信 → デバイスの割り当て → キーボード(単語)をクリック。

ここで数字の0~9、もしくはMIDI入力などに変更できます。

MIDI入力=このようなキーボード等で操作できる機能です。

入力内容の修正はホーム → 設定ウインドウを開く。

abc → でせ絵っていできます。

MIDIを割り当てる場合はペンマークをクリック。

表示された画面に従ってキーを入力してください。

これで表情の操作が完了です。

素材を追加改造する

下記の2つの素材追加方法を紹介します。
・アクセサリーの追加(透過png画像)
・アニメーション追加

アクセサリーの追加(透過png画像)

アクセサリー → フォルダを開くを選択。

フォルダに何かしらのpng素材を用意し配置。

再読み込みをクリック。
すると画像が読み込まれます。

ここで配置先などを調整。

配信 → フリーカメラモードにチェック。

すると、キーボードやマウスと同じ要領で位置調整できます。

非表示にしたい場合はチェックを解除。
※完全に削除するにはフォルダを開く → ファイルを削除。

以上がアクセサリーの追加処理です。

アニメーション追加・変更

サンプルアニメを入れて、動作の紹介をします。

アクセサリー → フォルダを開くをクリック。

VMagicMirror_Filesをクリック。

Motionsをクリック。

こちらのサイトにアクセス。
DL → .zipを展開。

【2022年版】バレンタイン用プレゼントカスタムモーション【VMMモーションデータ】 - 残月月兎/残月工房 - BOOTH
バレンタイン用のプレゼントモーションです 対応バージョン VMagicMirror2.0.1 Vroid & 自作モデルでテスト済み 使い方 VMagicMirror_Files/Motionsフォルダにchoko.vmm_motionをコピー&ペースト VMagicMirror_Files/Accessoryフォルダ...

.vmm_motionファイルが出てきます。
これがVMagicMirrorで使える形式のアニメーションファイルです。

これを、VMaicMirror_Files → Motionsの中に入れます。

VMagicMirrorを再起動
ホーム → 設定ウインドウを開くを選択。

abc → 変更したいアニメーションの歯車マークを選択。
※下の方にある空欄を使えば追加できます。

カスタムモーションを選択。
モーションの▼をクリック。

先ほど.vmm_motion形式で読み込ませたアニメーションを選択。

一番上で表示名を変更。

何かしらの入力でアニメーションを再生。

これで、アニメーション追加・変更が完了です。

アニメーションの作成

BlendetとUnityを使えばアニメーションを1から作れます。

これは上級者向け。
そこそこのUnityとBlenderの知識が必要になります。

長くなり、大変なので記事を分けました。
こちらをご覧ください。

※この手振りアニメーションだけならこちらで配布してます。

【VmagicMirror】手振りアニメーション+制作過程データ|しぐにゃも|pixivFANBOX
VmagicMirror用の手振りアニメーション+制作過程データです。 中のファイルはCC0。ご自由にどうぞ。 ーーーーー ・Blender 3.6使用 ・unity 2019使用 ・.fbxと.vmm_motion形式入り ーーーーー ◆使い方+作り方 【VmagicMirror】カメラ無しで3DCGのVtu...

スマホカメラで表情を動かす(紹介まで)

Ex.Trackerをクリック。
すると、外部トラッキングという項目が出てきます。
詳しい使い方は アプリとの連携方法をチェック で見れます。

この外部トラッキングを有効化+パーフェクトシンク対応のモデルを使えば
カメラで表情を動かせるようです。

パーフェクトシンク対応のサンプルモデルはこちら。

千駄ヶ谷 渋(iPhone用BlendShapeあり) - VRoid Hub
VRoid公式キャラクター『千駄ヶ谷 渋』の改変モデルです。 ・iPhoneのフェイストラッキングに対応させるため、表情のBlendShapeを52個追加 ・上記それぞれに対応するBlendShapeClip52個を作成 ・Waidayoに対応したBlendShapeClip4個を作成 FaceID対応のアプリで...

スマホアプリはこちら。(1000円)

私は… 配信だけでネットワーク負荷がかかるのに、
アプリのデータを送るのはどうなのか… と思って保留しました。

VMagicMirror。
簡単なVtuberっぽい事をサクッとやるには良いのですが…

本格的なVtuberをやるなら他のソフトや軽さ的に2Dの方が良いかも?

以上、紹介の紹介だけです。

その他の操作について

他にもVRoid Hubからモデルを読み込んだりできます。
詳しくは使い方のマニュアルをご覧ください。

VMagicMirror
Mirror-like software to reflect yourself as VRM avatar, without any special devices.

負荷の重さ、固まる問題について

もしかしたら…私のPCの問題なのかもしれませんが…
1時間ぐらい起動 → 表情操作などをすると固まります。

これを私は、定期的に再起動して調整してます。
ちなみに、私のPCのスペックはこちら。

しぐにゃもPC|自作PC構成|自作.com
2022年自作.comの最新の自作ゲーミ…

3ディスプレイ+裏でこんな感じの画像を作りながら、
Youtube見てるのが原因っぽいですが…。(9205×3823px)

タスクマネージャーで主要な負荷を確認。
見かけ上は普通ですが…

予備役メモリーみたいなのが無くなると落ちます。
GPUやCPUには問題無さそうなのでメモリーが原因。

落ちた後はこんな感じでメモリーが空きます。

32GBでメモリー不足の日が来るは…

まとめ

今回はカメラ無しで3DCGのVtuberを始める方法を紹介しました。
・VmagicMirrorを使うと、カメラ無しでVtuberを始められる。
・マウスとキーボードの入力演出があって便利
・Discordでの配信やオンライン会議向け
・表情、重さ、ハンドトラッキング、安定性にやや問題あり
・本格的にVtuberをやるなら他のソフトを検討するのも手

他にも3DCGのVtuber関係の解説をしています。

ぜひ、こちらもご覧ください。

コメント

タイトルとURLをコピーしました