VRChatのNative Face Trackingを使ってみよう

PC + Webカメラ環境で、Native Face Trackingを使ってアバターの表情を動かす

投稿日: 2026-11-10

目次

2026/10/30の SDK アップデート(VRChat SDK 3.10.6)で Native Face Tracking が実装された。

以前はフェイトラのために VRCFaceTracking(VRCFT)などの外部アプリから OSC で値を送り、アバター側にも FX レイヤーのアニメーターやブレンドツリーを組んだテンプレートを導入する必要があったが、Avatar Descriptor 内でフェイトラの設定ができるようになった。

また、2026/10/28のクライアントアップデートで、フェイトラ機器がなくても、Web カメラだけで表情を動かせるようになったらしい。

VR 向けのフェイトラはお持ちでないが、今回 PC + Web カメラ環境で実際に試してみた。

やってみよう

Face Tracking | VRChat Creation(新しいタブで開く) に書いてある通り進めればよい。

↑を読めるならこれ以降は読む必要ないです

SDK とクライアントのアップデート

VCC/ALCOM で VRChat SDK を3.10.6以上に、クライアントも最新にアップデートする。

Face Tracking の有効化

アバターを選択して、VRC Avatar Descriptor の「Face Tracking」を展開し、「Enable」を押す。

Face Trackingの有効化 1
「VRC Avatar Descriptor」>「Face Tracking」

Web カメラ(Selfie Expression)や OSC で表情全体を動かしたい場合は「Use All Tracking Keys」にチェックを入れる。これで Unified Expressions の全キーが使えるようになり、アバター詳細ページにフェイトラ対応のアイコンも付く。リップシンクや目の動きだけ使うなら、チェックなしでもいい。

「Add Mesh」で、顔のシェイプキーを持っている Skinned Mesh Renderer を追加する。

Face Trackingの有効化 2
「Use All Tracking Keys」&「Add Mesh」

LipSync の設定

VRC Avatar Descriptor の「LipSync」内にある「Mode」を「Viseme Blend Shape Face Tracking」にする。音声による Viseme も Face Tracking 経由で動くようになり、Viseme の割り当ては後述の Blendshapes Sets で行う。

LipSyncの設定
「VRC Avatar Descriptor」>「LipSync」>「Mode」

Eye Look の設定

VRC Avatar Descriptor の「Eye Look」を有効にして、「Eye Gaze Mode」を選ぶ。

  • Bone Rotation:目のボーンを回転させる
  • Face Tracking:Face Tracking で設定したシェイプキーで視線を動かす
  • Both:両方

まばたきもフェイトラで動かす場合は、「Eyelids Type」を「Face Tracking」にする。

LipSync と Eye Look を先に設定しておくと、次の Auto-Fill でその割り当ても拾ってくれるらしい。

Eye Lookの設定
「VRC Avatar Descriptor」>「Eye Look」

Blendshapes Sets の割り当て

「Blendshapes Sets」を展開する。unnamed1(Default Weight 1)という名前で作られるので、必要なら名前を変える。

「Auto-Fill Blendshapes」を押すと、Tracking Key の名前に一致するシェイプキーが自動で割り当てられる。全部のキーを対応付ける必要はない(やれるやつだけやる)。

割り当て結果を確認して、ずれているものは「Blendshape」のドロップダウンで直し、強弱をいじりたい場合は「Multiplier」の値を調整する。

Blendshapes Setsの割り当て
Blendshapes Setsの割り当て
Auto-Fill について Claude に聞いた(クリックで開閉)

SDK 3.10.6の Packages/com.vrchat.avatars/Editor/VRCSDK/SDK3A/Components3/FaceTrackingAutoFill.cs を読んでもらった。

Tracking Key の探し方

部分一致はしておらず、「別名つきの完全一致」で探している。

  1. Unified Expressions のキー名(JawOpen など)と完全一致するシェイプキーを探す(大文字小文字も区別)
  2. 見つからなければ、キーごとに用意された別名リストを順番に、大文字小文字を区別せずに探す
    • EyeClosedLeft → EyeClosedLeft, eyeBlinkLeft(ARKit), Eye_Left_Blink(SRanipal), EYES_CLOSED_L(Meta), EyeClosed
    • JawOpen → JawOpen, Jaw_Open, JAW_DROP
    • MouthCornerPullLeft → MouthCornerPullLeft, MouthSmileLeft, Mouth_Smile_Left, LIP_CORNER_PULLER_L, MouthSmile
  3. 別名リストの最後には左右をまとめた名前(EyeClosed, BrowDown, MouthSmile など)が入っていて、左右別のシェイプキーがないアバターでは左右に同じシェイプキーが入る

なので EyeClosed_L や Blink_L のような独自の名前は拾われず、手動で割り当てる必要がある。

Viseme の探し方

こっちは緩めで、小文字にそろえてから次の順に探す。

  1. vrc.v_aa と完全一致
  2. v_aa と完全一致
  3. aa で終わる名前
  4. aa と完全一致
  5. aa を含む名前

Tracking Key と違って、部分一致でも拾われる。

そのほか

  • すでに Blendshape が入っている行は上書きしない
  • 割り当てた行の Multiplier は1になる
  • 候補になるのは「Face Tracking Meshes」に登録したメッシュのシェイプキーだけ(同じ名前があれば先に見つかったほう)
  • 「Auto-Fill Filter」に文字を入れると、その文字を含むシェイプキーだけが候補になる
  • 今開いているタブと検索欄に当てはまる行だけが対象
  • 「Use All Tracking Keys」がオフだと、基本キー(EyeLook*, EyeClosed* など)以外は埋まらない

Viseme Dampen の設定(任意)

「Use All Tracking Keys」と「Viseme Blend Shape Face Tracking」を両方使っている場合、口のフェイトラと Viseme がぶつからないように「Viseme Dampen」で調整できる。

(「Face Tracking Meshes」のすぐ下、「Blendshapes Sets」の上にある)

  • None:何もしない
  • Dampen Tracking:Viseme が動いているときに口のフェイトラを弱める
  • Dampen Visemes:口のフェイトラが動いているときに Viseme を弱める

強さは「Dampen Amount」(0〜1)で決める。

アップロード

「Build & Test」で動作確認して、問題なければアップロードする。

基本的なフェイトラだけなら、Expression Parameters に同期パラメータを追加する必要はない。

クライアントでカメラトラッキングを有効化

VRChat のメインメニューの設定(大きい方の設定画面)から「Tracking & IK(トラッキングと IK)」を開き、「Camera Tracking(カメラトラッキング)」で Web カメラのトラッキング(Selfie Expression)を有効にする。

できた!!!

フェイトラできた
フェイトラみたいな表情

フェイトラに対応するとアバターの詳細画面にフェイトラ対応の表示が付く。

フェイトラできた 2
フェイトラ対応

Native Face Tracking の同期データは従来の256 bit の同期パラメータに含まれなくなった。

代わりに、シェイプキーへの割り当ての数が「Face Tracking Operations」として Performance Rank に数えられるようになったっぽい?

フェイトラできた 3
Face Tracking Operations

デバッグ UI で確認

「Quick Menu」>「Settings」>(一番下の)「Toggle Debug UI」>(左の)「Face Tracking」タブで、各 Tracking Key の値を確認できる。

パラメータの中身とかを確認したい場合はここで。

デバッグUI
デバッグUI

まとめ

今回新たに実装された Native Face Tracking と Web カメラを用いた Face Tracking を試してみた。

アバターによって対応できるシェイプキーに差があるので、Tracking Key をあまり対応付けられないアバターもあると思う。それでも、とりあえず設定してみればある程度は表情が動くので、試してみる価値は十分ある。

あと、Native Face Tracking を設定しても、ジェスチャーによる表情変化や Viseme はちゃんと動作する。カメトラを切れば今まで通りに使えるので、使いたいときだけ使えるようになってるという意味でも、とりあえずで設定しておくのはアリだと思う。