TDPT(Windows版)ver0.6 操作説明

2024/2/26更新

TDPT Windows版 は、TDPTシステムの出力する座標を使い、アバターのボーン角度を操作することで、トラッカーなどを体に付けずに、”カメラだけでフルボディトラッキングが可能”になるアプリとして、Vtuberとしての利用、メタバース内で全身を使った表現など、広く、多くの方に使用していただいております。
フリーウェアとして無料で配布中です。

こちらのデジスタSHOP(by BOOTH)の商品サイトよりダウンロードすることができます。

目次

P０　…　アプリ全体について、目次（このページ）
P１　…　トップ画面
P２　…　Sourceパネル
P３　…　Worldパネル
P４　…　Avatarパネル
P５　…　UpperModeパネル
P６　…　Cameraパネル
P７　…　DisplayWindowパネル
P８　…　Send&Receiveパネル
P９　…　Itemパネル
P10　…　Exportパネル
P11　…　Otherパネル

 

アプリ全体について

• アプリの中で保存した設定は次回起動時にもその設定を読み込んで起動します。設定類の初期値は基本的におすすめの設定になっています。各パネルの大項目毎にDefaultボタンで初期値に戻すことができます。
• バージョンアップ別（マイナーバージョン含む）に設定値を保存していますので、引き継がれません。予めご了承ください。
• カメラなどのデバイス類はアプリ起動前に接続してください。アプリ起動後はカメラを接続しても反映されません。
• 何か困ったことがあれば設定をリストアし、アプリの再起動をしてください。また、端末の再起動、アプリの再ダウンロードもお試しください。
• 起動しない、白い画面のまま固まるという場合：アプリを「管理者モードでの起動」および、「互換モードで起動」を試してみてください。（現在詳しい原因を調査中ですが、Windows10の方に起きやすい現象です。カメラの情報取得時に問題が起きている可能性があり、Windows11では直っていると思われます。）
  互換モードの方法：実行ファイルを右クリック→プロパティ→互換性タブ→互換モード・互換モードでこのプログラムを実行するにチェック。（開発者のXの投稿を参照）

TDPTシステムについて

通常のカメラからの映像や動画データを入力すると、自社開発の画像認識 姿勢推定AI技術（ディープラーニング）により体の２４の検出ポイントを3次元の座標で出力するリアルタイムモーションキャプチャ「TDPT(ThreeDPoseTracker)システム」。
「TDPTシステム」を使った学会発表、論文掲載なども注目を集めています。
医療関係　論文掲載、学会発表、共同研究等　記録

２４の検出ポイントは以下のとおりです。
１，右の耳　２，左の耳　３，右の目　４，左の目　５，鼻　６，右の肩　７，左の肩　８，右の肘　９，左の肘　１０，右の手首　１１，左の手首　１２，右の親指の付け根　１３，左の親指の付け根　１４，右の中指の付け根　１５，左の中指の付け根　１６，お腹　１７，右の股関節　１８，左の股関節　１９，右の膝　２０，左の膝　２１，右の足首　２２，左の足首　２３，右のつま先　２４，左のつま先

 

上手なモーションキャプチャーのコツ

概要

• １人の人間しかキャプチャーできません。
• 入力映像に写っているものしかキャプチャーできません。
• 入力映像に複数人が入った場合、結果が暴れてしまいます。
• AIが人間でないものを人間と間違えてしまうこともあり、その場合も結果が暴れてしまいます。

服装と背景

• 背景と服の色味がはっきりしている状態がより良いです。
• 服装は体のラインやひじ、ひざが出るものがより良いです。スカートや和服などはキャプチャーしにくいです。
• 背景に人間だと勘違いしてしまう物が写っているとキャプチャーしにくいです。
• 暗い場所の映像はノイズが乗りますので、明るいところのほうがより良いです。

カメラや動画データ

• カメラは機種に非常に依存します。アプリが認識しないカメラや、カクついてしまうものなどもあります。検証した動画がありますので参考にしてください→こちら。
• ブレの少ない状態やフォーカスの合っている状態のほうがより良いです。
• USB カメラに多い “オートフォーカス” は自動でフォーカスを合わせている最中にキャプチャーできない状態があるかもしれませんので、“マニュアルフォーカス” のカメラがおすすめです。
• 広角カメラだとやりやすいです、上半身モードが特にそうです。広角すぎる場合に認識が悪くなる事も考えられるため注意が必要です。

 

動作確認済みの環境　スペック

前提条件

・Windows10以上

ケースごとの環境

①フェイストラッキング
②ハンドトラッキング
③カメラのポストプロセス
これらの機能が処理に負荷をかけますので、ケースごとにfpsを記載しています。

※fps値は参考値です。保証するものではありません。

◆ケース１
Corei9
メモリ　16GB
グラフィックカード　RTX4090
①②③全てオンにすると　30fps程度
①②③全てオフにすると　60fps程度

◆ケース２
Corei7
メモリ　16GB
グラフィックカード　RTX 2070 Super
①②③全てオンにすると　15fps程度
①②③全てオフにすると　30fps程度

◆ケース３
Corei5
メモリ　4GB
グラフィックカードなし
TDPTシステムLow Qualityモデルでのみ動作可能　①②③全てオフにして　12fps程度

使用できるアバターについて

標準アバター

各標準アバターに関する利用条件はこちらをご覧ください
「壇市(だんいち)カイ」
https://hub.vroid.com/characters/4039714893258252827/models/1616830514907183879
「小隅(こずみ)うるう」
https://hub.vroid.com/characters/134029146140289539/models/3225461282977024276
「りゅん」
https://hub.vroid.com/characters/6808033248597331475/models/799898762708553542

動作するアバター

動作するのはVRMアバターのみです。
バージョン1.0にも対応しています。

必須のボーン

TDPTはUnityのHumanBodyBonesのボーン群で動作しています。
読み込んだアバターに以下のボーンが無い場合は、正常に動作しないか、警告などが出る場合があります。
（）カッコ内のボーンは必須ではありません。

---

Hips

Body内

Spine, Chest, (UpperChest) ,Neck, Head, (Jaw), (Eye L R)

Leg内

UpperLeg L R, LowerLeg L R, Foot L R, (Toes L R ※1)

Arm内

(Shoulder L R ※1), UpperArm L R, LowerArm L R, Hand

Finger内 ※2

LeftおよびRightの　Thumb 1 2 3, Index 1 2 3, Middle 1 2 3, Ring 1 2 3, Little 1 2 3

---

※1　ある方が表現が良くなります。
※2　各指3本ずつのボーンが１つでも足りない場合エラーとなります。また、Finger内にボーンが1本もない場合は、アバターロードはできますが手首より上が動きません。

不要なボーンがある場合は無視しています。無視したボーンは身体に追従して動作します。
アバターに問題が出る場合は、HumanBodyBonesのボーン群と同じ状態になるよう、ご編集いただけますと幸いです。

 

読み込んだアバターに不具合が出ている場合

◆ 腰の位置で不具合が出ている場合
そのアバターの腰最下部ボーンの位置より足ボーンの位置が高くなってしまう場合に不具合が出ることが確認されています。
その場合、腰最下部ボーンの長さを少し上に短くしていただくと改善いたします。

◆ アバターロード時に「VRM file load error」が出てしまう場合
１，VRMのHumanoid設定で必須のボーンがアタッチされていない場合

２，他何らかの原因でHumanBodyBonesとして認識できなかった場合

 

利用規約

［禁止事項］

ソフトに内包しているデータを抜き出して使用することは固く禁じます。
法令または公序良俗に違反する行為はおやめください。

［免責事項］

本ソフトウエアの使用に起因する、ソフトウエア、ハードウエア上の事故その他の損害、または使用できなかったことから生じる一切の損害に関して、製作者はいかなる責任も負わず、修正する義務を負いません。

［ライセンス］

・TDPTを使って得たモーションデータのご利用は、個人・法人ともに商用利用もご自由にお使いください。
・研究、論文使用なども可能ですが、公開された内容のご報告を頂けると幸いです。
・ライブストリーミングやスクリーンショットの公開なども、ご自由にしていただけます。ただし、動画を使用した場合その動画の映像、音楽、振りつけ等に関しては著作権に注意してご利用ください。ソフトに内包しているサードパーティ製品のクレジットについてはアプリのOther>Creditsを御覧ください。
・ソフトに内包している弊社製品のデータは著作権を放棄していません。

標準アバターに関する利用条件はこのページの中部に記載。

★開発の励みになりますのでぜひSNSなどでどしどしご紹介ください！「利用した！」というご報告もお待ちしております。

アップデート履歴

[2024/01/19: v0.6.2]
◆修正点
・VMC ProtocolでのBlendShape送信時にVRM0形式で送信するように修正
・VMD保存時に、名前が15文字を超えるBlendShapeのデータが保存されていなかった為、15文字を超える場合に後ろから15文字を使用するように修正

◆機能追加
・VMC ProtocolでのBlendShape送信時にVRM1形式で送信できる機能を追加

[2023/12/20: v0.6.1]
◆修正点
・Avatarパネル＞Facetrackingパネルの？ボタンリンク先を修正
・初期アバター「カイ」不具合のため入れ替え
・FBCaptureの初期状態を修正
・Avatarパネル＞AddAvatarで、アバターの股関節の調整でロードエラーになるのを修正
・Recordパネル＞BVHのCapturingFPSを小数点可能に修正
・Cameraパネル＞ショートカット　プルダウンでサードパーソンが選べなかったのを修正
・SendReceiveパネル＞Streaming　いくつかのUIで保存ボタンがアクティブにならない件を修正
・ライブ配信およびVOD保存中のテキストが被ってしまっている箇所があったため、UIが操作できない問題を修正

◆変更点
・アプリ名を「TDPT_ThreeDPoseTracker」に変更

◆機能追加
・Cameraパネル＞followHeadのプリセットボタンを設置。ショートカットも追加。
・Blankワールドで、カメラのクリッピング距離を設定可能に。

[2023/11/28: v0.6.0]

---