TDPT (Windows版)
《 カメラだけで誰でも簡単にフルボディトラッキングを始められます。 》
通常のカメラからの映像や動画データを入力すると、自社開発の画像認識 姿勢推定AI技術（ディープラーニング）により体の２４の検出ポイントを3次元の座標で出力するリアルタイムモーションキャプチャ「TDPT(ThreeDPoseTracker)システム」。
「TDPTシステム」を使った学会発表、論文掲載なども注目を集めています。
医療関係 論文掲載、学会発表、共同研究等 記録
TDPT Windows版 は、TDPTシステムの出力する座標を使い、アバターのボーン角度を操作することで、トラッカーなどを体に付けずに、”カメラだけでフルボディトラッキングが可能”になるアプリとして、Vtuberとしての利用、メタバース内で全身を使った表現など、広く、多くの方に使用していただいております。
フリーウェアとして無料で配布中です。
こちらのデジスタSHOP(by BOOTH)の商品サイトよりダウンロードすることができます。
使い方、操作説明はこちら
概要
- 入力はカメラの映像、動画からも可能。データの変換を待つことなく、リアルタイムに画像認識をして身体のモーションキャプチャーをします。体に付けるトラッカーは必要ありません。
- VRM形式(VRM1.0にも対応)のアバターを読み込んで使用できます。初期アバターをご用意しておりますので、起動してすぐにお試しいただけます。
- モーションデータ(BVH、VMD)の書き出しが可能。書き出したモーションは他のアプリで自由に使うことができます。
- VMC Protocolを使用してモーションデータをリアルタイムに送信および受信する事が可能です。他社メタバースアプリ用のOSCトラッカー情報の送信にも対応しました。
- アプリから直接外部サービスへのライブストリーミングが可能です。
- ワールド内に２つまでウィンドウを表示して、TDPTの中でプレゼンなどが可能です。
- ローエンドPC向けに軽量版のTDPTシステムに変更できます。
- TDPTシステムのフィルター調整で、モーションキャプチャーしたデータを滑らかにさせることができます。
- アイテムGLBデータを読み込んで配置することが可能です。プリセットもご用意しておりますので、手にマイクを持つなどのアイテム追加が簡単にできます。
- 上半身モードで足を立ち固定および座り固定状態にすることができます。
- カメラの位置をボタンで変更、好みに位置に保存したり、ショートカットキーで切り替えできます。
- ハンドトラッキングとフェイストラッキングが可能です。
- 同時に検出できる人数は1名までです。
動作確認済みの環境
前提条件
・Windows10以上
①フェイストラッキング
②ハンドトラッキング
③カメラのポストプロセス
これらの機能が処理に負荷をかけますので、ケースごとにfpsを記載しています。
※fps値は参考値です。保証するものではありません。
◆ケース１
Corei9
メモリ 16GB
グラフィックカード RTX4090
①②③全てオンにすると 30fps程度
①②③全てオフにすると 60fps程度
◆ケース２
Corei7
メモリ 16GB
グラフィックカード RTX 2070 Super
①②③全てオンにすると 15fps程度
①②③全てオフにすると 30fps程度
◆ケース３
Corei5
メモリ 4GB
グラフィックカードなし
TDPTシステムLow Qualityモデルでのみ動作可能 ①②③全てオフにして 12fps程度
TDPTシステムの検出ポイント
TDPTシステムの検出ポイントは24ポイントです。
１，右の耳 ２，左の耳 ３，右の目 ４，左の目 ５，鼻 ６，右の肩 ７，左の肩 ８，右の肘 ９，左の肘 １０，右の手首 １１，左の手首 １２，右の親指の付け根 １３，左の親指の付け根 １４，右の中指の付け根 １５，左の中指の付け根 １６，お腹 １７，右の股関節 １８，左の股関節 １９，右の膝 ２０，左の膝 ２１，右の足首 ２２，左の足首 ２３，右のつま先 ２４，左のつま先
バージョン0.5以前のアプリ
開発者Qiita記事
ThreeDPoseTracker0.5
ThreeDPoseTracker0.4
ThreeDPoseTracker0.3
ThreeDPoseTracker0.2
ThreeDPoseTracker0.1
お気軽にお問い合わせください。受付時間 10:00-18:00 [ 土・日・祝日除く ]
お問い合わせはこちら