Femto Boltで挑む「完コピ」ポーズ判定。3Dの奥行きに翻弄された話

1. はじめに：Azure Kinectの後継機「Femto Bolt」

次世代の深度センサーとして注目される Orbbec Femto Bolt。 今回はこの最新デバイスを使い、人間の動きとデジタルモデルを同期させ、「お手本と同じポーズを維持できるか」を判定するデモを制作しました。

2. 開発の舞台裏：既存アセットを「ハック」して形にする

Unity初心者にとって、一からの実装は効率的ではありません。今回は市販のサンプルプロジェクトをベースに、独自のゲームルールを組み込む形で開発を進めました。

「高度な計算部分は既存の仕組みを最大限に活用し、そこに自分なりのロジックを載せていく」 これはWeb開発でライブラリを使いこなす感覚に近く、AIに相談しながら「一致率を監視し、しきい値を超えた時間をカウントする」という判定システムを構築しました。

3. Unityの罠：3D空間の「奥行き」

今回一番苦労したのは、実は「お手本（ロボット）のポーズ作り」でした。 Unity上でロボットの関節オブジェクトを回転させてポーズを作っていくのですが、これがWebの2Dデザインとは勝手が全く違います。

• 正面からは見えない: 正面から見て完璧なポーズを作ったつもりでも、実際に自分で真似してみると一致率が上がらない。

• 斜めから見て発覚: 視点を変えてみると、腕が不自然に後ろに曲がっていたり、絶妙な角度がついていたり……。

「正面から見える座標」だけを気にすればいいWebのUIとは違い、「3D空間としての正解」を作ることの難しさを痛感しました。

4. 判定ロジック：60%の壁と5秒間の静止

デモの合格条件はシンプルですが、やってみると意外とハードです。

• 一致率60%以上をキープ

• その状態を5秒間維持する

ヨガのポーズのように、一定時間正しい姿勢を保つ。 サンプルの持つ高度な判定機能をベースにしつつ、この「秒数カウント」のロジックを加えたことで、一気に「トレーニングツール」としての実用性が見えてきました。

5. まとめ：Webエンジニアが3Dに触れて得た視点

普段、画面の「向こう側」の平面世界しか相手にしていない身として、今回のFemto Boltを使った開発は新鮮な体験でした。

• ハードウェアの進化: Femto Boltの精度

• アセットの力: 高度な計算を肩代わりしてくれる既存プロジェクト

• AIのサポート: 慣れないC#でのロジック実装

これらを組み合わせることで、専門外の領域でも「体験」を作り出せる。 次は、この「ポーズ維持」の仕組みを応用して、自宅でできる「デジタル体操プログラム」へと発展させてみたいと考えています。