Hand tracking with ARKit.

The “AR”, is Arguments of reality. To extend reality, you need to recognize it. Now. ARKit can recognize plane, body and face. But is this enough? In this talk, I’ll talk about hand tracking in ARKit everyone never seen.

iOS13からARKitを使ってボディのトラッキングが出来るようになりました。

このようにOSのアップデートでトラッキング対象が増えることがあります。これはつまり、特別なセンサーを用いずにオブジェクトの検出が出来るということです。

同じように、自分でもML推定を利用してARKitの機能を拡張することが出来るはずです。

このトークでは、これまでのARKitでは出来なかった手の検出について話します。

手を検出することでARの世界でさらに複雑な操作をすることが出来るようになるでしょう。

手の位置推定、ランドマークの検出は

google/mediapipe の学習済みモデルを利用します。

クライアントでの推定はTensorflowLiteかCoreMLを利用します。

この検出結果をSceneKit上で描画し、ARKitのプレビューと合成することでARを行います。