10/12にAppleから出願公開された今回の技術は、VR/MR環境に没入させるためのアプリケーションで使用されるヘッドマウントディスプレイ（HMD）に関するものです。
より正確なトラッキング技術の必要性
VRでは、コンピュータ生成のグラフィックスを使用して、実際の世界や想像された世界の視覚的な体験をシミュレートすることで、没入感を実現します。MRでは、仮想要素がリアルタイムで実世界の環境に合成されます。しかし、この没入体験の質は、ディスプレイの特性や画像の品質、フレームレート、トラッキング機能の速度や正確性など、多くの要因に影響されます。
特に、ユーザーの頭部の位置や方向、ユーザーの体の動き、そして周囲の環境を正確にトラッキングすることは、高品質なVR/MR体験を実現するための鍵となります。現在の多くのトラッキング方法は、外部のカメラやセンサーを使用しています。これらの方法は、ユーザーの移動範囲に制限があることが多く、特定のエリア内でしかトラッキングができない場合があります。さらに、外部コンポーネントを使用すると、HMDのセットアップやキャリブレーションが複雑になることがあります。
このような背景から、全てのトラッキング機能を1つのデバイスに統合し、ユーザーが自由に移動でき、かつ簡単にセットアップできるようなHMDの開発のニーズが高まっています。このようなHMDは、よりリアルなVR/MR体験を提供し、ユーザーの満足度を向上させるためにその実現が期待されています。
本発明によるHMDは、いくつかのカメラと赤外線発光体（IR発光体）を備えていて、内部からの位置、ユーザーの体、および環境のトラッキングを正確かつ自動的に実行するためのシステムと関連技術が備わっています。このシステムは、リアルタイムのトラッキングを実現するために、コンピュータビジョンの方法と複数のセンサーからのデータ融合を使用します。高フレームレートと低遅延は、HMD自体で処理の一部を実行することで達成されます。
本発明により提供されるHMDデバイスは、ユーザーを仮想現実（VR）または拡張/混合現実（MR）環境に没入させるためのアプリケーションに使用され、以下を含みます：
- RGBカメラセンサーのペアと赤外線（IR）カットオフフィルターを備えた関連レンズ
- NIRバンドパスフィルターと関連レンズを備えたモノカメラセンサーのペア
- 慣性計測ユニット（IMU）
- 関連するIRエミッターを備えた飛行時間（ToF）カメラセンサー
- スペックルパターンプロジェクター
- ディスプレイ
- 少なくとも1つの処理ユニット
この処理ユニットは、RGBカメラセンサーのペア、モノカメラセンサーのペア、IMU、ToFカメラセンサーおよび関連するIRエミッター、スペックルプロジェクター、およびディスプレイに少なくとも1つの通信リンクを介して動作的に接続されています。
これらのユニットによるトラッキングの例として、位置トラッキングとボディトラッキングの処理について見てみましょう。
位置トラッキングの処理フロー
次の図は、位置トラッキング（154）を達成するための典型的なプロセスのフローダイアグラムを示しています。
このプロセスは、同時定位およびマッピング（SLAM）アルゴリズムのクラスに属します。アクティブステレオによって与えられる密な深度マップは、3D特徴を検出および追跡するために使用できます（2D特徴はテクスチャに基づいており、3D特徴は深度に基づいており、点群から抽出できることに注意）。
ここではリアルタイムの制約を持つシナリオに適しているため、疎なマッチングアプローチが説明されています。アルゴリズムの入力は、トラッキングのためのステレオ画像（202）とIMUデータ（204）です。まず、プロセスは、ステレオ画像で回転的に（206）およびスケール不変の2D画像特徴（208）を検出します。
次に、ステレオマッチング（210）を使用して各特徴の深度が推定されます。このプロセスにより、3Dポイントのクラウド（212）が生成され、これをリアルタイムで追跡して頭の位置の変化（214）を推測します。環境は静的であると仮定されているため、移動する人やオブジェクト上の任意の特徴は、剛直な動きの仮定を持つRANSAC方法によってフィルタリングされます。トラッキング画像が十分な情報を提供しない場合、ジャイロスコープと加速度計のデータは、一時的に位置の変化（216）を計算するために使用されます。
ユーザーのボディトラッキングの処理フロー
次の図は、ユーザーのボディトラッキング（158）を達成するための典型的なプロセスのフローダイアグラムを示しています。
仮想現実では、没入感を達成するためにユーザーの体を描画し、見る必要があります。このため、トラッキングが実行される視野は、パススルーカメラの視野と一致する必要があります。ToFカメラセンサーは、比較的小さい視野（例：水平方向で90度）で近接深度データを取得するための低解像度ではあるものの直接的な解決策を提供します。この観点から、LEDフラッドライトでサポートされたステレオカメラは、より多くの画像処理計算時間のコストでより良い解像度を提供します。
例示的なプロセスでは、体のメッシュ（304）は、近接3Dデータを検出すること、または、LEDフラッドライトを使用する場合には強度にしきい値を適用することにより、深度と体のセグメンテーション（302）の情報から抽出されます。次に、メッシュから骨格モデル（306）が抽出されます。最後に、体の動きを追跡し、骨格の形状と動きをジェスチャーモデルと照合することで、事前に定義されたジェスチャーが最終的に認識されます（308）。認識されたジェスチャーのタイプ、位置、および体のステレオマスク（310）は、グラフィックスのレンダリングのために提供されます。
種々のセンサーにより、ユーザーを広いスペースへ連れ出す
このHMDは、ユーザーが比較的大きな環境内で自由に移動できるように、すべての必要なトラッキングコンポーネントがHMDに統合されているユニークな内部アプローチによって、位置、ユーザーの体、および周辺環境のトラッキングを達成します。このアプローチは、いわゆる外付けの外部入力コンポーネントが必要なくなるという点で優れています。
VRおよびMRアプリケーションでの応用を考えると、このHMDは、プレイヤーの頭と手の動き、および外部環境オブジェクトをトラッキングすることによって一部のコントロールまたはインタラクションを達成できる没入型のゲームやエンターテインメントアプリケーションで特に有用でしょう。可能性のあるアプリケーションには、ゲームだけでなく、一般的なシミュレーション、共同トレーニング、販売、アシステッド製造、メンテナンス、および修理などが含まれます。
このようなHMDは、録画目的またはリアルタイムのビジョン処理を行う単なるステレオカメラとしての使用だけでなく、環境スキャナー（アクティブステレオ）としても使用できます（筆者注：物理的な環境を高精度で3Dマッピングする技術のこと。アクティブステレオは、一般的に2つのカメラと、環境に光を投射する光源（たとえば、赤外線プロジェクタ）を使用して、物体や表面の深度情報を取得する）。
特に、異種のセンサからのデータを使用して、自動的に頭の位置、ユーザーの体、および環境を追跡できることから、実際の場所やオブジェクトをスキャンして、ゲームの中で再現することだけでなく、例えば産業用途では工場や製造ラインでの品質検査、部品の3Dスキャンなど、製造プロセスの最適化に応用可能でしょう。すでに一部行われているものとして、古代の遺跡や歴史的な建造物を3Dでスキャンし、将来の世代に向けてデジタルで保存するといった事業が行われていますが、本発明のようなHMDを用いることで、さらにリアルな体験として経験することができるでしょう。今後のさらなる応用・活用が期待されます。
＜書誌情報＞
発明の名称：Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
公開番号：US2023/0324684A1
https://patents.google.com/patent/US20230324684A1/
特許権者：Apple Inc.
発明者：Simon FORTIN-DESCHENES 他
出願日：2023/6/14
公開日：2023/10/12
