画像表示システム
現実世界の映像にリアルタイムで仮想世界映像を融合させる
昨今のVR/AR技術の進歩と一般化によって、家庭用ゲーム等のハードウェアとしてヘッドマウントディスプレイ（HMD、VRゴーグルともいわれています）は気軽に購入できる機器となってきました。
初期のHMDは仮想現実の世界のみを見せるものでしたが、昨今では現実世界の映像情報に仮想世界の映像情報をリアルタイムで融合させることのできる装置として一般的に認知されています。
しかし、従来のHMDでは、仮想世界の映像情報を表示することができても、その映像情報を装着者の動き（特に手や足の動き）に合わせて変化させることができず、映像への没入感や臨場感を高めることができませんでした。
そこで、meleap社（東京都港区）は、装着者の位置と動きに応じてHMDに表示する映像情報を制御することのできるシステムを開発し、2016年1月15日に特許出願し、2018年6月12日に特許査定を受け、2018年7月6日に特許登録となりました（特許第6362631号、権利存続中）。
また、世界153カ国を指定国とした国際特許出願も行っています。（国際公開番号：WO2017/122367）
この発明では、プレイヤーから見えるAR視野に対して、HMDが有するカメラによってリアルタイムで撮影した現実世界の映像情報と、CGで生成された仮想世界の映像情報をミックスして映し出し、
さらに、プレイヤーが自らの身体を動かすことで、その動きに応じたコマンドを発動することができるようにしました。
さらに、HMDのカメラとは異なるカメラを用意し、少し離れた場所からプレイヤー自身を撮影することによって、
例えばHMDのAR視野内でプレイヤーとモンスターが戦っている場合、第三者の視点でプレイヤーとモンスターとを両方表示させて、観客の視点で見ることもできるようにしました。
これにより、プレイヤーとモンスターとの戦いを「観戦」することができ、プレイヤーと観客との一体感を強めることができるのです。
プレイヤーはHMDを頭部（眼部）につけ、腕や足にはモーションセンサーを装着します。モーションセンサーが検出する動きに対応してコマンドを割り当てることができ、
例えば両腕を顔の前でクロスさせる動きが「防御」、腕を前方に素早く突き出す動きが「攻撃」、腕を素早く揺さぶる動きが「武器の切り替え」といった複数のコマンドが考えられます。
HMDや外部カメラとしては一般的なスマートフォンなどの携帯端末でよく、このような端末を用いてリアルタイムでのCG生成とサーバとの通信を同時に行うことができます。
既に一般的に普及した機器であるスマホを使って、このような仮想空間を観客と一緒に楽しめるようになると、自宅でのゲーム時間も孤独感なく過ごせそうですね。