画像表示システム
現実世界の映像にリアルタイムで仮想世界映像を融合させる
昨今のVR/AR技術の進歩と一般化によって、家庭用ゲーム等のハードウェアとしてヘッドマウントディスプレイ（HMD、VRゴーグルともいわれています）は気軽に購入できる機器となってきました。
初期のHMDは仮想現実の世界のみを見せるものでしたが、昨今では現実世界の映像情報に仮想世界の映像情報をリアルタイムで融合させることのできる装置として一般的に認知されています。
しかし、従来のHMDでは、仮想世界の映像情報を表示することができても、その映像情報を装着者の動き（特に手や足の動き）に合わせて変化させることができず、映像への没入感や臨場感を高めることができませんでした。
そこで、meleap社（東京都港区）は、装着者の位置と動きに応じてHMDに表示する映像情報を制御することのできるシステムを開発し、2016年1月15日に特許出願し、2018年6月12日に特許査定を受け、2018年7月6日に特許登録となりました（特許第6362631号、権利存続中）。
また、世界153カ国を指定国とした国際特許出願も行っています。（国際公開番号：WO2017/122367）
この発明では、プレイヤーから見えるAR視野に対して、HMDが有するカメラによってリアルタイムで撮影した現実世界の映像情報と、CGで生成された仮想世界の映像情報をミックスして映し出し、
さらに、プレイヤーが自らの身体を動かすことで、その動きに応じたコマンドを発動することができるようにしました。
さらに、HMDのカメラとは異なるカメラを用意し、少し離れた場所からプレイヤー自身を撮影することによって、
例えばHMDのAR視野内でプレイヤーとモンスターが戦っている場合、第三者の視点でプレイヤーとモンスターとを両方表示させて、観客の視点で見ることもできるようにしました。
これにより、プレイヤーとモンスターとの戦いを「観戦」することができ、プレイヤーと観客との一体感を強めることができるのです。
プレイヤーはHMDを頭部（眼部）につけ、腕や足にはモーションセンサーを装着します。モーションセンサーが検出する動きに対応してコマンドを割り当てることができ、
例えば両腕を顔の前でクロスさせる動きが「防御」、腕を前方に素早く突き出す動きが「攻撃」、腕を素早く揺さぶる動きが「武器の切り替え」といった複数のコマンドが考えられます。
HMDや外部カメラとしては一般的なスマートフォンなどの携帯端末でよく、このような端末を用いてリアルタイムでのCG生成とサーバとの通信を同時に行うことができます。
既に一般的に普及した機器であるスマホを使って、このような仮想空間を観客と一緒に楽しめるようになると、自宅でのゲーム時間も孤独感なく過ごせそうですね。
従来のヘッドマウントディスプレイ(HMD)
現実世界の映像情報に仮想世界の映像情報を実時間で融合させることのできる装置として、ヘッドマウントディスプレイ(HMD)が知られている。
しかしながら、従来のヘッドマウントディスプレイでは、仮想世界の映像情報を表示することができても、その映像情報を、例えばヘッドマウントディスプレイの装着者の動き(特に、手や足の動き)に合わせて変化させることができず、装着者の没入感（臨場感）を高めることが困難であった。
仮想世界の映像情報＋第三者も一緒に仮想映像を体験
本発明によれば、装着者の位置と動きに応じてヘッドマウントディスプレイに表示される仮想世界の映像情報を制御することができる。
また、装着者の体験している仮想映像を第三者から見た映像として配信することができ、第三者も一緒に仮想映像を体験することができる。
特許請求の範囲のポイント
本発明のポイントは以下の通りである。
以下より構成される画像表示システム、画像表示システムの制御方法および画像配信システム
・現実世界を撮像する撮像部、および撮像部によって撮像された現実世界の映像情報に仮想世界の映像情報を融合させて表示する画像表示部を有するヘッドマウントディスプレイ
・ヘッドマウントディスプレイを装着する装着者の体の動きを動作情報として検出する動作情報検出部
・装着者の位置情報を検出する位置情報検出部
本発明の更なるポイントとして、以下が挙げられる。
・位置情報検出部は、装着者の三次元の位置情報を得ることができる
・動作情報検出部は、装着者に装着されるモーションセンサーを有している
・モーションセンサーは、装着者の腕に装着される
・ヘッドマウントディスプレイは、撮像部および画像表示部を備えた携帯端末と、装着者の頭部に装着され、携帯端末が着脱可能なフレームを有している
ゲームシステム
本発明のゲームシステムを図１に示す。
【図１】本発明のゲームシステム
本発明の画像表示システムおよび画像表示システムの制御方法を適用したゲームシステム１００は、
図１に示すように、主に、フィールドＦに設置されるマーカー２００、プレーヤー（装着者）Pが装着するヘッドマウントディスプレイ３００、モーションセンサー（動作情報検出部）４００、プレーヤーＰを撮影するカメラ（撮像装置）５００、カメラ５００で撮影した映像を表示するディスプレイ（画像表示装置）６００、およびサーバー７００を有している。
ゲームシステム１００を用いて行われるゲームの一例を図２に示す。
【図２】ヘッドマウントディスプレイに表示されるAR視野の一例
図２に示すＡＲ視野（プレーヤーＰから見える画像）のように、ヘッドマウントディスプレイ３００を装着したプレーヤーＰの眼前（現実世界の映像情報中）にコンピューターグラフィックス（CG）で生成されたモンスターＭ（仮想世界の映像情報）が出現する。
プレーヤーＰは、自らの体を動かすことで、その動きに対応したコマンド（命令）を発動することができ、コマンドを屈指してモンスターＭと戦い、モンスターＭの体力を０にすることで勝利することができる。
また、戦いの最中は、プレーヤーＰおよびモンスターＭ の攻撃や、プレーヤーＰおよびモンスターＭの体力等が、図２のようにCGによって映像化され、これにより、モンスターＭとの戦いに臨場感が与えられている。
なお、コマンドは特に限定されず、ゲーム内容によっても異なるが、例えば、攻撃（必殺技、攻撃魔法等）、防御（ガード、回避、回復魔法等）、武器の切り替え等が挙げられる。
また、プレーヤーＰとモンスターＭの戦いは、カメラ５００を用いて、カメラ５００の
視点から映像化され、図１に示すように、その映像がディスプレイ６００に表示されるようになっている。そのため、プレーヤーＰ以外の者（観客）も、プレーヤーＰとモンスターＭ との戦いを観戦することができ、
プレーヤーＰと観客との一体感を強めることができる。なお、ディスプレイ６００に表示される映像は、インターネットを経由して、遠隔地に配信されるようになっていてもよい。
細部
以下、ゲームシステム１００が有する各部について順に説明する。
サーバー
サーバー７００は、ゲームシステム１００のゲームエンジンであり、ゲームシステム１００のゲーム内容を実行する機能を有している。
また、サーバー７００は、ヘッドマウントディスプレイ３００およびカメラ５００と接続されており、これらの間で情報の送受信が可能となっている。
なお、サーバー７００との接続方法としては、有線・無線を問わないが、本実施形態ではWi-Fiによって接続されている。
マーカー
マーカー２００は、図１に示すように、フィールドＦの端に位置しており、ほぼ鉛直な１つの面（例えば、部屋の壁面や部屋内に設置された衝立等）に配置されている。
このマーカー２００は、所定のパターンを有しており、このパターンをヘッドマウントディスプレイ３００に設けられたカメラで画像認識することで、
ヘッドマウントディスプレイ３００（プレーヤーＰ）の三次元の位置情報（位置および姿勢に関する情報）を取得することができる。
なお、マーカー２００としては、ヘッドマウントディスプレイ３００のカメラ３１２で画像認識することができれば、そのパターンや配置等について特に限定されず、目的に合わせて適宜選択することができる。
例えば、図３に示すように、床面に配置してもよいし、向きの異なる２つ以上の面（壁面、床面、天井面）に跨って配置してもよい。
また、マーカー２００としては、造形物、置物等の立体物を利用した立体マーカーであってもよい。
例えば、室内で遊ぶ場合等には、部屋の形状自体（柱、窓等の構造物、絵画、照明等のインテリア等の画像認識しやすい特徴的な部分）をマーカー２００として利用してもよい。
【図３】マーカーの配置の変形例を示す図
モーションセンサー
モーションセンサー４００は、プレーヤーＰの腕に装着され、腕の動きを検出できるようになっている。
モーションセンサー４００には、加速度を検出する加速度センサー４１０と、角速度を検出する角速度センサー４２０が内蔵されており、加速度センサー４１０および角速度センサー４２０からの検出信号（動作情報）は、ヘッドマウントディスプレイ３００に送信される。
モーションセンサー４００とヘッドマウントディスプレイ３００との接続方法としては、有線・無線を問わないが、本実施形態ではBluetoothにより接続されている。
ヘッドマウントディスプレイ
ヘッドマウントディスプレイ３００は、図４に示すように、携帯端末３１０と、携帯端末３１０を着脱可能なフレーム３２０を有している。
携帯端末３１０は、一方の面（表面）に配置された画面（画像表示部）３１１と、他方の面（背面）に配置され、画面３１１とは反対側の現実世界を撮像するカメラ（撮像部）３１２を有している。
このような携帯端末３１０としては特に限定されないが、例えば、スマートフォン、タブレット端末等を用いることができる。
また、プレーヤーＰが所有するスマートフォン等を携帯端末３１０として用いることができる。そのため、利便性の高いヘッドマウントディスプレイ３００となる。
【図４】ヘッドマウントディスプレイを示す斜視図
本発明では、図５に示すように、画面３１１を左眼用の画像領域３１１Lと右眼用の画像領域３１１Rとに分割し、これら画像領域３１１L、３１１Rに視差のない同じ画像を表示することで、映像を２D平面視画像としてプレーヤーＰに提供する。
例えば、画像領域３１１L、３１１Rに視差のあるステレオ画像を表示することで、仮想世界の映像情報を３D立体視画像としてもよい。
【図５】携帯端末の画面に表示される画像の一例を示す図
ディスプレイ
ディスプレイ６００は、観客（プレーヤーＰ以外の者）用のディスプレイであって、例えば、フィールドＦの近傍に設けられている。
前述したように、このディスプレイ６００には、観客用映像（カメラ５００で撮影された現実世界の映像情報と、ヘッドマウントディスプレイ３００に表示される仮想世界の映像情報をカメラ５００の視点に置き換えた映像情報を融合させた映像）が表示されるようになっている。
このようなディスプレイ６００を配置することで、プレーヤーＰが体験しているARを観客も体験できるようになり、ゲームの臨場感が増す。
カメラ
カメラ５００は、フィールドＦ外に固定配置されており、フィールドＦの全域を撮像可能となっている。
また、カメラ５００は、サーバー７００から送信されるプレーヤーＰの位置情報やプレーヤーＰが選択したコマンド（攻撃、防御等）の種類等の各種情報に基づいて、ヘッドマウントディスプレイ３００に表示されている仮想世界の映像情報（すなわち、プレーヤーＰが体験している仮想世界の映像情報）をカメラ５００の視点に置き換えた映像情報を生成する。
そして、生成した映像情報をカメラ５００で撮影している現実世界の映像情報と実時間で融合させて観客用映像を生成し、この観客用映像をディスプレイ６００に表示する。
展望、結語
本発明は、装着者の位置と動きに応じて、ヘッドマウントディスプレイに表示する映像情報を制御することのできる画像表示システムおよび画像表示システムの制御方法を提供する。
仮想世界の映像情報を装着者の動き(特に、手や足の動き)に合わせて変化させることができ、プレーヤーの没入感（臨場感）を高めることが可能となる。
また、カメラ映像は観客用のディスプレイに表示されるようになっているため、プレーヤー以外の観客もプレーヤーとの一体感を味わうことができる。
概要
発明の名称：画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ
出願国：日本
出願番号：特願2016-6653
公開番号：特開2017-126302
特許番号：特許6362631
出願日：2016年1月15日
公開日：2017年7月20日
登録日：2018年7月6日
出願人：株式会社meleap
経過情報：登録
その他情報：国際特許出願も行っている。
IPC：Ｇ０６Ｔ19/00 Ｇ０６Ｆ3/01
＜免責事由＞
本解説は、主に発明の紹介を主たる目的とするもので、特許権の権利範囲（技術的範囲の解釈）に関する見解及び発明の要旨認定に関する見解を示すものではありません。自社製品がこれらの技術的範囲に属するか否かについては、当社は一切の責任を負いません。技術的範囲の解釈に関する見解及び発明の要旨認定に関する見解については、特許（知的財産）の専門家であるお近くの弁理士にご相談ください。
