しかしながら、被験者（体験者）が、仮想の事象を現実の事象として認識（「代替現実」といいます）できない場合が多いといえます。その原因は、その映像そのものに現実感がないこと、また、ＣＧの不自然さ、映像の動きの不自然さなどと考えられています。

本発明は、上記の問題に鑑みてなされたものであり、被験者に対し、実際には目の前で起きていない仮想の事象を、あたかも実際に目の前で起きている現実の事象として認識させることができる代替現実システムを実現することを目的とします。

■本発明の効果

本発明によれば、被験者に対し、仮想事象をまるで現実事象のように認識させることができます。

■特許請求の範囲のポイントなど

本発明の特許請求の範囲における概要を説明します。本発明の代替現実システムは、所定の場所であらかじめ撮影した映像と、所定の場所へ来た被験者が見ている映像とを組み合わせて利用し、絶妙なタイミングで映像を切り替えるシステムです。

詳細は、後でご説明しますが、本発明によって、仮想事象を、あたかも現実事象として認識させることができます。

具体的には、被験者は、ヘッドカメラやヘッドマウントディスプレイを備えた視聴モジュールを装着します。被験者は、その視聴モジュールを装着した状態で、所定の場所へ行きます。所定の場所に来たときに、ヘッドカメラによってそのときの現在映像を撮り続け、被験者へ映し出します。一方で、所定の場所における映像は、過去映像として、全方位カメラなどによって、あらかじめ撮っておきます。

そして、被験者が所定の場所において、例えば視線を急激に変えたときに、現在映像と過去映像とを切り替えます。視線の変化は、視聴モジュールによって検出されます。被験者は、視線を急に変えたときに映像が変わったため、映像の切り替えに気づきにくく、現在映像と過去映像との区別がつきにくくなります。例えばこのようにして、仮想事象と現実事象との区別をつけにくくします。

■全体構成

本発明の特許請求の範囲には、大きく分けて、「代替現実システム制御装置」の発明、「代替現実システム制御装置」の発明、「代替現実システム」の発明、「代替現実システム制御方法」の発明、そして、「記録媒体」の発明が記載されています。

いずれの発明も、代替現実システムを基本としており、同様の内容となっています。

「代替現実システム制御装置」の発明を概説しますと、以下の通りです。

（１）被験者が見ている現在映像を取得する「現在映像取得手段（装置）」と、
（２）あらかじめ代替映像（過去映像）を用意しておく「代替映像取得手段（装置）」と、
（３）代替映像から部分映像を切り出すために、切出し方向（被験者が見ている方向）を更新（変更）する「映像方向更新手段（装置）」と、
（４）視聴者が見ている映像を、現在映像へ、または、部分映像へ、または、現在映像と部分映像とを組み合わせた複合映像へ、と切り替える「映像切替手段（装置）」とを利用します。

そして、上記の（４）「映像切替手段（装置）」は、被験者にバレにくいタイミングを見計らって、映像を切り替えます。

さらに「代替現実システム制御装置」について詳しく説明します。
本発明の「代替現実システム制御装置」は、以下のように４つの手段で構成されています。

（１）所定の場所において視聴者が見ている現在映像を取得する「現在映像取得手段」と、
（２）所定の場所で撮影された、あらかじめ用意された全方位映像であって、現在映像とは異なる代替映像（過去映像）を取得する「代替映像取得手段」と、
（３）視聴者が見ている方向の領域を代替映像から切り出して部分映像を得るべく、切出し方向を更新（変更）する「映像方向更新手段」と、
（４）所定の場所において視聴者に表示する映像（視聴者が見ている映像）を、現在映像へ、または、部分映像へ、または、現在映像と部分映像とを組み合わせた複合映像へ、と切り替える「映像切替手段」とを備えます。

そして、上記の（４）「映像切替手段」は、下記（ａ）～（ｆ）の少なくともいずれか一つの方法によって、映像を切り替えます。

（ａ）視聴者の急速眼球運動を検出したタイミングで、映像を切り替える。

（ｂ）視聴者が、切り替え前後の映像の両方に映し出されているオブジェクト（物体）に着目したことを検出したタイミングで、映像を切り替える。

（ｃ）視聴者が、映像切り替え用のスイッチを押下したタイミングから遅延した（異なる）タイミングで、表示される映像を、現在映像と、現在映像以外との間で、切り替える。

（ｄ）切り替え前後の映像に映し出されたオブジェクト（物体）の少なくとも一方をフェードインまたはフェードアウトさせつつ、切り替え前後の映像を重ね合せて、映像を切り替える。 （ｅ）視聴者が所定の場所から移動すると、映像を現在映像に切り替え、移動中には、現在映像を表示させ続ける。

（ｆ）視聴者が所定の場所に留まっている場合に、映像を切り替える。

また、特許請求の範囲に記載されているその他の発明も、上記の「代替現実システム制御装置」の発明と同様の内容を有しています。

■細部

本発明の特許請求の範囲には、さらに、下位概念の発明として、以下のような内容の発明も記載されています。上記「代替現実システム制御装置」は、さらに以下のように設計されても良いのです。

・好ましくは、視聴者の頭部の動きを検出するセンサをさらに備えます。映像方向更新手段は、検出された動きに応じて、表示映像の方向を更新（変更）します。
・好ましくは、代替映像を表示する際に、代替映像に予め対応付けられた、匂い、熱、振動、および触感の少なくともいずれか一つを発生させる発生手段をさらに備えます。

図１は、代替現実システムのシステム構成を表す図です。

■実施形態

図１は、物資取扱施設の一例を図示したブロック図です。

【図１】

図１に示されているように、代替現実システム１００は、代替現実を被験者に体験させるシステムでず。代替現実システム１００は、制御装置１１０、録画モジュール１２０、および視聴モジュール１３０を備えています。

制御装置１１０は、代替現実システム１００を制御します。例えば、制御装置１１０は、パーソナルコンピュータによって実現されたり、サーバや、専用の機器によって実現されたりします。

次に、図２及び図３に基づいてさらに詳しく説明します。図２は、録画モジュールの具体例を図示しています。図３は、視聴モジュールの具体例を図示しています。

【図２】

【図３】

図２は、録画モジュール１２０の具体例を示します。録画モジュール１２０は、過去映像の撮像および録画に利用されます。図２に示すように、録画モジュール１２０は、全方位カメラ１２２およびマイク１２４を備えます。

全方位カメラ１２２は、異なる方向の映像が撮れるように、複数の撮像装置を備え、これにより、全ての方向（水平方向に３６０°かつ垂直方向に３６０°）を撮像することが可能です。全方位カメラ１２２によって撮像された映像は、制御装置１１０へ出力され、過去映像として扱われます。

マイク１２４によって集音された音声は、制御装置１１０へ出力され、上記過去映像の音声として扱われます。

図３は、視聴モジュール１３０の具体例を示します。視聴モジュール１３０は、現在映像の撮像、各映像（現在映像および過去映像）の視聴に利用されます。図３に示すように、視聴モジュール１３０は、ヘッドフォン１３２、ヘッドカメラ１３４、ヘッドマウントディスプレイ１３６、動きセンサ１３８、マイク１４０、スイッチ１４２、およびアイトラッカー１４４（図１参照）を備えます。

ヘッドカメラ１３４は、被験者の前方の映像を撮像します。ヘッドカメラ１３４によって撮像された映像は、現在映像として、制御装置１１０へ出力されます。また、マイク１４０は、周辺の音声を録音します。マイク１４０によって録音された音声は、上記現在映像の音声として、制御装置１１０へ出力されます。

ヘッドマウントディスプレイ１３６は、制御装置１１０から出力された映像（現在映像または過去映像）を表示します。ヘッドフォン１３２は、制御装置１１０から出力された音声（現在映像または過去映像の音声）を出力します。

動きセンサ１３８は、被験者の頭部の動きを検出します。アイトラッカー１４４は、被験者がヘッドマウントディスプレイ１３６画面のどこを見ているかを知るために視線方向を計測します。スイッチ１４２は、制御装置１１０に対して、映像の切り替えを指示するためのものです。被験者は、スイッチ１４２を押下することにより、制御装置１１０に対して、映像の切り替えを指示することができます。

続いて、図６に基づいてさらに詳しく説明します。図６は、代替現実システム１００による代替現実体験の具体例を示します。図６（ａ）～（ｅ）は、代替現実体験における代表的なシーンを、時系列に示しています。

【図６】

（ａ．過去映像の撮影シーン）
図６（ａ）は、代替現実体験における過去映像の撮影シーンを示します。体験室の所定の位置に全方位カメラ１２２が設置され、全方位カメラ１２２によって全方向の過去映像が撮像されています。

この体験室に被験者が案内されます。このとき、この体験室で体験を行うことが案内者によって説明されつつ、その様子が全方位カメラ１２２によって撮像されています。

続いて、被験者は、全方位カメラ１２２が置かれていた場所に移動し、そのときに、ヘッドマウントディスプレイ１３６が装着されます。ヘッドマウントディスプレイ１３６から表示される映像は、初めは現在の映像（ヘッドカメラ１３４によって撮像されているライブ映像）ですが、被験者が気付かない間に、過去の映像に切り替えられます。このように、最初に現在の映像を表示することによって、被験者に「現在の映像を視聴している」という意識を植え付けることができ、過去の映像への切り替えを気付きにくくしています。

（ｂ．録画シーン）
図６（ｂ）は、代替現実体験における録画シーンを示しています。この録画シーンにおいて、ヘッドマウントディスプレイの具合について被験者が問いかけられています。しかし、これは、過去の映像です。被験者は、問いかけが過去の映像によるものであることに気付かないまま応答しています。

（ｃ．録画シーン）
図６（ｃ）は、代替現実体験における録画シーンを示しています。図６（ｂ）に示すシーンの後、ヘッドマウントディスプレイ１３６には、図６（ａ）で撮像した過去の映像が表示されます。この映像には、被験者自身が映し出されているため、被験者は、この映像が過去の映像であると認識します。そして、被験者は、いつの間にか過去の映像に切り替わっていたことを知ります。これによって、ヘッドマウントディスプレイに表示されている映像が、操作されているかもしれない、と疑い出します。

（ｄ．録画シーン）
図６（ｄ）は、代替現実体験における録画シーンを示します。この録画シーンにおいては、案内者が被験者に対して、図６（ｃ）の映像が過去の映像であること、および、今視聴している映像が、現在の映像であることを説明しています。しかしながら、この説明は、過去の映像によるものです。
ところが、被験者は、シーンが切り替わったこと、および、上記説明を受けたことによって、今視聴している映像が、現在の映像であると思い込んでしまっています。特に、図６（ｃ）のシーンにおいて、被験者自身を映像に映し出すことによって、過去の映像を過去の映像らしく演出したことにより、図６（ｄ）のシーンにおける上記説明の真実感が高められ、したがって、図６（ｄ）のシーンにおける映像の現実感がより高められています。

（ｅ．ライブシーン）
図６（ｅ）は、代替現実体験におけるライブシーンを示すものである。このライブシーンでは、さらに、案内者が被験者に対して、今視聴している映像が、現在の映像であることを説明している。これにより、図６（ｄ）のシーンにおいて既に現実に戻ったと信じている被験者は、現実と過去の区別がもはやできなくなっています。

さらなる工夫も可能です。例えば、映像切替手段が過去映像に切り替えるときに、匂い、熱、振動、および触感の少なくともいずれか一つを発生させる発生手段をさらに備えることもできます。

例えば、過去映像に人が倒れるシーンがある場合、その過去映像を被験者に視聴させつつ、倒れるタイミングで振動を発生させます。これにより、被験者は、現実に人が倒れたような感覚を持ち、過去映像の現実感を高めることができます。

他の例では、火災のシーンが含まれている場合、その過去映像を被験者に視聴させつつ、被験者が感じ取れる熱や匂いを発生させます。これにより、被験者は、現実に火災が発生しているような感覚を持ち、過去映像の現実感を高めることができます。

展望、結語

以上ご説明しましたように、本発明の代替現実システム、このシステムの制御装置、制御方法、および、そのシステムのためのプログラムなどによって、被験者に対し、仮想事象を、あたかも現実事象として認識させることができます。上述したような工夫が詰め込まれた本発明は、仮想現実をよりリアルに体験できる技術であり、将来的に注目できるものです。

■概要

出願国：日本 発明の名称：代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体
出願番号：特願2012-181114(P2012-181114)
特許番号：特許第5594850号(P5594850)
出願日：2012年8月17日
公開日：2014年2月27日
登録日：2014年8月15日
出願人：独立行政法人理化学研究所
経過情報：本出願はいったん特許となりましたが、特許権を維持するための特許料不納により特許権は抹消しています。
その他情報：本出願からさらに分割出願された子出願は、審査中です。なお、本特許出願を基礎出願にして、国際特許出願され、各国でも特許権を獲得する意向があるようです
IPC：G06T

＜免責事由＞
本解説は、主に発明の紹介を主たる目的とするもので、特許権の権利範囲（技術的範囲の解釈）に関する見解及び発明の要旨認定に関する見解を示すものではありません。自社製品がこれらの技術的範囲に属するか否かについては、当社は一切の責任を負いません。技術的範囲の解釈に関する見解及び発明の要旨認定に関する見解については、特許（知的財産）の専門家であるお近くの弁理士にご相談ください。