ゲーム世界のバーチャルビューをライブ体験

ソニーインタラクティブゲーム

ゲーム世界のバーチャルビューをライブ体験

ゲーム世界のバーチャルビューをライブ体験

ビデオゲーム関連市場は、世界のエンターテイメント市場において非常に大きな割合を占めるようになっています。近い将来、ビデオゲーム及びその関連市場全体の世界的収入は、映画業界を超えると予測されています。

そんな中、ビデオゲームを競技として楽しむ、「eスポーツ」が生まれました。eスポーツの世界では、プロゲーマーが、アリーナ等に集まって、マルチプレイヤーオンラインゲーム(MOG)形式でビデオゲームをプレイします。

一方、観客は、アリーナのビデオ制作チーム等によってリアルタイムに生成されるディスプレイパネルに提示されるビューを見て、またはネットワークを介してライブストリーミングされた映像を見て、ゲームの興奮を同時進行的に味わいます。

このようなイベントは既に大規模に行われており、2016年に開催された世界選手権では、約4万人の聴衆を動員し、ライブストリーミングの視聴者は2千5百万人を超えたといわれています。このように、ライブやストリーミングを問わず、最高の視聴体験を提供するために様々な技術が用いられています。

このような背景のもと、ソニーはライブイベントが撮影されたビデオストリームに基づいて、実世界の会場の三次元ライブビューをサーバで生成させ、これをリモートユーザのヘッドマウントディスプレイ(HMD)にストリーミングすることによって、リモートユーザに拡張現実ビューを提供する技術を開発し、特許出願が行われました。この技術においては、リモートユーザは単にライブビューを見るだけでなく、eスポーツにおけるプロゲーマーの視点や、ゲーマーが操るキャラクタの視点、鳥瞰図などを選択して楽しむことができます。

もちろん、ライブ会場におけるアリーナ席からの視点を選択して、会場の雰囲気をリモートで味わうことも可能となります。

ライブ会場における熱気を直接味わうことまではできないかもしれませんが、この技術を用いることで、リモートユーザならではの新しい視点によるeスポーツの楽しみ方ができそうです。

またこのようなスポーツの楽しみ方が、これからの時代において新たな文化・価値観を創造していくことは、確かなことといえそうです。

ビデオゲームは、ゲーム機やコンピュータ及び携帯電話等を含む様々な種類のプラットフォームを用いて、いつでもどこでもプレイされているが、そんなビデオゲームの新しい夜明けが、eスポーツの形で出現している。

eスポーツの世界では、プロゲーマーがアリーナ等の会場に集まって、ローカルエリアネットワークまたはインターネットを通じサポートされるマルチプレイヤオンラインゲーム(MOG)形式でゲームをプレイする。

さらに、映像制作チームにより作成されるビデオディスプレイパネル上に提示されるビューは、インターネット等の任意のネットワークを介してより多くの視聴者にライブストリーミングされる。  

このようなeスポーツの視聴をより高次にサポートする技術が、最高の視聴体験を視聴者に与えるため日々開発されることが求められている。

本発明は、インタラクティブなゲーム世界を作り出すゲームアプリケーションを確立する。ライブイベントは、ゲームをプレイしているプレイヤが存在する実世界の会場で行われる。

実世界の会場で撮影されたビデオストリームに基づいて3Dライブビューが作成され、リモートユーザのヘッドマウントディスプレイ(HMD)に、ライブイベントの拡張現実ビューが提示される。

本発明のポイントを下記に示す。

「以下より構成されるライブイベントへの参加方法であって、
・ゲームアプリケーションの実行を通じて、複数プレイヤが参加可能なインタラクティブなゲーム空間を作り出すことができるゲームセッションをサーバで確立し、
・前記サーバからネットワークを介して、リモートユーザのHMDに観客ビューを配信することで、リモートユーザに、インタラクティブなゲーム世界の仮想現実ビューをリアルタイムで提示する、方法

本発明の更なるポイントとして、
・サーバは、インタラクティブなゲーム空間に観客として参加するためのリクエストを、リモートユーザより受信する、
・観客ビューの配信を行う前に、ライブビューの配信を停止する、
・ライブイベントへの参加を可能にするコンピュータプログラムを記憶する非一時的なコンピュータ可読媒体、
・ライブイベントへの参加を可能にする方法を実行するコンピュータシステム、が挙げられる。

本発明の実施形態による、仮想現実(VR)コンテンツとのインタラクティブ体験を提供するよう構成されたシステムを示す。

【図1】 VRコンテンツとのインタラクティブな体験を提供するシステム図

ユーザU1は、HMD102を装着する。HMD102は、眼鏡、ゴーグル、またはヘルメットと同じように装着され、インタラクティブアプリケーションからのコンテンツをユーザに表示する。

HMD102は、ユーザの眼のごく近くにディスプレイを設けることによって、高度に没入型の体験をユーザに提供する。HMD102は、ユーザの各眼に、ユーザの視界の大部分または全体を占める表示領域を提供することができる。

本発明のある実施形態において、HMD102は、eスポーツイベントのライブビューを提示する。ライブビューは、実世界会場のサーバ235によって管理され、実世界会場(例えば、eスポーツアリーナ)に配置されたデータ収集装置231より作成される。

ライブビュージェネレータ260は、複数の情報ソースより収集されたデータ(例えば、音声、ビデオ)をつなぎ合わせる技術を用いて、アリーナ内の任意の位置におけるライブビューを作成することができる。

エンターテイメントサーバは、ライブeスポーツイベントのライブビューに、デジタルコンテンツをオーバーレイするように構成された拡張現実ライブビュー生成部270を含む。

本発明の一実施形態における、eスポーツアリーナの後部座席の一人称視点(POV)を図2に示す。

【図2】eスポーツアリーナの後部座席の一人称視点図

図2に示すように、複数の聴衆の頭部が一人称視点に示される。さらに一人称視点において、リモートユーザは、ステージ190に、またはその近くに位置するビューを有する。

例えば、一人称視点は、オートバイコース上のレーサ(例えば、少なくともレーサ180及びレーサ181)を示すメインディスプレイ101のビューを含む。一人称視点は、チーム171上にあるサイドディスプレイ105のビューを含む。また一人称視点は、オートバイレーサ180をコントロールするチームメンバ172aのゲームプレイビューを示すサイドディスプレイ107のビューを含む。

サイドディスプレイは、オートバイレーサ181の背中のビューを含むオートバイレーサ180の視点を示し、レーサ181は、レースコースでオートバイレーサ180の前方を走行している。

本開示の様々な実施形態の態様を行うために使用できるデバイスの構成要素を図3に示す。

【図3】本発明におけるデバイスの構成要素

デバイス700は、本発明の実施形態を実践するのに適したサーバコンピュータ、パーソナルコンピュータ、ビデオゲームコンソール、パーソナルデジタルアシスタント、または、他のデジタルデバイスを組み込むことができる。

デバイス700は、ソフトウェアアプリケーションとオペレーティングシステムを実行する中央処理装置(CPU)702を含む。CPU702は、座席ライブビュー生成部720を含む。

ライブビューは、ライブイベントにおいて収集された1または複数のライブ記録(例えば、ビデオ、音声)に基づき、アリーナ(例えば、eスポーツアリーナ)の1または複数の位置に対して作成される。

ライブ記録は、ライブイベントの画像や映像を収集するように構成されたビデオ収集部721と、アリーナから音声を収集するように構成された音声収集部722とによって行われてもよい。

一人称視点生成部723は、アリーナの特定の座席等、特定位置のライブビューを生成するように構成される。一人称視点生成部は、アリーナの所定の位置から取得したライブイベントの1つまたは複数のビデオをつなぎ合わせて、アリーナの特定位置のライブビューを生成するように構成されたステッチング技術を用いることができる。

従って、特定の位置からライブ記録が収集されなかった場合であっても、ライブビューは、ライブイベントの1または複数のライブ記録に基づいて、その特定の位置に対して作成することができる。

ネットワークインタフェース714は、デバイス700が電子通信ネットワークを介して他のコンピュータシステムと通信するのを可能にし、ローカルエリアネットワーク、及び、インターネット等の広域ネットワークを介した有線または無線の通信を含んでいてもよい。

音声プロセッサ712は、CPU702、メモリ704、記憶装置706によって提供された命令/データからのアナログまたはデジタルの音声出力を生成するように適合される。

CPU702、メモリ704、データ記憶装置706、ユーザ入力デバイス708、ネットワークインタフェース710、及び、音声プロセッサ712を含む、デバイス700の構成要素は、1または複数のデータバス722を介して接続される。

グラフィックスサブシステム714は、データバス722及びデバイス700の構成要素にさらに接続される。グラフィックスサブシステム714は、グラフィックス処理ユニット716及びグラフィックスメモリ718を含む。

グラフィックスメモリ718は、出力画像の各画素の画素データの記憶に使用される表示メモリ(例えば、フレームバッファ)を含む。グラフィックスメモリ718は、グラフィックス処理ユニット716と同じデバイスに一体化されてもよい。

本発明は、リモートユーザが仮想の聴衆として、ライブイベント(例えば、競技ビデオゲームを含むライブeスポーツイベント)に参加する方法及びシステムを提供する。

本発明の実施形態は、リモートユーザにライブイベントの拡張現実ビューを提示することを含み、実世界の会場(例えば、eスポーツアリーナ)での体験を高品質にリモートユーザに与える様々な技術を提供する。

出願国:日本、外国(国際出願)
発明の名称:実世界会場で開催されたライブイベントで見せられるインタラクティブなゲーム世界の観客ビュー
出願番号:特願2020-517884
公開番号:特表2020-534952
出願日:2018年08月22日
公開日:2020年12月03日
出願人:ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリティ カンパニー
経過情報:出願審査係属中
その他情報:国際特許出願中
IPC:A63F13/86

<免責事由>
本解説は、主に発明の紹介を主たる目的とするもので、特許権の権利範囲(技術的範囲の解釈)に関する見解及び発明の要旨認定に関する見解を示すものではありません。自社製品がこれらの技術的範囲に属するか否かについては、当社は一切の責任を負いません。技術的範囲の解釈に関する見解及び発明の要旨認定に関する見解については、特許(知的財産)の専門家であるお近くの弁理士にご相談ください。