仮想空間での操作をもっと身近に。任天堂の新しいVRインターフェース
VR技術は日々進化を遂げていますが、その中でも「操作のしやすさ」と「没入感」の両立が一つの課題です。任天堂はこの課題に対し、独自のアプローチを用いて解決しようとしています。その一端を垣間見せるのが、今回ご紹介する「画像表示システムおよび表示制御装置に関する特許技術」です。この技術は、2019年に発売された「Nintendo Labo: VR Kit」に活用され、シンプルでありながら直感的なVR体験を提供しています。
任天堂は、VR空間内でユーザーインターフェース(UI)をスムーズに操作できる工夫を導入しています。たとえば、VRゴーグルを通じて仮想空間を眺める際に、UIがユーザーの視線に追従し、必要な情報や操作を即座に行えるように設計されています。今回は、この特許技術を通じて、任天堂がVR体験にどのような革新をもたらそうとしているのか、その背景と技術的な工夫について掘り下げてみたいと思います。
発明の背景
2024年2月Apple社が「Apple Vision Pro」を発売しました。VR(仮想現実)だけでなく、AR(拡張現実)にも対応し現実と仮想が組み合わされたすごい体験ができるようです。また、視線や目の動き、音声コントロール、手のジェスチャーに対応していて、他の機器を使うことなく操作できる、なんともすごい製品です。
さて、今解説しようとしているこの発明のアメリカへの出願は、2020 年 3 月 4 日に出願された米国特許出願第 16/808,761 号の継続出願であり、本出願は、2019 年 3 月 20 日に出願された日本特許出願第 2019-053213 号の優先権を主張しています。
つまり、2019 年 3 月 20 日に任天堂から出願された日本特許出願第 2019-053213 号が大本になっています。
この出願の年、2019年4月にはNintendo Switchで楽しめる「ニンテンドーラボ VRキット」という商品が発売されました。VRゴーグルのページを見てみましょう。
一方、この出願特許の代表的な図がこれです。
どうですか?ゴーグルの形状や使っている様子などそのままVRゴーグルですね。
このVRゴーグルをイメージすればこの出願を理解しやすいと思います。
VRゴーグルをのぞいてVR空間を見ていると想像してみてください。
VR空間の背景と前方にユーザーインターフェースが見えます。
ユーザーインターフェースには、VR空間でユーザーが例えばVR空間にあるものを拾いたいとき、道具を使いたいとき、そのものの説明を欲しいときなど何か操作をしたいときのアイコンや表示枠が配置してあります。
左側には何があるのでしょう。首を左の方に回してみましょう。背景が右に流れます。ユーザーインターフェースも流れていきました。
おや、何か光るものが落ちていますよ。何なのか拾ってみましょう。あれ、ユーザーインターフェースはどこだ?。
元あった場所に首を向けます。ありました、ありました。「拾う」というコマンドを選択して、もう一度首を左に回して光るものを拾いました。これは何だ?。これを知るためにユーザーインターフェースに戻って表示の欄を見ます。
何か操作をやるたびにこの繰り返しは嫌ですよね。じゃあ、ユーザーインターフェースが視線と一緒についてきたらどうでしょう。拾いたいとき、知りたいときすぐそばにありますから便利です。でも、ユーザーインターフェースがいつも前方にありますから背景が見ずらいですね。
背景が見やすくて、すぐにユーザーインターフェースで操作できるようになると便利ですよね。
この発明はこの不便の解消を目指したものです。
どんな発明?
発明の目的
この発明は、仮想空間に配置されたオブジェクト(例えばユーザーインターフェース)の操作性を向上させることができる画像表示システム、画像表示プログラム、表示制御装置、及び画像表示方法を提供することを目的としています。つまり、必要な時に、「簡単な動作ですぐ操作で切るようにしたい。」ということです。
上記目的を達成するために、次のような構成にしています。
- ゴーグル装置と、少なくとも1つのプロセッサとを備える。
- 仮想空間にオブジェクトを配置する
- 仮想空間内の仮想カメラで撮影した画像をゴーグル装置の表示部に表示する
- ゴーグル装置の向きを取得する
- ゴーグル装置の向きに基づいて仮想空間内の仮想カメラを回転させる
- 所定の回転方向で仮想カメラの視線が一方向から他方向へ変化したことを検知する
- 変化の検知に基づいて、ブジェクトの少なくとも一部が仮想カメラの撮影範囲内に位置するように移動する
発明の詳細
図を使って発明の詳細を説明します。
まずはFIG.1 ゴーグルの構造から
- 画像表示システム1
- ゴーグル装置10
- ユーザの両手または片手で保持され、ユーザの左右の目を覆うようにユーザの顔に装着される。
- 上面11、右側面12、下面13、左側面14、及び底面15
- 使用者の左眼に対応する位置に略円形の左開口部16L(レンズ付き)
- 使用者の右眼に対応する位置に略円形の右開口部16R(レンズ付き)
- ゴーグル装置10の内部空間を左右に仕切る仕切り面17
- 表示部21を含む情報処理装置2
FIG.4 ユーザがゴーグル装置10を使用する状態を示す図です。
ユーザが顔または体全体を左右方向(水平方向、いわゆる「ヨー方向」)または上下方向(垂直方向、いわゆる「ピッチ方向」)に向けると、ゴーグル装置10(情報処理装置2)の向きが、基準向き(ユーザが正面を向いたときのゴーグル装置10の向き)から変化します。
情報処理装置2は、慣性センサにより検出された角速度値及び、加速度値に基づいて、情報処理装置2(ゴーグル装置10)の姿勢を算出します。
情報処理装置2(ゴーグル装置10)の実空間における姿勢に応じて、仮想空間には仮想オブジェクトが配置され、ユーザは仮想オブジェクトを含む仮想空間の立体画像を視認することができます。
FIG.5 仮想空間VSの一例を示す図です。
- 仮想空間VSには、xyz直交座標系が設定されています。
- x軸は、仮想空間VSにおける水平方向の軸。
- y軸は、仮想空間VSにおける高さ方向の軸。
- Z軸は、X軸とY軸に垂直な軸であり、仮想空間における奥行き方向の軸。
- 左仮想カメラVCLと右仮想カメラVCRを総称して「仮想カメラVC」と称します。
- 左仮想カメラVCLと右仮想カメラVCRは、平均的なユーザの左目と右目との間の距離と同程度の距離で仮想空間内に配置されています。
- 左仮想カメラVCLと右仮想カメラVCRから仮想空間を眺めて得られる左目画像と右目画像が、それぞれユーザの左目と右目で見られることで、ユーザは仮想空間の立体画像を視認できます。
- UIオブジェクト30
- ユーザによって操作され、ユーザに提示する情報を表示する仮想オブジェクト
- 例えば、UIオブジェクト30は、ユーザにメニュー機能を提供します。
- 例えば、UIオブジェクト30は、所定のゲームアプリケーションの実行中に表示されるものであり、ユーザは、UIオブジェクト30を用いてゲームにおいて所定の操作を行うことができます。
- ユーザが選択可能なアイコン31〜34。
FIG.6A FIG.7A
FIG.6Aは、ゴーグル装置10が基準姿勢を維持しているときに上方から見た仮想空間を示す図で、FIG.7Aは、その時のユーザが見る画像の一例です。
FIG.6B FIG.7B
FIG.6Bは、ゴーグル装置10が基準姿勢からヨー方向(左方向)に回転したときの上方から見た仮想空間を示す図で、FIG.7Bは、その時のユーザが見る画像の一例です。
FIG.6C FIG.7C
FIG.6Cは、FIG.6Bの状態からゴーグル装置10がさらにヨー方向(左方向)に回転したときの上方から見た仮想空間を示す図で、FIG.7Cは、その時のユーザが見る画像の一例です。37はポインタを表しています。
FIG.9
UIオブジェクト30の移動先の領域の例を示す図で、四角はユーザーが見る画面。その中にUIオブジェクト30があり、その上下(A-AREA)、左右(B-AREA)に領域を設定します。
仮想カメラVCの視線がB領域に入った後、視線を反転させたときのUIオブジェクト30の移動処理とA領域に入ったときの移動処理が異なります。
FIG.10
仮想カメラVCを左方向に回転させた後、右方向に回転させた状態を示す図で、UI AREAの左の境Tyを超えてy1進み、y2反転したときを示す図です。
検出する移動量はUIオブジェクト30のエリア(UI AREA)の境Tyを超えてからの量となります。
FIG.11
仮想空間の水平方向から見た仮想カメラVCの一例を示す図であり、仮想カメラVCを下方向に回転させた後、上方向に回転させた状態を示しています。
仮想カメラVCの視線がB領域に入った後、ピッチ方向の下方向にx1進み、その後x2上方向に反転したときの図で、ピッチ方向の移動量は水平位置0度からの量であることを示しています。
仮想カメラVCの視線がB領域に入った後、y1進み、y2反転したときの小さい方の移動量をRyとします。
仮想カメラVCの視線がB領域に入った後、下方向にx1進み、その後x2上方向に反転したときの小さい方の移動量をRxとします。
Rx+Ryを計算し、設定値以上なら、UIオブジェクト30が30’の位置から仮想カメラVCの前方に、VCを中心に移動するようにします。FIG.8はその状態の図です。
次は、仮想カメラVCの視線がA領域に入ったときのUIオブジェクト30の移動処理についてです。
正面を向けている視線を上方向に動かすとUIオブジェクト30は下方向に流れていきます。A領域に入るとUIオブジェクト30が下方向に流れなくなり上部の一部が見えている状態のまま表示されます。視線がA領域に入ったまま横に首を回すと視線の動きに合わせ、UIオブジェクト30がついて動きます。図で説明します。
FIG.13A
仮想カメラVCの視線が下方向に回転してA領域に入った場合に表示部21に表示される画像の一例を示す図です。
視線を下方向に向けたのでUIオブジェクト30は上方向に移動し、下側の一部が表示されています。図ではオブジェクト40が左方向に見えます。
FIG.13B
FIG.13Aの状態から仮想カメラVCが左方向に回転した場合に表示部21に表示される画像の一例を示す図で、オブジェクト40がそのまま右に移動しました。
つまり、視線がB領域にあるときは視線の方向を反転させることによって、UIオブジェクト30を仮想カメラVCの前方に移動させます。一方、視線がA領域に入るとUIオブジェクト30の一部を仮想カメラVCの前方に移動し、かつ視線とともに移動します。このように、視線がA領域にあるか、B 領域にあるかにより、オブジェクトの移動の仕方に違いを持たせています。
図15は情報処理装置2のプロセッサ20が実行するメイン処理の一例を示すフローチャートを示し、図16は、図15のフローチャートのステップS106におけるBエリア内の移動処理を示すフローチャートです。英語ではわかりにくいので、内容が同じであった日本で出願された特許の図を載せます。
ここがポイント!
FIG.9に示すようにUI ARERの上下の領域(A-AREA)と左右の領域(B-AREA)に分け、それぞれの領域に視点が入ったときのユーザーインターフェースの動きがそれぞれの領域で異なるようにいていることです。
左右の領域(B-AREA)では、首を左に回すと背景とユーザーインターフェースが右に流れていきます。左に回し続けるとユーザーインターフェースは見えなくなってしまいます。インターフェイスを表示させたいとき、首を今までの反対方向に反転します。ある一定量動くとユーザーインターフェースが前方に移動してきます。最小限の視線の動きでユーザーインターフェイスを移動させることができます。
上下の領域(A-AREA)では、首を上に上げていくと、背景とユーザーインターフェースが下方向に流れていきます。視点がA-AREAに入るとユーザーインターフェースの上部の一部がそのまま表示され続け、かつ視線の前方に移動します。上を向いたまま首を左右に動かすと、背景も左右に動きますし、ユーザーインターフェースも同じように上部が左右に動きます。
このような動きにすることで、ユーザーインターフェースが邪魔することなく背景をみることができますし、必要な時はすぐにユーザーインターフェースを表示させ操作することができます。
未来予想
任天堂の「VRゴーグル」は残念ながら爆発的に売れたようではありません。2019年に何個かゲームソフトが発売されましたが2020年に入ると新ソフトの発売は止まってしまっています。
Apple社の「Apple Vision Pro」やMeta社の「Meta Quest」など、高機能のVRヘッドセットが作られ提供されていますが、高機能であるが故にお値段もそれなりで簡単に購入とまではいきません。
「ニンテンドーラボ VRキット」が発売された2019年ころも高機能をうたったVRヘッドセットは提案されていましたが、手を出せるお値段ではありませんでした。そんな中でNintendo Switchで楽しめるVRゴーグルは、画期的と同時に手が出せると思わせる価格で魅力的でありました。任天堂らしい自分たちの強みを生かした商品と思いました。
現在ではVR(仮想現実)だけでなく、AR(拡張現実)と組み合わせて、仮想と現実が融合された世界を見せてくれています。「Apple Vision Pro」は米国MITの「2024年のブレークスルー技術トップ10」の3位にランクされました。これから先もどんどん進化していくでしょう。
ふと考えてみれば、VRヘッドセットがあればパソコンもディスプレイもいらなくないですか。作業机もいらないとなれば、仕事をする場所もネットに接続できれば、海でも山でも川でも、スタバでもどこでも仕事ができますよ。VRヘッドセットの中がオフィスですもの。うーーむ、いいですね。
でも気を付けなければいけないのは、スタバで映画を見てニヤニヤしていたら変な人と思われちゃいますね。気をつけねば。あっ!周りの人もVRヘッドセットしているから関係ないかも。そんな未来はすぐそこのように思えます。
特許の概要
発明の名称 |
IMAGE DISPLAY SYSTEM, NON-TRANSITORY STORAGE MEDIUM HAVING STORED THEREIN IMAGE DISPLAY PROGRAM, DISPLAY CONTROL APPARATUS, AND IMAGE DISPLAY METHOD 画像表示システム、画像表示プログラムを記憶した非一時的な記憶媒体、表示制御装置および、画像表示方法 |
出願番号 |
18359118 |
公開番号 |
US-A1-2023/0364511 |
出願日 |
2023/07/26 |
公知日 |
2023/11/16 |
公開日 |
令和6年4月19日 |
登録日 |
令和6年7月26日 |
審査請求日 |
令和6年3月6日 |
出願人 |
NINTENDO CO., LTD. |
発明者 |
ONOZAWA Yuki |
国際特許分類 |
A63F13/5258 G02B27/01 H04N13/344 G06T7/73 G06T19/00 |
経過情報 |
・本出願は、2020 年 3 月 4 日に出願された米国特許出願第 16/808,761 号の継続出願であり、本出願は、2019 年 3 月 20 日に出願された日本特許出願第 2019-053213 号の優先権を主張している。 |