編集局が選ぶ！ベストパテント大賞2022

オンライン会議やテレワークなどが普及し、遠隔地から動作制御が可能な、いわゆる「テレプレゼンスロボット」が身近な存在になってきました。例えば東京の日本橋にある「分身ロボットカフェDAWN」のアバターロボットなどが有名ですね（参考リンク：https://dawn2021.orylab.com/）。

このようなロボットを遠隔操作するユーザは、端末に備わったカメラで周囲の状況を見ながらロボットを移動させていきますが、足元に障害物がある場合など、カメラの向きによってはロボットの移動をうまく制御することができませんでした。

今回紹介する発明は、テレプレゼンスロボット等の移動体が、移動する際に、移動体のカメラの死角となる場所を確認しやすくすることで、移動体の操作を適切に行えるようにする技術です。このような技術が発達することによって、遠隔操作でも様々なサービス等が提供できるわけですね。

発明の背景

近年、インターネットを用いたテレビ会議システムが普及しました。テレビ会議システムでは、お互いに顔を見ながら話すだけでなく、テレプレゼンスロボットを用いる場合もあります。テレプレゼンスロボットとは、カメラを備え、遠隔地にいるユーザによってカメラの向きや位置を操作できるロボットです。テレプレゼンスロボットとして、遠隔地のユーザからの指令によって移動できる移動体が知られています。

具体的には、遠隔地ユーザへ撮影画像を提供するためのカメラを備えた移動体（テレプレゼンスロボット）が知られています。遠隔地ユーザは、自分の手元にある端末を操作することで、遠隔地にある移動体を操作します。一般的に、遠隔操作用の端末は、移動体に備わったカメラの撮像画像を表示します。端末のユーザは、端末に表示された撮像画像を見ながら移動体を操作しますが、遠隔地の画像を単に端末に表示するだけでは、移動体を適切に操作できない場合があります。

どんな発明？

発明の目的

上記のような問題点から、遠隔地にある移動体を適切に操作できるシステム、端末、および、プログラムが要望されています。もし、移動体を自在に遠隔操作できれば、テレビ会議システム以外の用途でも、カメラを備えた移動体をまるで自分のアバターのように操作できます。

本発明は、このような問題点を解決すべく、端末を用いて移動体の操作を適切に行うことができる新規な移動体システムなどに関します。

発明の詳細

まず、概要を説明しますと、本発明のシステムは、移動体、および、移動体の操作に用いられる端末を含みます。

本発明の端末は、移動体を操作するために用いられる端末です。本発明のプログラムは、コンピュータに、移動体の操作を実行させるためのプログラムです。

本発明において、「移動体」の一例として、カメラおよび駆動部を備えるロボット（例えば、テレプレゼンスロボット、アバターロボット等）を説明します。しかし、「移動体」は、このようなロボットに限定されません。「移動体」としては、例えば、自動走行若しくは半自動走行が可能な車両や重機、ドローンもしくは飛行機、スポーツスタジアム等に設置されてレールの上を移動可能なカメラを備えたロボット、または、宇宙空間に打ち上げられ姿勢制御やカメラの撮像方向を制御可能な衛星型ロボットが例示されます。その他にも、本発明の「移動体」は、カメラおよび駆動部を備えるさまざまな機械、装置もしくは端末などを包含します。

本発明における「移動体」は、一般的な装置（例えば、スマートフォン、タブレット等）を備える場合があります。このように、「移動体」は、カメラおよび駆動部を備えていれば、一体的に構成された装置であったり、複数の装置が組み合わされて構成されていたりします。

システムの全体構成

図１は、本実施形態に係るシステムの全体構成の一例を示す図です。

【図１】

図１に示すように、システム１は端末１０を備え、端末１０を用いて操作されるロボット２０をさらに備えます。端末１０およびロボット２０は、互いに通信を行います。具体的には、ロボット２０および端末１０は、ネットワーク（例えば、インターネット、ＬＡＮ等）を介して通信を行ったり、直接互いに通信を行ったりします。ロボット２０および端末１０の間の通信は、有線通信または無線通信などです。

なお、システム１を構成する端末１０およびロボット２０の数は、図１に示す例に限られません。また、システム１は、ネットワークを介して端末１０やロボット２０と接続されます。図示されていませんが、システム１は、サーバ等を含む場合があります。サーバは、例えばロボット２０の予約等、ロボット２０に関する各種処理を端末１０から受け付けます。

端末１０は、ロボット２０を操作するためにユーザが使用する情報処理装置です。端末１０は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ、ヘッドマウントディスプレイなどの汎用または専用の情報処理装置です。図１に示すように、端末１０は、表示部１０ｆを備えます。

ロボット２０は、移動型のロボットです。図１に示すように、ロボット２０は、駆動部２０ｇおよびカメラ２０ｈを備えます。例えば、図１の駆動部２０ｇは、車輪を回転駆動させることでロボット２０を特定の面Ｓ上で移動させます。特定の面Ｓは、例えば、地面、床、月面等です。図１において駆動部２０ｇは、複数の車輪で構成されていますが、例えばロボット２０は、一輪、二輪もしくは多輪によって走行可能、または、キャタピラによって走行可能、または、レールの上を走行可能です。または、飛び跳ねて移動可能であり、二足歩行、四足歩行もしくは多足歩行可能であり、または、スクリューによって水上もしくは水中を航行可能であり、または、プロペラ等によって飛行可能です。

カメラ２０ｈは、端末１０からの指示に従って決定される所定の領域を撮像します。ロボット２０は、例えば、複数のカメラ２０ｈを有し、複数のカメラ２０ｈを使って複数の異なる領域を撮像できます。例えば、図１では、ロボット２０は、端末１０からの指示に基づいて決定される第１領域（移動方向先の様子など）を撮像する第１のカメラ（以下、「メインカメラ」という）２０ｈ1を備えます。ロボット２０は、さらに第２のカメラ（以下、「ナビゲーション用カメラ」という）２０ｈ2を備え、第２のカメラ２０ｈ2を使って、ロボット２０が移動する特定の面Ｓ上の第２領域（例えばロボット２０の足元）を撮像します。メインカメラ２０ｈ1、および、ナビゲーション用カメラ２０ｈ2は、撮像する方向の向きを所定角度範囲で制御できます。

なお、ロボット２０は、複数のカメラ２０ｈを備えない場合もあります。例えば、撮像方向の向きを３６０度の角度範囲で制御できる１つのカメラ２０ｈを備える場合があります。

ユーザは、端末１０を用いてロボット２０を操作します。端末１０の表示部１０ｆには、カメラ２０ｈによって撮像された画像（以下、「撮像画像」）が表示されます。ユーザは、表示部１０ｆに表示された撮像画像を見て、ロボット２０の状態を確認できます。端末１０は、ロボット２０が移動している状態であるか否かに基づいて、撮像画像の表示様式を制御します。

ユーザは、端末１０を介してロボット２０を操作します。例えば、ロボット２０を移動させる操作、または、ロボット２０に搭載されたカメラの操作を行います。ロボット２０を操作するための指示は、端末１０からロボット２０に送信されます。指示は、端末１０からロボット２０に直接送信されたり、端末１０からサーバ等（不図示）を介してロボット２０に送信されたりします。

ロボット２０は、端末１０からの指示に応じて、カメラ２０ｈによる撮像画像を端末１０に送信します。さらにロボット２０は、ロボット２０のマイクで取得された音声の他、例えば、ロボット２０によって取得または検知等された各種のデータを端末１０に送信します。これにより、ユーザは、端末１０およびロボット２０を介して、ロボット２０がいる場所に自分もいるかのような感覚を得ます。

端末１０およびロボット２０の物理的構成

次に、端末１０の物理的構成の一例を簡単に説明します。

端末１０は、演算部に相当するプロセッサ、記憶部に相当するＲＡＭ、記憶部に相当するＲＯＭ、通信部、入力部、表示部、および、カメラを有します。これらの各構成は、データが相互に送受信できるように接続されています。

プロセッサは、例えばＣＰＵです。プロセッサは、ＲＡＭまたはＲＯＭに記憶されているプログラムを実行することにより、端末１０における各種処理を制御します。プロセッサは、入力部や通信部から種々のデータを受け取り、データの演算結果を表示部に表示したり、ＲＡＭに格納したりします。

ＲＡＭおよびＲＯＭは、各種処理に必要なデータおよび処理結果のデータを記憶します。端末１０は、ＲＡＭおよびＲＯＭ以外に、ハードディスクドライブ等の大容量の記憶手段を備える場合があります。ＲＡＭおよびＲＯＭは、例えば、半導体記憶素子で構成されます。

通信部は、端末１０を他の機器に接続するインターフェースであり、他の機器と通信します。

入力部は、ユーザからデータの入力を受け付けるためのデバイス、または、端末１０の外部からデータを入力するためのデバイスです。入力部は、例えば、キーボード、マウスおよびタッチパネル等を有します。入力部は、音声入力のためのマイクを含む場合もあります。

表示部は、プロセッサによる演算結果を視覚的に表示するために、例えば液晶ディスプレイによって構成されます。表示部は、ロボット２０のカメラ２０ｈによる撮像画像を表示します。表示部は、複数の表示部を有する場合があり、複数の表示部それぞれは、カメラ２０ｈによる異なる領域の撮像画像を表示します。例えば、メインカメラ２０ｈ1およびナビゲーション用カメラ２０ｈ2それぞれの撮像画像を表示します。なお、表示部は、端末１０のカメラによる撮像画像を表示する場合があります。

カメラは、静止画像または動画像を撮像する撮像素子を有します。そして、所定の領域を撮像して撮像画像（例えば、静止画または動画）を生成し、ロボット２０に送信します。

ロボット２０の操作を実行させるためのプログラムは、例えば、コンピュータによって読み取り可能な記憶媒体（ＲＡＭやＲＯＭ等）に記憶されて提供されます。または、例えば、通信部によって接続される通信ネットワークを介して提供されます。端末１０では、プロセッサがプログラムを実行することにより、ロボット２０を制御するための様々な動作が実現されます。

続いて、ロボット２０の物理的構成の一例を簡単に説明します。

ロボット２０は、演算部に相当するプロセッサ、記憶部に相当するＲＡＭ、記憶部に相当するＲＯＭ、通信部、入力部、表示部、駆動部、および、カメラを有します。これらの各構成は、データによって相互に送受信できるように接続されています。

プロセッサは、ＲＡＭまたはＲＯＭに記憶されたプログラムの実行に関する制御、データの演算、加工を行います。プロセッサは、入力部や通信部から種々のデータを受け取り、データの演算結果を表示部に表示したり、ＲＡＭに格納したりします。また、プロセッサは、駆動部２０ｇを制御し、ロボット２０の動作を制御します。

ＲＡＭおよびＲＯＭは、各種処理に必要なデータおよび処理結果のデータを記憶します。ロボット２０は、ＲＡＭおよびＲＯＭ以外に、ハードディスクドライブ等の大容量の記憶手段を備える場合があります。

通信部は、外部装置との通信を行うデバイスです。

入力部は、外部からデータを入力するためのデバイスです。入力部は、例えば、キーボードおよびタッチパネルを有します。また、入力部は、音声入力のためのマイクを有する場合があります。

表示部は、各種情報を表示するためのデバイスです。表示部は、プロセッサによる演算結果を視覚的に表示し、例えば、液晶ディスプレイにより構成されています。例えば表示部は、端末１０のカメラによる撮像画像を表示します。また、表示部は、ロボット２０のカメラ２０ｈによる撮像画像を表示する場合もあります。

カメラは、静止画像または動画像を撮像する撮像素子を有します。そして、所定の領域の撮像により撮像画像（例えば、静止画像または動画像）を生成し、生成された撮像画像を端末１０に送信します。

ロボット２０の制御を実行させるためのプログラムは、例えば、コンピュータによって読み取り可能な記憶媒体（ＲＡＭやＲＯＭ等）に記憶されて提供されます。一方、通信ネットワークを介して提供される場合もあります。ロボット２０では、プロセッサがプログラムを実行することにより、ロボット２０を制御するための様々な動作が実現されます。

端末１０の機能的構成

さらに、端末１０の機能的構成の一例を簡単に説明します。

端末１０の機能は、記憶装置（記憶部）に記憶されたコンピュータプログラムをプロセッサ（制御部）が読み込んで実行することによって実現されます。端末１０は、例えば以下のように機能します。

端末１０は、ロボット２０への指示入力を受け付けます。指示は、例えば、ロボット２０の移動、停止、移動方向Ｄ、駆動部２０ｇの回転方向、カメラ２０ｈが撮像する領域等を示します。

端末１０は、ロボット２０による撮像画像を取得します。具体的には、端末１０は、上記ロボット２０に対する指示に基づいて決定される第１領域を映す第１撮像画像（移動方向先の様子）、および、この指示に基づいて移動体を移動させる特定の面上の第２領域を映す第２撮像画像（ロボットの足元）を取得します。

端末１０は、ロボット２０の状態を判定します。具体的には、端末１０は、ロボット２０が移動している状態（以下、「移動状態」という）であるか否かを判定します。例えば、受け付けた指示に基づいて、ロボット２０が移動状態であるか、または、ロボット２０が移動していない状態（以下、「停止状態」という）のいずれであるかを判定します。なお、移動状態とは、ロボット２０が実際に移動している状態の場合もあれば、実際に移動しているか否かを問わずに移動していると推定される状態の場合もあります。同様に、停止状態とは、ロボット２０が実際に停止している状態の場合もあれば、実際に停止しているか否かを問わずに停止していると推定される状態の場合もあります。

端末１０は、ロボット２０が移動状態であるか否かに基づいて、第１撮像画像（移動方向先の様子）および第２撮像画像（ロボットの足元）の各表示を制御します。具体的には、端末１０は、ロボット２０が移動状態である場合、第１撮像画像および第２撮像画像の両方を表示します。一方、ロボット２０が停止状態である場合、第２撮像画像を表示せずに第１撮像画像（移動方向先の様子）を表示します。

引き続いて、ロボット２０が移動状態である場合の一例について図５を示しつつ説明します。図５（Ａ）および図５（Ｂ）のいずれも、ロボット２０が移動状態である場合を示しています。

図５（Ａ）には、移動状態のロボット２０のカメラ２０ｈによって撮像される第１領域および第２領域が示されています。また、図５（Ｂ）には、端末１０の画面の一例が示されています。

【図５】

図５（Ａ）に示すように、ロボット２０が移動状態である場合、端末１０からのロボット２０に対する指示に基づいて決定される第１領域は、ロボット２０が移動する方向Ｄ（以下、「移動方向Ｄ」という）の所定の領域を少なくとも含みます。例えば、図５（Ａ）では、ロボット２０のメインカメラ２０ｈ1が第１領域（移動方向先の様子）を撮像して、第１領域に対応する第１撮像画像を生成します。

一方、図５（Ａ）に示すように、第２領域は、例えば、ロボット２０の移動方向Ｄであって特定の面Ｓ上の所定の領域（例えば、ロボット２０の移動方向Ｄの足元の所定の領域）です。例えば、図５（Ａ）では、ロボット２０のナビゲーション用カメラ２０ｈ2が第２領域（ロボットの足元）を撮像して、第２領域に対応する第２撮像画像を生成します。

なお、図５（Ａ）では、メインカメラ２０ｈ1およびナビゲーション用カメラ２０ｈ2がそれぞれ第１および第２領域を撮像して第１および第２撮像画像が生成されていますが、同一のカメラ２０ｈが第１および第２領域を短時間の間に切り替えて両方の撮像画像が生成される場合もあります。生成された第１および第２撮像画像は、ロボット２０から端末１０に送信されます。

図５（Ｂ）に示すように、ロボット２０が移動状態である場合、端末１０は、第１撮像画像および第２撮像画像の両方を表示します。例えば、図５（Ｂ）における端末１０では、画面の上方に第１撮像画像が表示され、画面の下方に第２撮像画像が表示されます。図５（Ｂ）では、第１撮像画像が第２撮像画像よりも大きく表示されていますが、このような表示に限られません。

図５（Ｂ）に示される画面では、ロボット２０の移動方向Ｄの状態が第１撮像画像によって端末１０のユーザに示されるだけでなく、ロボット２０が移動する特定の面Ｓ（例えば、地面）の状態も、第２撮像画像によって示されます。したがって、端末１０を操作するユーザは、ロボット２０の足元の障害物等を第２撮像画像によって認識できます。そのため、ロボット２０に対する指示（例えば、ロボット２０の移動方向Ｄの変更指示等）を端末１０に入力すれば、端末１０のユーザは、ロボット２０と障害物との衝突を回避できます。このように、ロボット２０が移動状態である場合、第１撮像画像および第２撮像画像の両方を表示させることにより、端末１０を操作するユーザがロボット２０の操作を適切に行うことができます。

さらに、ロボット２０が停止状態である場合の一例について図６を示しつつ説明します。図６（Ａ）および図６（Ｂ）のいずれも、ロボット２０が移動状態である場合を示しています。

図６（Ａ）には、停止状態のロボット２０のカメラ２０ｈによって撮像される第１領域（移動方向先の様子等）が示されています。また、図６（Ｂ）には、端末１０の画面の一例が示されています。

【図６】

ロボット２０が停止状態である場合、第１領域は、ロボット２０に対する端末１０からの指示に基づいて決定される所定の領域です。例えば図６（Ａ）では、ロボット２０のメインカメラ２０ｈ1が第１領域を撮像して、第１領域に対応する第１撮像画像を生成します。生成された第１撮像画像は、ロボット２０から端末１０に送信されます。

図６（Ｂ）に示すように、ロボット２０が停止状態である場合、端末１０は、第２撮像画像を表示させずに上記第１撮像画像を表示します。例えば、図６（Ｂ）に示される画面では、端末１０からの指示に基づいて決定される所定の領域の状態が、第１撮像画像によって端末１０のユーザに示されます。

ロボット２０が停止状態である場合、端末１０を操作するユーザは、ロボット２０の足元の障害物等を認識しなくともロボット２０を操作できます。そのため、第１撮像画像だけを端末１０で表示させることにより、所望の第１領域の状態を認識し易くなります。したがって、ロボット２０が停止状態である場合、第２撮像画像を表示させずに第１撮像画像を表示することにより、端末１０のユーザがロボット２０の操作を適切に行うことができます。

システムの動作

最後に、図７のフローチャート用いて、システムの動作の一例について説明します。

【図７】

図７に示すように、ステップＳ１０１において、端末１０は、ロボット２０に対するユーザからの指示の入力を受け付けます。

ステップＳ１０２において、端末１０は、ロボット２０が移動状態であるか否かを判定します。例えば、端末１０は、ステップＳ１０１で入力されたロボット２０に対する指示に基づいて、ロボット２０が移動状態であるか否かを判定します。

ロボット２０が移動状態であると判定される場合（ステップＳ１０２のＹＥＳ）、ステップＳ１０３において、端末１０は、第１撮像画像および第２撮像画像の両方を取得します。例えば、図５（Ａ）で説明したように、第１撮像画像（移動方向先の様子）は、ロボット２０のメインカメラ２０ｈ1による第１領域の撮像によって生成されます。また、第２撮像画像（ロボットの足元）は、ロボット２０のナビゲーション用カメラ２０ｈ2による第２領域の撮像によって生成されます。

ステップＳ１０４において、端末１０は、第１撮像画像および第２撮像画像の両方を表示します（例えば、図５（Ｂ）参照）。

ロボット２０が移動状態ではない（すなわち、停止状態である）と判定される場合（ステップＳ１０２のＮＯ）、ステップＳ１０５において端末１０は、第１撮像画像を取得します。例えば図６（Ａ）で説明したように、第１撮像画像は、ロボット２０のメインカメラ２０ｈ1による第１領域の撮像によって生成されます。

ステップＳ１０６において、端末１０は、第２撮像画像を表示させずに第１撮像画像を表示部１０ｆに表示させます（例えば、図６（Ｂ）参照）。

なお、図７に示す動作は、例示にすぎません。例えば、ロボット２０が移動状態であるか否かに関係なく、端末１０は第１撮像画像および第２撮像画像の両方を取得できます。この場合、ロボット２０が移動状態であるなら第１および第２撮像画像の両方を表示させ、ロボット２０が停止状態であるなら第２撮像画像を表示させずに第１撮像画像のみを表示させます。

以上のように、本発明のシステムでは、ロボット２０が移動状態であるか否かに基づいて、上記第１撮像画像と第２撮像画像との表示が制御されます。したがって、端末１０のユーザは、端末１０に表示された、ロボット２０のカメラ２０ｈからの撮像画像に基づいて、ロボット２０の操作を適切に行うことができます。

具体的には、ロボット２０が移動状態である場合、図５（Ｂ）に示すように、ロボット２０の移動方向Ｄの状態を示す第１撮像画像だけでなく、ロボット２０が移動する特定の面Ｓの状態（足元付近）を示す第２撮像画像が端末１０に表示されます。したがって、端末１０のユーザは、第２撮像画像によりロボット２０の足元の障害物等を認識できます。その結果、例えば、ロボット２０と障害物との衝突を回避する等、ロボット２０の操作を適切に行うことができます。

変形例

上記の説明では、ロボット２０のカメラ２０ｈによって撮像される第１領域は、１つの領域でしたが、複数の領域を含む場合もあります。具体的には、第１領域は、端末１０からの指示に基づいて決定される所定の領域だけでなく、この領域とは異なる方向の領域を含む場合があります。例えば、図５（Ａ）において、第１領域は、移動方向Ｄだけでなく、移動方向Ｄとは逆方向の領域、移動方向Ｄの左方向の領域、または、移動方向Ｄの右方向の領域等をさらに含む場合もあります。この場合、例えば、図５（Ｂ）の第１撮像画像の表示領域において、複数の撮像画像が表示されます。図６（Ａ）および図６（Ｂ）についても同様の変更が可能です。

また、上記の説明では、ロボット２０のカメラ２０ｈにより撮像される第２領域は、１つの領域を想定しましたが、複数の領域を含む場合があります。例えば、図５（Ａ）において、第２領域は、ロボット２０の移動方向Ｄであってロボット２０が移動する特定の面Ｓ上の所定の領域だけでなく、移動方向Ｄとは逆方向、左方向、右方向等であって上記特定の面Ｓを含む所定の領域等を含む場合もあります。この場合、例えば、図５（Ｂ）の第２撮像画像の表示領域において、複数の撮像画像が表示されます。

ここがポイント！

上記の通り、本発明は、たとえば、端末を用いて移動体の操作を適切に行うことができるシステムを提供します。

本出願で特許となった本発明のポイントを解説しますと、ロボットが移動状態である場合、ロボットの移動方向先の空間の様子を示す画像だけでなく、ロボットの移動方向先の地面の様子を示す画像が端末に表示されます。よって、端末のユーザは、ロボットの足元の障害物等を認識できます。ロボットと障害物との衝突を回避できるため、ロボットを適切に操作できる点に特徴があります。

本発明を要約しますと、本発明のシステムは、移動体、および、端末（移動体の操作に用いられる）を備えます。

移動体は、駆動部を有し、端末からの指示に基づいて特定の面上（たとえば地面の上）を移動します。

移動体は、さらにカメラを有し、端末からの指示に基づいて決定される第１領域（移動方向先の様子）、および、特定の面上の第２領域（地面の一部）を撮像します。

詳しくは、端末は、第１領域に対応する第１撮像画像、および、第２領域に対応する第２撮像画像を取得します。さらに端末は、移動体が移動している状態であるか否かに基づいて、第１撮像画像および第２撮像画像の表示の仕方を制御します。

本発明のもう１つは、移動体の操作に用いられる端末です。

詳しくは、端末には、移動体への指示が入力されます。端末は、指示に基づいて第１撮像画像（移動方向先の様子）を取得します。また、指示に基づいて上記の第２撮像画像（地面の一部の画像）を取得します。さらに端末では、移動体が移動している状態であるか否かに基づいて、第１撮像画像（移動方向先の様子）および第２撮像画像（地面の一部の画像）の表示様式が制御されます。

本発明のもう１つは、コンピュータに、移動体の操作を実行させるためのプログラムです。

詳しくは、プログラムは、移動体への指示を受け付けます。また、上記の第１撮像画像、および、上記の第２撮像画像を取得します。また、移動体が移動している状態であるか否かに基づいて、第１撮像画像と前記第２撮像画像との表示を制御します。

未来予想

本特許は、ａｖａｔａｒｉｎ（アバターイン）株式会社から出願されたものです。この会社は、まだあまり知られていませんが航空分野のＡＮＡホールディングスが作った会社です。言い換えますと、ＡＮＡ初のスタートアップ会社であり、ＡＮＡにおけるアバター事業を担う会社です。ウェブサイトを見ますと、上述した図面で示したロボットと同様の「ｎｅｗｍｅ（ニューミー）」というアバターロボットが紹介されています。

本特許の発明は、まさしく上記の「ｎｅｗｍｅ（ニューミー）」を開発する際に考え出されたアイデアであると思われます。航空分野で活躍しているＡＮＡホールディングスですが、アバター分野でもスタートアップ会社を作って事業を早急に拡大させたいという意図があるようです。

特許の概要

もしかするとZ世代の読者の方にはわからない言葉かもしれませんが、かつて職場や飲み会の席から退席する際に「わたし、そろそろドロンしますね」などと言って胸の前で印を結び、そのまま帰宅する、といったやりとりがありました。

もちろん昭和世代には常識だと思いますが、念のため説明すると、これは忍者が煙幕を張ってドロンと消えることを意図した表現だったわけです。昭和の時代にはまだ忍者がいたのです（笑）。

いまや死語となってしまった「ドロンします」ですが、Apple社の特許によってどうやらその表現が復活となりそうです。というのも、メタバースなどの仮想現実の世界にユーザが出入りする際の視覚効果として、この「ドロン」が特許になったのです。

今回はこの特許発明の詳細について、紹介していきます。

発明の背景

コンピュータが作り出す仮想現実世界（computer-generated reality 以下CGR）は、仮想現実VR（Virtual Reality）や複合現実MR（Mixed Reality）を含む概念として今や一般的なものとなりつつあり、人々が電子装置を介して感じる（または相互作用する）ことを全体的にまたは部分的にシミュレートされた環境を意味することは多くの人が理解しうることでしょう。

なお、VR環境は、コンピュータで生成された感覚入力に完全に基づくように設計されていますが、MR環境は物理的環境、つまり現実世界からの感覚入力を組み込むように設計されたシミュレートされた環境や表現を意味しています。MR環境の中でも一般的なものは、拡張現実（AR）が挙げられ、物理的環境に重ねられて表示等される模擬的表現を指します。例えば、現実の物体の上にホログラムを投影するような表現はAR表現といえます。

さて、当然ながら、CGR環境がユビキタスになる、つまり、当たり前のものとなるにつれて、人々はCGR環境において相互に交流する機会を増加させることとなります。CGR環境をユーザへもたらす機器としては一般的なパソコン等の他に、ヘッドセットや投影システム、ヘッドアップディスプレイ（HUD）、統合された表示能力を有する車両のフロントガラスなど、多くの態様が考えられますが、これはもはや一般的なものですので説明を割愛します。

どんな発明？

発明の目的

本発明は、上述のようなCGR環境に進入または退出する際にユーザが用いるユーザ自身の投影画像や、ユーザーが用いるアバター等に適用されるイベントをカスタマイズするための例示的な技術が開示されたものです。

発明の詳細

では、図・画像を一部参照しながら、本発明の詳細を説明していきます。

【図１C,図１D】

図１CはVR技術を実行している場合を模式的に描いたものです。VRはコンピュータの中で仮想現実表現が完結しますので、現実世界とのリンクはありません。よって、画面内の表現には人や木は写っていません。

これに対して図１Dはパススルービデオを使用して、具体的にはAR技術、MR技術を実行する場合を模式的に描いたものです。現実世界の表現170は画面内に写り込んでいます。コンピュータはこの現実環境を取り込んで、そこに仮想オブジェクトであるハット160ｄを描いています。

【図１E】

図１Eは、さらにAR表現を拡張させたものとなります。現実世界表現から人のみを抜き出し、仮想オブジェクト環境に取り込んでいます（したがって、現実世界の木180ｂは写り込んでいません）。

このようなVR/AR技術が前提になっていることを踏まえて、以降説明を続けていきます。

【図２】

図２は、２種類の別々の表示装置（PCやスマホなど）に表示されるコンテンツを表しています。装置200を有する第１のユーザは、仮想環境400内に存在するとし、第１のユーザのアバターの視点で仮想環境400が表示されているとします。

このとき、装置300を有する第２のユーザは、仮想環境400に入っていません。仮想環境400は「ROOM A」という名前が付けられており、第２のユーザはその入口で「Enter」というボタンを見ているという状況にあることが理解できると思います。

【図３】

図３は、第２のユーザがEnterボタンを押して仮想環境400に入るときの例示的な応答を示します。この応答は第２のユーザに関連付けられた入口効果422を備えていることが本発明の特徴です。

なお、この入口効果は視覚のみならず、聴覚、触覚、または他の感覚的効果または作用のいくつかの組み合わせを含みます。例えば芳香剤を放出することによる香りの効果を組み合わせることもできますし、ファンを作動させることによる微風によって表現することも含みます。どのような入口効果とするかは、第2のユーザが指定します（入口効果もアバター表現の一部であるという認識をもっても良いでしょう）。この入口効果は、第２のユーザによって、異なる状況に対して異なる入口効果を定義することができます。

例えば、エントリが行われる時間であったり、仮想環境400に既に存在している他のユーザであったり、目的とする環境（例えばビジネス会議への呼び出しなど）の状況などの要因によって変化させることが可能です。

【図４】

入口効果422の一例を示したものが図４となります。煙幕が最初に表示され、徐々に第２のユーザを表すアバター420が表示されてくることが見て取れます。

この入口効果は、仮想環境に進入するというイベントが発生したときに提示される遷移的な効果です。必要に応じて、制限された持続時間（１〜５秒程度）の一時的な効果です。この遷移効果は、仮想環境やアバターといった永続的な表現特性とは区別されます。

【図５】

図５は、第２のユーザに関連付けられた入口効果422が完了した後の両デバイス200、300にそれぞれ表示される仮想環境400の図を示しています。それぞれの画面は互いのユーザのアバターの視点で表現されていることが見て取れます。

【図６】

ただし、受け手側のユーザが入口効果を指定することも妨げません。図６に示されているのは、第２ユーザ（300側）が指定しているのは煙効果422ですが、第1ユーザ（200側）は第２ユーザが何を指定していようと、例えばキラキラ光るスパークル効果424を表示する、といった限定をかけられるということです。

【図７】

【図８】

入口効果と同様に、仮想環境を退出するときの出口効果についても、まったく同様の効果を適用することが考えられます。第２のユーザが仮想環境400から退出するということは、第２のユーザのアバター420は仮想環境400からは消滅するわけですが、その消滅のタイミングで入口効果同様、様々な効果を付与することが可能です。

ここで例示するのはボルテックス効果426（渦巻効果）ですが、このような効果に限定する必要はもちろんありません。

【図９】

例えば図９に示されるような、落とし穴効果428によってユーザの出口効果とすることも考えられるでしょう。

【図１０】

図10からは、仮想環境をプレビューする態様が例示されています。第２ユーザは、仮想環境400に入る前に、例えば中に誰がいるかなどを確認することができます。プレビューしている段階では第2ユーザは仮想環境400に入っていませんので、第1ユーザが見ている画面には何も変化は生じません。

【図１１】

第２ユーザは例えば図１１のプレビュー306のような画像で、仮想環境400に誰がいるかを確認することができます。

【図１２】

次に図12を参照すると、CGR環境に進入又は退出するイベントをカスタマイズするための例示的なプロセス1200のフローチャートが示されています。

［ブロック1202］
ユーザの仮想環境400に進入又は退出のイベントを表すデータが受信される。

［ブロック1204］
イベントを表すデータの受信に応答して、視覚効果（例えば424、428）は、仮想環境に出入りするユーザ専用として指定されているか否かを判定する。

［ブロック1206］
ユーザに指定されたと判定されたことに応じて、専用指定された視覚効果を提供する。

［ブロック1208、ブロック1210］
ユーザに専用指定されていないと判定されると、相手側が送信したデータに対応する視覚的効果を提供する。

簡単にいえば、第１ユーザの仮想環境に第２ユーザが出入りするとき、第１ユーザが視覚効果を指定していればそれが再生され、指定していなければ第２ユーザが指定する視覚効果が再生されるということになります。ここでは「visual effect」として視覚の効果だけを例示していますが、視覚だけでなく音声や触覚（振動など）の効果としても同じこととなります。

ここがポイント！

本発明は、仮想環境に出入りする際に、ユーザのアバターの出現・消去に伴って一時的な効果を付与するという態様について特許を取得したものになります。

このような効果を伴わせると、仮想環境にいきなりアバターが出現したり消えたりするという表現ではなく、煙を伴って消えたりという、日本の忍者がドロンと消えるような、楽しい演出が可能となるわけですね。

未来予想

本発明は、あたかも忍者が煙玉の煙幕とともに現れたり消えたり、といった表現を、仮想環境に出入りするアバターに適用しようとするものです。

日本人にとっては昔からアニメ等でおなじみの表現ではありますが、これを仮想環境に適用した点が特許性があったといえそうです。そうであれば、日本のアニメータが今後のVR/AR技術に対して、その表現態様などの面で特許を取得していくことも大いに考えられる、先例的な特許発明かもしれません。

特許の概要

古くから、現実世界と仮想世界を組み合わせた表現は特に映画において親しまれてきました。例えば1964年の作品「メリー・ポピンズ」や1988年の作品「ロジャー・ラビット」はアニメのキャラクターと現実（実写）のアクターとの絶妙な組み合わせによって、あたかも現実世界にキャラクターが存在しているような、いきいきとした表現がされていました。

現在の技術において、このような仮想現実を実現するには、一般的にはVR/ARゴーグルのような眼鏡やヘッドセットを装着する必要があります。今回は、このようなパーソナル機器なしで、現実世界に対してそれぞれのユーザの視点に合わせて仮想現実を投影する技術概念について、ディズニー・エンタープライズ社が特許を取得しましたので、どのような発明なのか、紹介していきます。

発明の背景

拡張現実（AR）は、現実環境と仮想世界とを組み合わせた感覚をユーザに提供するために用いられ、ARに没入させる娯楽体験を生成するための使用はますます増加しています。このような仮想環境を利用したいユーザは、典型的にはARゴーグル（ヘッドセット）のようなパーソナルデバイスを用いることで、３次元の実世界オブジェクトを２次元のデジタル画像によって増補することができます。

しかし、ARゴーグルやヘッドセットは、着用するのが不便であるばかりでなく、衛生面で伝染病に関する懸念が高く、ヘッドセットのようなウェアラブル機器が複数のユーザにより共用される利用環境においては、非常に面倒な衛生マニュアルが要求されます。さらには、これらの機器は個人使用をするものであるため、複数のユーザが同じ体験を共有することを妨げるものでもあります。このような背景から、複数のユーザが、各ユーザの視点に正確にレンダリングされる仮想世界の没入型シミュレーションを体験できる解決方法が望まれています。

どんな発明？

発明の目的

本発明は、上述の課題を鑑みて、複数のユーザであっても、それぞれの視点に適合された、仮想の世界観を強く体験できるARシミュレータを提供するものです。

発明の詳細

では、図・画像を一部参照しながら、本発明の詳細を説明していきます。

【図１A】

図１Aの仮想世界シミュレータ１００Aは、１つ以上の対象物又は構造物を含む現実世界の場所１２０、床１２２、側壁１２４、物体１２６ａ、および湾曲面１２８を有する対象物１２６ｂとともに実装されます。また、図１Aには、シミュレータ１００Aの投影装置１０４を使用して映し出されたシミュレーション１３０、およびユーザ１３２が記載されています。

現実世界の場所１２０は、個人宅やテーマパークのアトラクション、ゲーム環境、又はスタジオなどが考えられます。

ユーザ１３２が、現実世界１２０を移動するにつれて、追跡システム１０２は、カメラ等の光学センサを用いてユーザの位置を把握します。また、同時にユーザ１３２の頭部追跡、視線追跡、輪郭追跡を行うようにしてもよく、これによりユーザ１３２の視点又は視野を把握します。これにより、投影装置１０４は、単にヴァーチャルシミュレーションを投影するだけでなく、ユーザが現実世界１２０内を移動するに従って、ユーザ１３２の視点からシミュレーション１３０に含まれるヴァーチャル効果を現実世界１２０内の３D形状とするように構成された映像を映し出すことができます。

このように常にユーザを追跡することで、ユーザ１３２がARヘッドセット等を装着する必要がなくなるのです。

【図１C】

図１Cに示した実施例は、追跡システム１０２を用いて第２ユーザ１３６の移動も同時に追跡することを示しています。ユーザが増えても同様に、各ユーザの視点・視野を把握し、それぞれのユーザへリアルタイムで同時発生するようなシミュレーションを投影させます。

【図１D】

図１Dは、さらに別の実施例を示したものとなります。図中のユーザ装置１４０は、シミュレーション１３０を現実世界１２０に投影するように構成された手持ちデバイスです。このユーザ装置１４０は、シミュレータ１００Dと通信可能になっています。もちろん、シミュレータ自体をユーザ装置１４０に統合することも考えられます。

【図２】

図２は、ユーザ装置２４０の例示的な詳細表現です。ユーザ装置２４０はコンピューティングプラットフォーム２１０と通信可能に結合されます。コンピューティングプラットフォーム２１０は、投影装置２０４とマッピング装置２０６、トランシーバ２１６を含むことができます。

また、ハードウェアプロセッサ２４２，メモリ２４４、送受信機２４６、カメラ２６０、位置／場所センサー２６２を含めることもできます。アプリケーション２１８ｂによってヴァーチャルワールドのシミュレーション２３０を発生させ、それをディスプレイ２４８に表示することが例示できます。

【図３】

図3は、上述の実施態様を踏まえた、本発明のフローチャートです。

フローチャート３７０は、現実世界１２０のマップ２５８を得ることから開始します（動作３７２／ヴァーチャルシミュレータによって、当該シミュレータを含む現実世界のマップを取得する）。もちろん、マップ２５８は現実世界１２０の幾何学的形状の予め生成された３Dマップであって、それがマップデータベース２６６に格納されているものであっても構いません。このマップはコンピューティングプラットフォーム１１０/２１０のメモリ１１４/２１４に記憶されたデータベース２６６から得たマップ２５８でも同じです。

フローチャート３７０は、現実世界１２０での仮想効果の表示のために現実世界を識別し続けます（動作３７４／ヴァーチャルシミュレータによって、現実世界に表示させる１つまたは複数の仮想効果を特定する）。仮想効果３５６は仮想背景環境、及びシミュレートされた人またはアニメのキャラクターの形として、１つ以上の仮想アセット、シミュレートされた家具、アートワーク、または他の物体を含むことができます。

そして、現実世界１２０のユーザ１３２の移動を追跡し続けます（動作３７６／ヴァーチャルシミュレータの追跡システムを使用した、現実世界にいるユーザまたは現実世界内のカメラの、視点移動の追跡）。追跡システム１０２は、現実世界１２０においてユーザ１３２の移動を追跡していきます。追跡の具体的方法は、例えば無線信号の三角測量を実行することでも可能です。

そして、ユーザ１３２の移動を含む動作３７６の追跡に基づいて、仮想視覚効果を現実世界１２０の形状に合わせて投影します（動作３７８／ヴァーチャルシミュレータの投影デバイスを制御して、仮想世界をシミュレートし、追跡された視点移動に合わせて１つまたは複数の仮想効果を現実世界の形状に適合させることによって、仮想世界をシミュレートする）。

本発明では、可視仮想効果を用いて、可視のシミュレーション１３０/２３０の生成に焦点を当てていますが、もちろん同様にオーディオ効果についてもシミュレーションの効果を増強するために重畳的に用いられます。

ここがポイント！

本発明は、従来の課題であるARヘッドセット等を用いることなく、仮想シミュレーションを体験できるようにする方法を開示しています。

本発明の概念によれば、ユーザ自身の視点からの現実世界と仮想世界の融合を強く体験できます。これによりリアルかつ没入性が高い、個別化された３D仮想体験をユーザに提供できます。

未来予想

本発明は、現実世界に拡張現実（AR）の世界を投影する方法について、その概念的な部分を示すものです。

このような手法について、さらに実現のための具体的技術が組み合わされることで、テーマパークでアニメのキャラクターが観客のすぐ横に現れたり、家庭でヴァーチャルなインストラクターにスポーツの指導を受けられたりする未来が到来するかもしれませんね。

特許の概要