Vol14//Appleが実現する立体音響で空間ナビ

スマホをお使いの方なら、初めて訪れる街を散策する場合や、お目当てのお店などを見つけるために、Google mapsなどの地図アプリの対話型機能、つまりナビゲーション機能を使って、目的地までの経路を探索したことがあると思います。

かつてはカーナビなど、車両に設置していたナビゲーションシステムですが、機器の小型化とGPSの精度向上によって、スマホを用いて、徒歩の経路を案内することができるようになるまでに技術が進歩しています。

このように多くの人がスマホによる経路探索の経験はあるとは思うのですが、同じかそれ以上に、スマホで音楽を聞いたり、もちろん電話として通話したりする人は多いと思います。

スマホはこのように１台で多くの機能を有しているものの、ナビゲーションシステムを使っているときに音楽を聞いたり、また通話をしたりすることは、経路案内の妨げとなる場合がありました。

そこで、アップルではこのような課題を解決するために、バイノーラルオーディオ（空間オーディオ：立体音響）を用いた音声のVR（仮想現実）を用いて、複数のアプリケーションとナビゲーションシステムのような対話型アプリとの共存を図る技術を開発し、2018年9月25日に米国特許商標庁（USPTO）に特許出願をしました（公開番号：US2020/0264006A1）。

具体的には、アップル製品のAirPodsなど、バイノーラルオーディオに対応したイヤホン/ヘッドホンを用いることにより、そこから再生される音声の立体的定位を個別にコントロールすることで、経路案内を可能としました。

行き先を案内してもらう場合、直接目で見なくても、「こっちこっち」と声をかけられた方向に向かうことはできますよね（目隠しをしてスイカ割りをするときを想像してみましょう）。ここで、例えば右側から声をかけられた場合、そちらの方向へ顔を向ければ、当然ながらこんどは正面から声が聞こえるはずです。

今回の発明は、このような音の聞こえる方向を、立体音響システムで再現し、音声案内をする音はユーザーが向いている方向によって定位が変わり、そのとき聞いている音楽や通話の音声は定位を変えないという、個別の音について立体的定位コントロールをすることとしたのです。

発明の背景

スマホなどの多機能端末に搭載されるナビ機能や、カーナビゲーションシステム（カーナビ）を使って目的地を探索したり、ルートを案内させることは、現在多くの方が行っていることで、現代社会においては、いまさら説明する必要はない技術といえます。

多くのナビゲーションシステムは、ユーザーに対して「左に曲がる」とか「右に曲がる」などの指示を視覚的、音声的に提供します。

しかし、多くのユーザーはまた、移動中に音楽を聞いたりしますし、スマホでナビゲーションアプリを使用していても、途中で通話などをしている場合にはナビゲーションが妨げられる場合があります。

本発明では、このような課題を解決するために、バイノーラルオーディオ（空間オーディオ）を用いた音声的な仮想現実（VR）技術により、コンピュータで生成された３D仮想世界ビューと実世界をリンクさせて拡張された仮想現実を提供することで、複数のアプリケーションや対話型のユーザー経験を阻害しないようにしたのです。

どんな特許？

本発明を図説すると、以下のようになります。

通常のオーディオ再生の場合、仮に空間オーディオの音楽を再生していたとすれば、ユーザーの頭側（上側）から見た場合、立体音響は前後左右（場合によっては上下）から聞こえてきます。

このとき、ユーザーが頭を動かして斜め方向を見たとすると、当然ながら立体音響も頭の向きに応じて変わっていきます。これが音楽などを聞いているときの聞こえ方です。

そして、ユーザーが頭を動かして異なる方向を向いても、目的地を示す音は常に同じ方向から聞こえるように制御されるのです。

このようにして、空間オーディオを用いてユーザーを正しい方向へ誘導することが可能となります。

本発明の効果

バイノーラルオーディオシステムは、ユーザーが空間聴覚で音を聞くのと同じようなオーディオを出力することができます。

つまり、正確な距離と方向を示す、あたかも実世界の位置から発している音を聞くように、ユーザーは音を聞くことになります。左側から到来する音、右、前方、後方、あるいは任意の角度からの音を聞くことが可能です。

まさに現実の音源に向かって行くように、ユーザーは経路をたどることができるのです。そして、このような音は通常のオーディオ（たとえば音楽）とは異質な音なので、これらのオーディオアプリケーションを同時に使用できるという利点があります。

特許の権利範囲

• モバイル機器を用いてユーザを経路に沿って案内するためのシステムであって、
• １つ又は複数のプロセッサを含み、
• モバイル機器の現在位置を検出し、追跡するための１つ又は複数の位置センサを備え、
• メモリに１つ又は複数のプロセッサによって実行可能なプログラム命令を備えることを特徴とし、
• モバイルデバイスの位置を特定し、
• 現在位置から目的位置までの経路を決定し、
• 経路に対するモバイル機器の現在の位置に基づいて、バイノーラルオーディオを介して再生される音声を制御し、仮想的な指向性及び距離を示すシステム

ここがポイント！

本発明のポイントは、特許請求の範囲の中の「経路に対するモバイル機器の現在の位置に基づいて、バイノーラルオーディオを介して再生される音声を制御し、仮想的な指向性及び距離を示す」ことにあります。

音が来ると思われる方向は、経路上でユーザーが移動するに従って変更されていきます。例えば、ユーザーは経路上の曲がるポイントに近づくにつれ、音は、左オーディオ出力チャンネルを大きくさせ、右の出力を下げることでユーザーを左に移動させることができます。

音は３フィート、１０フィート、５０フィート離れた位置から来るかのように距離感を再現して音声の音量を調節することもできます。

何に活用されているの？

Apple社が提供する空間オーディオを再生するには、現在のところAirPodsシリーズやBeats by Dr.Dreの一部製品を用意する必要がありますが、本稿執筆現在ではまだ空間オーディオ技術の一般向けサービスはApple Music等における立体音響再生やFaceTimeにおけるテレビ会議中の話者への音声指向再生にとどまっており、本発明で開示されたようなナビゲーションシステムは、実装に至っていないようです。

特許の概要

＜免責事由＞
本解説は、主に発明の紹介を主たる目的とするもので、特許権の権利範囲（技術的範囲の解釈）に関する見解及び発明の要旨認定に関する見解を示すものではありません。自社製品がこれらの技術的範囲に属するか否かについては、当社は一切の責任を負いません。技術的範囲の解釈に関する見解及び発明の要旨認定に関する見解については、特許（知的財産）の専門家であるお近くの弁理士にご相談ください。