エージェントがあなたのウソを見破る?

ユーザーの感情や態度を読み取る音声応答デジタルエージェント

エージェントがあなたのウソを見破る?

エージェントがあなたのウソを見破る?

ユーザーが発話する音声を受け付けて、その音声の内容に応じて情報処理を実行する情報処理装置(デジタルエージェント)は、SiriやAlexa、Cortanaなど、一般的な存在になりつつあります。これらのデジタルエージェントは、キーボードやタッチパネルでの情報入力によらず、ユーザーの声に応答して各種の指示や情報を処理することができることは、広く知られているところです。

しかし、これまでの技術では、ユーザーから単純な支持や文字列情報を受け付けて処理することはできても、ユーザーの感情や態度など、文字化できない情報を読みとることはできませんでした。なぜなら、ユーザーの感情等は、発話内容以外の情報にも表れるからです。

そこで、ユーザーの発話から発話内容以外の情報を読み取ることのできるデジタルエージェントが開発されました。エージェントの情報処理方法の一例を挙げると、まず、従来の技術でも可能な、ユーザーの発話内容の特定を行います。このとき、エージェントは音声信号中にユーザーの声が含まれていない時間や、意味をなさない「あのー」とか「えー」などの発声をしている時間を『思考時間』として特定します。この思考時間や、ユーザーの声の大きさなども併せて評価して、ユーザーの応答の確からしさの推定を行うのです。

例えば、思考時間が極端に短い場合などは「ほとんど考えずに応答しているな」と判断し、確信度を低く評価することができるといいます。声の大きさが大きいときは確信度を上げるということも可能です。エージェントは、このようなパラメータを総合的に評価して、ユーザーの応答が「本気」、「確信なし」、「嘘」などといった基準にあてはめ、この結果に基づいて返答の発言内容を変化させることができるようになりました。

このような技術が一般化されると、今後デジタルエージェントに問いかけるときは相手に気に入られるように、こちらが気を使うことになるかもしれませんね。

■従来の課題

ユーザーが発話する音声を受け付け、その音声の内容に応じ情報処理を実行する情報処理装置が知られている。しかし従来の装置では、ユーザーの“音声内容以外の情報(感情や態度など)”を読み取ることは困難であった。

■本発明の効果

本発明の情報処理装置は、ユーザーの音声の中の音声内容以外の情報を読み取ることができる。無音時間(音声信号中にユーザーの声が含まれていないと判定される時間)やフィラー時間(ユーザーが意味をなさない発声をしていると判定される時間)などの解析を通じて、ユーザーがどのような感情を抱いているのか、どのような状態にあるかなどを判定することができる。さらに、具体的には、エージェントからの質問に対する回答が、本気、確信なし、嘘などを予測できる。

■特許請求の範囲のポイントなど

本発明のポイントを下記に示す。

ユーザーの声を集音して得られる音声信号を取得する音声信号取得部と、取得された音声信号を用いて、ユーザーの声が含まれていない時間、及びユーザーが意味をなさない発声をしている時間のそれぞれを独立に評価対象時間として特定する時間特定部と、特定されたユーザーの声が含まれていない時間、及びユーザーが意味をなさない発声をしている時間の双方に応じた出力を行う出力部、を含むことを特徴とする情報処理装置。

本発明の更なるポイントとして、以下が挙げられる。
・前記時間特定部は、取得された音声信号を用いてユーザーの発話内容を認識する処理を実行し、発話内容の認識に失敗した音声信号に対応する時間をユーザーが意味をなさない発声をしている時間として特定することを特徴とする。
・前記出力部は、特定された評価対象時間と、取得された音声信号から認識されたユーザーの発話内容とに応じた出力を行うことを特徴とする。

■全体構成

本発明の情報処理装置の構成を図1に基づいて説明する。

【図1】情報処理装置の構成を示す構成ブロック図

・情報処理装置1は、例えば家庭用ゲーム機や携帯型ゲーム機、パーソナルコンピュータ 、スマートホン等であって、図1に示すように、制御部11と、記憶部12と、インタフェース部13とを含んで構成されている。また、情報処理装置1は、表示装置14、マイクロホン15、スピーカー16、及びカメラ17と接続されている。


・制御部11はCPU等を含んで構成され、記憶部12に記憶されているプログラムを実行して各種の情報処理を実行する。記憶部12は、RAM等のメモリデバイスを含み、制御部11が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。インタフェース部13は、情報処理装置1が表示装置14、マイクロホン15、スピーカー16、及びカメラ17との間で各種の情報を授受するためのインタフェースである。


・表示装置14は、家庭用テレビ受像機や液晶ディスプレイ等であって、情報処理装置1が出力する映像信号に応じた画像を画面上に表示する。マイクロホン15は、情報処理装置1のユーザーが発する声を集音して得られる音声信号を、情報処理装置1に対して出力する。スピーカー16は、情報処理装置1が出力する音声信号に従って音声を鳴動させる。カメラ17は、ユーザーの様子を示す映像を撮像し、撮像された映像を情報処理装置1に入力する。

本発明の情報処理装置1が実現する機能について、図2を用いて説明する。

【図2】情報処理装置の機能を示す構成ブロック図

・情報処理装置1は、機能として、エージェント処理部21、音声信号取得部22、音声認識部23、及び思考時間特定部24を含んで構成されている。これらの機能は、制御部11が記憶部12に記憶されたプログラムに従って動作することにより実現される。


・エージェント処理部21は、ユーザーとコミュニケーションを行う仮想的なエージェントを実現し、エージェントによるユーザーとの会話処理を実行する。具体的に、エージェント処理部21は、音声認識部23によって特定されるユーザーの発話内容を受け付ける。


・音声認識部23は、音声信号取得部22が取得した音声信号を解析することによって、ユーザーの発話内容を特定する。このような発話内容の特定は、統計的手法や動的時間伸縮法など、各種公知の音声認識技術などを用いて実現できる。 ・思考時間特定部24は、音声信号中にユーザーの声が含まれていない時間、及びユーザーが意味をなさない発声をしている時間の少なくとも一方を思考時間として特定する。

■細部

思考時間特定部24によって特定される思考時間の一例を、以下の図面を用いて説明する。

【図3】情報処理装置が特定する指向時間の一例

・ユーザーは、エージェントの質問が再生された後、2秒間沈黙し、3秒間「うー ん」というフィラーを発声し、その後に質問の回答を始めている。この場合、思考時間特定部24は思考時間を5秒間と特定する。なお、ここでは無音時間とフィラー時間がこの順に一度ずつ検出されているが、無音時間とフィラー時間は複数回表れることもあり得る。

また、無音時間とフィラー時間は逆の順序で表れる場合もある。これらの場合も、思考時間特定部24は、無音時間、及びフィラー時間のいずれかと判定される時間が続いていれば、これらの無音時間及びフィラー時間を合算した時間を思考時間として特定するものとする。

エージェントの発言の後に情報処理装置1が実行する処理の流れの一例について、図4のフロー図を用いて説明する。

【図4】情報処理装置が実行する処理の流れの一例を示すフロー図

・まず音声信号取得部22が、マイクロホン15が集音した音声信号を取得する(S1)。音声認識部23及び思考時間特定部24は、処理対象の単位時間に含まれる音声信号中にユーザーの音声が含まれるか否かを判定することによって、無音時間を特定する(S2)。


・無音時間であると特定された場合、S7に進む。無音時間ではないと特定された場合、音声認識部23が処理対象の単位時間に含まれる音声信号から特徴量を算出することによって、音素モデルとのマッチングを行う(S3)。


・マッチングに失敗した場合、すなわち音声信号がいずれの音素モデルにもマッチしないと判定された場合、思考時間特定部24は処理対象の単位時間がフィラー時間であると特定する(S5)。一方、音素モデルとのマッチングに成功した場合、音声認識部23はマッチング結果に従って処理対象の単位時間にユーザーが発した音声の音素を特定する(S6)。


・その後、まだ未処理の単位時間があれば、次の単位時間を処理対象としてS2からS6の処理が繰り返される(S7)。S1で取得した音声信号を分割して得られる全ての単位時間について以上説明した処理が終了すれば、S8の処理に進む。


・次に音声認識部23が、S3における音素モデルとのマッチング結果を用いて単語モデルや言語モデルとのマッチングを実行することにより、ユーザーの発話内容を特定する(S8)。続いて思考時間特定部24が、S2における無音時間の特定結果、及びS5におけるフィラー時間の特定結果を用いて、思考時間を特定する(S9)。


・その後、エージェント処理部21は、S9で特定された思考時間及びS8の発話内容に基づいて次のエージェントの発言を決定する(S10)。そして、決定した発言内容を表す音声信号を生成、出力する(S11)。

展望、結語

本特許に記載の発明によれば、これまで課題とされていたユーザーの音声の中の“音声内容以外の情報”を解析することができ、より高い確度でユーザーの感情を認識することが可能となる。例えば、ヘルスケア(例えば、痛みなどの病気の把握)や小売業界(商品の広告・宣伝)などにおける多種多様なニーズに応えることができるかもしれない。世に与える貢献は非常に大きいものと推察される。

■概要

出願国:日本 発明の名称:情報処理装置
出願番号:特願2017-551560
特許番号:特許第6585733号
出願日:2016年9月08日
公開日:2017年5月26日
登録日:2019年9月13日
出願人:株式会社ソニー・インタラクティブエンタテインメント
経過情報:2019年に特許が登録され、現在も特許は維持されている
その他情報:本特許の出願国は日本及び米国である
IPC:G10L

<免責事由>
本解説は、主に発明の紹介を主たる目的とするもので、特許権の権利範囲(技術的範囲の解釈)に関する見解及び発明の要旨認定に関する見解を示すものではありません。自社製品がこれらの技術的範囲に属するか否かについては、当社は一切の責任を負いません。技術的範囲の解釈に関する見解及び発明の要旨認定に関する見解については、特許(知的財産)の専門家であるお近くの弁理士にご相談ください。