■本発明の効果

本発明の情報処理装置は、ユーザーの音声の中の音声内容以外の情報を読み取ることができる。無音時間（音声信号中にユーザーの声が含まれていないと判定される時間）やフィラー時間（ユーザーが意味をなさない発声をしていると判定される時間）などの解析を通じて、ユーザーがどのような感情を抱いているのか、どのような状態にあるかなどを判定することができる。さらに、具体的には、エージェントからの質問に対する回答が、本気、確信なし、嘘などを予測できる。

■特許請求の範囲のポイントなど

本発明のポイントを下記に示す。

ユーザーの声を集音して得られる音声信号を取得する音声信号取得部と、取得された音声信号を用いて、ユーザーの声が含まれていない時間、及びユーザーが意味をなさない発声をしている時間のそれぞれを独立に評価対象時間として特定する時間特定部と、特定されたユーザーの声が含まれていない時間、及びユーザーが意味をなさない発声をしている時間の双方に応じた出力を行う出力部、を含むことを特徴とする情報処理装置。

本発明の更なるポイントとして、以下が挙げられる。
・前記時間特定部は、取得された音声信号を用いてユーザーの発話内容を認識する処理を実行し、発話内容の認識に失敗した音声信号に対応する時間をユーザーが意味をなさない発声をしている時間として特定することを特徴とする。
・前記出力部は、特定された評価対象時間と、取得された音声信号から認識されたユーザーの発話内容とに応じた出力を行うことを特徴とする。

■全体構成

本発明の情報処理装置の構成を図１に基づいて説明する。

【図１】情報処理装置の構成を示す構成ブロック図

・情報処理装置１は、例えば家庭用ゲーム機や携帯型ゲーム機、パーソナルコンピュータ 、スマートホン等であって、図１に示すように、制御部１１と、記憶部１２と、インタフェース部１３とを含んで構成されている。また、情報処理装置１は、表示装置１４、マイクロホン１５、スピーカー１６、及びカメラ１７と接続されている。

・制御部１１はＣＰＵ等を含んで構成され、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。記憶部１２は、ＲＡＭ等のメモリデバイスを含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。インタフェース部１３は、情報処理装置１が表示装置１４、マイクロホン１５、スピーカー１６、及びカメラ１７との間で各種の情報を授受するためのインタフェースである。

・表示装置１４は、家庭用テレビ受像機や液晶ディスプレイ等であって、情報処理装置１が出力する映像信号に応じた画像を画面上に表示する。マイクロホン１５は、情報処理装置１のユーザーが発する声を集音して得られる音声信号を、情報処理装置１に対して出力する。スピーカー１６は、情報処理装置１が出力する音声信号に従って音声を鳴動させる。カメラ１７は、ユーザーの様子を示す映像を撮像し、撮像された映像を情報処理装置１に入力する。

本発明の情報処理装置１が実現する機能について、図２を用いて説明する。

【図２】情報処理装置の機能を示す構成ブロック図

・情報処理装置１は、機能として、エージェント処理部２１、音声信号取得部２２、音声認識部２３、及び思考時間特定部２４を含んで構成されている。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムに従って動作することにより実現される。

・エージェント処理部２１は、ユーザーとコミュニケーションを行う仮想的なエージェントを実現し、エージェントによるユーザーとの会話処理を実行する。具体的に、エージェント処理部２１は、音声認識部２３によって特定されるユーザーの発話内容を受け付ける。

・音声認識部２３は、音声信号取得部２２が取得した音声信号を解析することによって、ユーザーの発話内容を特定する。このような発話内容の特定は、統計的手法や動的時間伸縮法など、各種公知の音声認識技術などを用いて実現できる。 ・思考時間特定部２４は、音声信号中にユーザーの声が含まれていない時間、及びユーザーが意味をなさない発声をしている時間の少なくとも一方を思考時間として特定する。

■細部

思考時間特定部２４によって特定される思考時間の一例を、以下の図面を用いて説明する。

【図３】情報処理装置が特定する指向時間の一例

・ユーザーは、エージェントの質問が再生された後、２秒間沈黙し、３秒間「うー ん」というフィラーを発声し、その後に質問の回答を始めている。この場合、思考時間特定部２４は思考時間を５秒間と特定する。なお、ここでは無音時間とフィラー時間がこの順に一度ずつ検出されているが、無音時間とフィラー時間は複数回表れることもあり得る。

また、無音時間とフィラー時間は逆の順序で表れる場合もある。これらの場合も、思考時間特定部２４は、無音時間、及びフィラー時間のいずれかと判定される時間が続いていれば、これらの無音時間及びフィラー時間を合算した時間を思考時間として特定するものとする。

エージェントの発言の後に情報処理装置１が実行する処理の流れの一例について、図４のフロー図を用いて説明する。

【図４】情報処理装置が実行する処理の流れの一例を示すフロー図

・まず音声信号取得部２２が、マイクロホン１５が集音した音声信号を取得する（Ｓ１）。音声認識部２３及び思考時間特定部２４は、処理対象の単位時間に含まれる音声信号中にユーザーの音声が含まれるか否かを判定することによって、無音時間を特定する（Ｓ２）。

・無音時間であると特定された場合、Ｓ７に進む。無音時間ではないと特定された場合、音声認識部２３が処理対象の単位時間に含まれる音声信号から特徴量を算出することによって、音素モデルとのマッチングを行う（Ｓ３）。

・マッチングに失敗した場合、すなわち音声信号がいずれの音素モデルにもマッチしないと判定された場合、思考時間特定部２４は処理対象の単位時間がフィラー時間であると特定する（Ｓ５）。一方、音素モデルとのマッチングに成功した場合、音声認識部２３はマッチング結果に従って処理対象の単位時間にユーザーが発した音声の音素を特定する（Ｓ６）。

・その後、まだ未処理の単位時間があれば、次の単位時間を処理対象としてＳ２からＳ６の処理が繰り返される（Ｓ７）。Ｓ１で取得した音声信号を分割して得られる全ての単位時間について以上説明した処理が終了すれば、Ｓ８の処理に進む。

・次に音声認識部２３が、Ｓ３における音素モデルとのマッチング結果を用いて単語モデルや言語モデルとのマッチングを実行することにより、ユーザーの発話内容を特定する（Ｓ８）。続いて思考時間特定部２４が、Ｓ２における無音時間の特定結果、及びＳ５におけるフィラー時間の特定結果を用いて、思考時間を特定する（Ｓ９）。

・その後、エージェント処理部２１は、Ｓ９で特定された思考時間及びＳ８の発話内容に基づいて次のエージェントの発言を決定する（Ｓ１０）。そして、決定した発言内容を表す音声信号を生成、出力する（Ｓ１１）。

展望、結語

本特許に記載の発明によれば、これまで課題とされていたユーザーの音声の中の“音声内容以外の情報”を解析することができ、より高い確度でユーザーの感情を認識することが可能となる。例えば、ヘルスケア（例えば、痛みなどの病気の把握）や小売業界（商品の広告・宣伝）などにおける多種多様なニーズに応えることができるかもしれない。世に与える貢献は非常に大きいものと推察される。

■概要

出願国：日本 発明の名称：情報処理装置
出願番号：特願2017-551560
特許番号：特許第6585733号
出願日：2016年9月08日
公開日：2017年5月26日
登録日：2019年9月13日
出願人：株式会社ソニー・インタラクティブエンタテインメント
経過情報：2019年に特許が登録され、現在も特許は維持されている
その他情報：本特許の出願国は日本及び米国である
IPC：G10L

＜免責事由＞
本解説は、主に発明の紹介を主たる目的とするもので、特許権の権利範囲（技術的範囲の解釈）に関する見解及び発明の要旨認定に関する見解を示すものではありません。自社製品がこれらの技術的範囲に属するか否かについては、当社は一切の責任を負いません。技術的範囲の解釈に関する見解及び発明の要旨認定に関する見解については、特許（知的財産）の専門家であるお近くの弁理士にご相談ください。