心拍からダンスへ感情認識技術の実用化

パテントディスカバリー

今回紹介する特許は、利用者の生体情報を解析し、その情報から感情を推定する技術に基づいています。長らく、感情認識技術は主に心理学や医療分野での研究に留まり、それを日常生活やエンターテイメントへ応用する試みは限られていました。

また、従来の技術では、感情と身体動作を直接結びつける試みは技術的な限界に直面しており、利用者個々の感情に基づいたダイナミックな反応を生成することに課題がありました。

ソフトバンクと神戸大学による特許では、利用者の感情に応じた身体動作の生成を可能にする技術が開示されています。この技術により、利用者は自身の感情を身体動作として表現できるようになり、これがメンタルヘルスの改善や新しいコミュニケーション手法の開発に寄与することが期待されます。

この技術の開発背景、従来技術の課題、そしてこの特許技術が私たちの生活にもたらす新たな可能性について詳説していきます。

発明の背景

近年、生体情報（心拍数、体温、脳波など）を用いた感情認識技術が発展しています。これらの技術は、人の感情状態を検出し、それに応じた応答やサービスを提供するために利用されてきました。

このような感情認識技術は、インタラクティブなエンターテイメントや健康管理アプリケーションに応用されています。例えば、利用者の感情に応じて音楽や映像を変化させるアプリケーションなどが既に従来技術として存在しています。

このような技術分野において、特に機械学習技術の進歩により、生体情報から感情を推定する精度が飛躍的に向上しています。これにより、より複雑な感情の認識が可能になり、細やかな応答が期待されるようになりました。

しかし、従来の技術では、感情認識はされても、それを直接的に身体動作に変換する技術は限定的でした。感情を反映した身体動作の生成は、ダンス、リハビリテーション、スポーツトレーニングなど多岐にわたる応用が考えられますが、実現には高度な技術が必要です。特に、利用者個人の感情状態に基づいた、カスタマイズされた応答を生成することは技術的に困難でした。感情の複雑さと多様性を機械学習モデルが正確に理解し、それに基づく適切な身体動作を生成するには、高度なモデル設計と学習が必要です。

感情と身体動作の相関を理解し、適切にマッピングするためには、マルチモーダルデータ（生体情報と運動情報）の処理が必要ですが、これら異なるタイプのデータを統合し、共通の潜在空間にマッピングすることは、従来技術においては大きな課題でした。

どんな発明？

発明の目的

本発明は、上記事情に鑑みてなされたものであり、従来技術の課題に対処するために、生体情報に基づいて推定された感情と、その感情に応じた身体動作を生成する技術を提案しています。特に、機械学習モデルを利用して感情特徴情報と運動特徴情報を共通の潜在空間にマッピングし、感情に応じた身体動作を精密に生成することが目指されています。

発明の詳細

まず、本発明の技術的キー要素について、まとめておきます。

技術的キー要素

• 感情情報の推定

  生体情報（例: 心拍数、脳波、体温など）を用いて利用者の感情状態を推定します。この推定は、機械学習モデルによって行われ、感情の多様性（喜び、悲しみ、怒りなど）を識別できます。

• 機械学習モデル

  感情特徴情報と運動特徴情報を共通の潜在空間にマッピングするように訓練されたマルチモーダル機械学習モデルを中心としています。このモデルは、感情とそれに対応する身体動作との間の複雑な関係を学習します。

• 動作生成

  推定された感情情報に基づいて、モデルは利用者に模倣させるための身体の動きを示す運動情報を生成します。この運動情報は、特定の感情を表現するための具体的な動き（例: ダンスのステップ）を含みます。

• カスタマイズとインタラクション

  利用者からの入力（希望する感情など）に基づいて、生成される身体の動きをカスタマイズする機能も提供します。これにより、利用者は自分の感情をより具体的に表現できるようになります。

では、本特許の図面を抜粋しながら、本発明の実施形態について深堀りしていきます。

【図１】

情報処理の概要

情報処理装置は、機械学習モデルを用いて、利用者の生体情報から推定される感情に基づいて、ダンスの動作を示す映像（ダンス映像）を生成します。

プロセスの詳細

情報処理装置はまず、利用者の生体情報を取得します。

取得した生体情報に基づき、利用者の感情を示す感情情報を推定します。

あらかじめ生成された機械学習モデルを使用して、推定された感情情報に応じたダンス映像を生成します。

生成されたダンス映像は画面に表示され、利用者はこれを視聴し、含まれるダンスを真似て踊ることができます。

希望感情に基づくカスタマイズ

利用者から希望する感情（希望感情情報）を受け付け、それに応じたダンス映像を生成し、表示します。ユーザーは画面に表示されたダンス映像を視聴し、ダンスを真似て踊ります。

【図３】

図３は、本特許で用いられる情報処理装置の構成について説明するものです。この装置は、以下のような主要コンポーネントから成り立っています。

通信部（110）: ネットワークインターフェースカード（NIC）やアンテナを用いて、有線または無線で各種ネットワークと接続し、情報の送受信を行います。これにより、例えば、センサ装置との間でデータのやり取りが可能になります。

記憶部（120）: RAMやフラッシュメモリなどの半導体メモリ素子や、ハードディスク、光ディスクなどの記憶装置を用いて、各種プログラムや機械学習モデル、それに関連するデータを記憶します。

入力部（130）: タッチパネル機能や物理ボタン、外部から接続されたキーボードやマウスなどを介して、利用者からの操作入力を受け付けます。

出力部（140）: 液晶ディスプレイや有機ELディスプレイなどを用いた表示画面を通じて、各種情報を表示します。タッチパネルが採用されている場合は、入力部と一体化しています。

制御部（150）: CPUやMPU、ASIC、FPGAなどの集積回路を用いて、記憶装置に記憶されたプログラムを実行し、装置の各部を制御します。制御部は、取得部（151）、モデル生成部（152）、生成部（153）、出力制御部（154）、受付部（155）という機能部を含みます。

取得部（151）: センサ装置からの生体情報を取得し、これを用いて感情情報を推定します。また、生体情報の特徴量を算出し、学習モデルを用いて感情情報を推定する機能を有します。

この構成により、情報処理装置は、利用者の生体情報を基にその感情を推定し、推定した感情に応じたダンス映像を生成し、これを画面に表示するプロセスを実現します。また、利用者が希望する感情情報に基づいてカスタマイズされたダンス映像を生成し提供する機能も備えています。

一例として、利用者の「心拍数」から感情情報を推定する手法は、以下のステップで構成されます。

心拍数の時系列データの周波数解析: 取得部151は、利用者の心拍数データを周波数解析し、交感神経の影響を受けた周波数成分を抽出します。

特徴量の算出: 心拍変動解析技術を用いて、抽出された周波数成分から特徴量を算出します。

推定モデルM1の取得: 記憶部120から、心拍変動解析により算出された特徴量を基に感情情報を推定するために学習された推定モデルM1を取得します。このモデルは、事前に機械学習により生成されたものです。

感情情報の推定: 取得した推定モデルM1を用いて、算出された特徴量から感情情報を推定します。

この手法により、利用者の心拍数データから具体的な感情状態を推定することが可能となります。

【図４】

図４は、感情円環モデル（ラッセルの円環モデル）に基づく感情情報の推定と、それに関連する情報処理装置の機能についての説明となります。

感情円環モデルの概要: 感情を覚醒度と感情価（快/不快）の二次元軸で表し、これに基づいてさまざまな感情を二次元軸上に配置するモデルです。喜び、興奮、緊張、ストレス、悲哀、穏やか、リラックスなどの感情が円環上に位置付けられます。

感情情報の推定: 生体情報（例えば、心拍数の時系列データ）から、覚醒度と感情価を推定し、これを用いて感情情報を判定します。推定された感情情報は、感情円環モデルの象限に配置され、喜び、怒り、悲しみ、リラックスのいずれかの感情に該当するかを判定します。

情報処理装置の関連機能

取得部: 生体情報と運動情報を取得し、これらの情報から感情情報や運動特徴情報を推定します。

推定モデル: 心拍数から覚醒度と感情価を推定し、感情情報を算出します。算出された覚醒度と感情価から、感情円環モデルに基づいて特定の感情を判定します。

運動情報の取得: 感情に応じたダンス映像や、ダンスの動作に対応するダンサーの感情を、外部サーバや記憶部から取得します。

特徴情報の取得: 生体情報に基づく感情特徴情報や、ダンス映像に基づくダンス特徴情報を、エンコーダを用いて生成します。

【図５】

図５では、実施形態に係る機械学習モデルの生成処理についての説明は、マルチモーダルモデルの構築と学習プロセスに焦点を当てています。このプロセスは以下のステップで構成されます：

マルチモーダルモデルの生成

感情モデル（M2）: 感情情報から感情特徴情報を生成する感情エンコーダと、感情特徴情報から感情情報を生成する感情デコーダを含む。

ダンスモデル（M3）: ダンス映像からダンス特徴情報を生成するダンスエンコーダと、ダンス特徴情報からダンス映像を生成するダンスデコーダを含む。

これらのモデルを組み合わせて、感情情報とダンス映像の相互変換が可能なマルチモーダルモデル（M4）を生成します。

モデルの学習

モデル生成部は、感情特徴情報とダンス特徴情報を共通の潜在空間にマッピングし、相互に変換可能にするようマルチモーダルモデル（M4）を学習させます。

学習プロセスでは、感情情報とダンス映像のペアデータに基づいて、感情エンコーダとダンスエンコーダがそれぞれ学習されます。目的は、ペアデータをよく表すように類似度が高い組み合わせを生成し、ペアでないデータの類似度を低く保つことです。

運動情報の生成

生成部（153）は、学習されたマルチモーダルモデル（M4）を使用して、利用者の感情情報に基づき、その感情に応じた身体の動き（運動情報）を生成します。

このプロセスにより、感情情報とダンス映像を相互に関連付け、利用者の感情に対応する身体の動きを生成する能力を持つマルチモーダルモデルが構築されます。このモデルは、感情の理解と表現の幅を広げる新しい可能性を提供します。

【図８】

図８のフローチャートは、情報処理装置による運動情報の生成処理手順を示しており、以下のステップで構成されます。

機械学習モデルの取得（ステップS201）

取得部151は、生体情報に基づいて推定された感情を示す感情情報と、感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得します。このモデルは、感情特徴情報とダンス特徴情報を共通の潜在空間にマッピングする機能を持ちます。

運動情報の生成（ステップS202）

生成部153は、取得した機械学習モデルを使用して、利用者の生体情報に基づいて推定された利用者の感情を示す感情情報から、利用者の感情に応じた身体の動きを示す運動情報を生成します。具体的には、利用者の感情に基づいてダンスの動きを示すダンス映像などの運動情報を生成することができます。

この手順により、情報処理装置は利用者の感情を正確に理解し、それに応じた運動（例えば、ダンス）を生成することが可能になります。これにより、利用者は自身の感情を身体の動きを通じて表現する新しい手段を得ることができます。

ここがポイント！

この特許では、利用者の生体情報から感情を推定し、その感情に応じた身体動作（例えば、ダンス）を生成する情報処理装置に関する技術が紹介されています。主なポイントは以下の通りです。

感情の推定: 生体情報（心拍数など）を基に利用者の感情を推定します。

運動情報の生成: 推定された感情に基づいて、それに適した身体の動き（運動情報）を生成します。この動きは、例えば、ダンスの振り付けなどが考えられます。

マルチモーダルモデルの活用: 感情情報と運動情報をマッピングするために、マルチモーダルモデル（感情と動作を相互に関連付ける機械学習モデル）が使用されます。

メンタルヘルスへの貢献: この装置を使用することで、利用者が自身の感情を身体動作を通じて表現し、これによってストレスの解消やメンタルヘルスの改善が期待できます。

このように、この特許技術は、利用者の感情を理解し、それに対応する具体的な身体動作を提供することで、感情表現の新しい方法を提案しています。

未来予想

このような特許技術がもたらす未来は、感情と身体動作を結びつける新しいインタラクションの形態により、さまざまな分野への貢献が期待できます。その未来予想としては、以下のようなケースが想定できるでしょう。

ヘルスケアとウェルネス

メンタルヘルスのサポートが一層進化するかもしれません。例えば、感情に応じた運動プログラムを提供することで、ストレスや不安を緩和し、ポジティブな感情を促進する治療法が開発されるかもしれません。また、高齢者やリハビリテーションが必要な患者に対し、個々の感情や体調に適応した運動療法が提供されるようになるでしょう。

エンターテイメントと教育

インタラクティブなエンターテイメント体験が広がるでしょう。例えば、感情を読み取り、それに応じて映画や音楽、ゲームの内容が変化するようなエンターテイメントが登場する可能性があります。教育分野では、学習者の感情を認識し、学習効率やモチベーションを高めるための教材やプログラムが開発されるでしょう。

人間と機械のインタラクション

感情を理解し、適切な身体動作を生成する技術は、ロボットやAIとのコミュニケーションをより自然で直感的なものに変えます。ロボットが人間の感情を認識し、共感的に対応できるようになることで、介護や顧客サービス、教育などの分野での活用が拡大するでしょう。

このように、人間の感情と身体動作の理解を深め、それを基にしたサービスやプロダクトが広がることによって、日常生活のあらゆる側面に革新をもたらすことでしょう。

特許の概要