どんな特許？

本発明は、鏡像を観察する観察者（自分の姿を鏡で見るユーザ）に対して、観察者の視覚情報（観察者の姿）を反映したリアクション（自分の姿を反映したアクション）を提供できる情報処理装置を提供します。

また、この情報処理装置と接続できるミラーデバイス（鏡装置）、および、この情報処理装置を機能させるプログラムを提供します。

本発明によって、自分の姿を鏡で見るユーザに対して、自分の姿が反映されたリアクションを提供できます。言い換えますと、自分の姿を基にした様々なアドバイスや会話を、鏡で自分の姿を見るユーザに提供できます。

特許の権利範囲

請求項

• 前記ミラーデバイスから前記観察者画像を取得する手段と、
• 前記観察者画像の特徴量を解析することにより、前記観察者画像の画像パターンを特定する手段と、
• 前記特定された画像パターンに基づいて、前記鏡像に写った観察者の状態を判定する手段と、
• 前記判定の結果に基づいて、擬人化キャラクタの音声を生成する手段と、
• 前記生成された音声を前記ミラーデバイスに送信することにより、前記スピーカから前記音声を出力させる手段とを備え、前記観察者の状態は、前記観察者の顔に施された化粧の状態、前記観察者の表情の状態、前記観察者の肌の状態、前記観察者の衣服の状態、及び、前記観察者の体型の状態の少なくとも１つを表すものである、情報処理装置。

ここがポイント！

本発明の情報処理装置は、ミラーデバイス（鏡装置）と接続されて使用されます。

本発明の情報処理装置を使うことによって、観察者（ユーザ）の画像をミラーデバイスで取り込み、取り込んだ画像の特徴を解析し、観察者の化粧、肌、衣服、体形を判定できます。

さらに、この判定の結果に応じて擬人化キャラクタの音声を、ミラーデバイスのスピーカから発生させることができます。

特許請求の範囲には、「情報処理装置」、「ミラーデバイス」、「プログラム」の発明が記載されています。

本特許発明の「情報処理装置」は、上述しました通り、ミラーデバイスと接続されて使用される情報処理装置です。

情報処理装置に接続されるミラーデバイスは、ミラー（鏡）と、ミラーに写る人を写すカメラと、スピーカと、を備えます。本特許発明の「情報処理装置」は、まさに上記の「スマートミラーｎｏｖｅｒａ（ノベラ）」という製品そのものと思われます。

本特許発明の「情報処理装置」は、鏡に写ったユーザの化粧、表情、肌、衣服、体形などの状態を判定し、判定結果に応じて、ミラーデバイスから音声を生じさせるものです。

また、本特許発明の「ミラーデバイス」は、ミラー、カメラ、スピーカを備え、上記の情報処理装置に接続されて使用される装置です。

また、本特許発明の「プログラム」は、上記の情報処理装置を作動させるためのものです。

このように特許発明の種類は３つでありますが、すべての特許発明のアイデアが上記の「スマートミラーｎｏｖｅｒａ（ノベラ）」という製品に活かされていると思われます。

なお、「スマートミラーｎｏｖｅｒａ（ノベラ）」と関連してスマートフォンアプリ「ｖｉｅｗｔｙ（ビューティ）」も無料でダウンロード可能であるようです。

このアプリのプログラムは、本特許発明の「プログラム」の技術を利用していると思われます。

本特許発明の「情報処理装置」は、好ましくは以下のように設計されています。

複数の擬人化キャラクタの中から少なくとも１つの擬人化キャラクタを指定する指示を受け付けて、指定された擬人化キャラクタの音声を生成するように、情報処理装置が構成されています。

この技術は、まさに「スマートミラーｎｏｖｅｒａ（ノベラ）」のウェブサイトで紹介されているように、イケメン男性キャラクタを選び出してそのキャラクタと会話する技術に応用されていると思われます。

具体的な仕組み

図１に示すように、情報処理システム１は、ミラーデバイス１０と、サーバ３０とを備えます。

ミラーデバイス１０は、ディスプレイ１８と、ハーフミラー１９と、を備えます。ミラーデバイス１０は、ディスプレイ１８によって観察者の画像やその他の画像を映し出します。

また、ハーフミラー１９によって観察者の鏡像を映し出します。つまり、ミラーデバイス１０は、観察者に対して、画像及び鏡像を同時に提示することができる装置です。

これにより、観察者は、ディスプレイ１８に表示された画像と、ハーフミラー１９に写った鏡像（例えば、観察者自身の像）と、を同時に観察することができます。

【図１】

図３に示すように、観察者ＯＢＪが、ミラーデバイス１０のハーフミラー１９に写った鏡像を観察しながら、化粧をする場合について説明します。

化粧前の観察者ＯＢＪの顔の鏡像ＭＩ０がハーフミラー１９に写ります。化粧を開始すると、ミラーデバイス１０は、化粧中の観察者ＯＢＪの顔の画像ＩＭＧ１を取得します。

ハーフミラー１９には、化粧中の観察者ＯＢＪの顔の鏡像ＭＩ１が写ります。ミラーデバイス１０は、化粧中の観察者ＯＢＪの顔に応じた音声ＳＣ１を再生します。

例えば、「もっと明るい色が良いよ」という擬人化キャラクタの音声を再生します。

観察者ＯＢＪが化粧を終了すると、ミラーデバイス１０は、化粧後の観察者ＯＢＪの顔の画像ＩＭＧ２を取得します。

ハーフミラー１９には、化粧後の観察者ＯＢＪの顔の鏡像ＭＩ２が写ります。

ミラーデバイス１０は、化粧後の観察者ＯＢＪの顔に応じた音声ＳＣ２を再生します。

例えば、「似合ってるね」という擬人化キャラクタの音声を再生します。

このように、ミラーデバイス１０は、観察者ＯＢＪの状態に応じた音声コンテンツを再生します。

このように、ミラーデバイス１０は、化粧中の観察者ＯＢＪにとって、音声で対話するパートナーとなって振る舞います。

その結果、観察者ＯＢＪは、擬人化キャラクタの声による反応を聞きながら、化粧を行うことができます。

このようにして、観察者ＯＢＪは、化粧の新しいユーザ体験を体験できます。

すなわち、鏡像ＭＩ１を観察している観察者ＯＢＪの画像に応じて、音声を再生します。

これにより、観察者ＯＢＪがミラーデバイス１０に対してわざわざ指令を与えなくても、自分の姿を自動的に与えるだけで、その自分の姿に応じた出力（反応）を得ることができます。

【図３】

また、ミラーデバイス１０は、キャラクタの指定を受け付けます。

具体的には、ミラーデバイス１０は、ディスプレイ１８に画面Ｐ１００（図９参照）を表示し、画面Ｐ１００には、現在の日時、複数の擬人化キャラクタの中から少なくとも１人の擬人化キャラクタの指定を受け付けるオブジェクトＦ１００、操作オブジェクトＢ１００などが表示されます。

オブジェクトＦ１００には、例えば、キャラクタ名、性別、年齢、及び、職業が表示されます。

操作オブジェクトＢ１００は、指定されたキャラクタ情報に割り当てられたキャラクタＩＤをサーバ３０に送信するための指示を受け付けます。

観察者ＯＢＪが、キャラクタを指定すると、キャラクタＩＤと、観察者ＯＢＪの観察者ＩＤとがサーバ３０に送信されます。

ミラーデバイス１０は、カメラ１５を起動させます。カメラ１５が観察者ＯＢＪの顔の画像（以下「観察者画像」といいます）を撮像すると、観察者画像が記憶されます。

【図９】

さらに進んで、図１０に示すように、ミラーデバイス１０は、例えば、「もっと明るい色が良いよ」という音声をスピーカ１６から出力します。

この音声は、取得された画像に基づいて生成されています。これにより、観察者ＯＢＪは、化粧中の自身の顔の状態に応じた助言や誘導を、擬人化キャラクタの音声を介して得ることができます。

このようなステップは、例えば観察者ＯＢＪが情報処理を終了させる音声を発するまで繰り返し実行されます。

したがって、観察者ＯＢＪの化粧が進行する度に、擬人化キャラクタの反応（リアクション）が観察者ＯＢＪに提示されます。

【図１０】

本発明の範囲は上述の例に限定されません。

例えば、複数のキャラクタの音声を出力する変形例があります。図１３は、この変形例の情報処理を示す図です。

ミラーデバイス１０は、複数の音声リアクションデータに基づく２種類の音声をスピーカ１６から出力します。

例えば、キャラクタ１の音声「もっと明るい色が良いよ」を出力し、また、キャラクタ２の音声「暗い色の方が似合うよ」）を出力します。

この変形例によれば、観察者ＯＢＪは、化粧中の自身の顔の鏡像ＭＩ１に対して、複数の擬人化キャラクタ同士が会話をしているような反応を体験することができます。

【図１３】

別の変形例もあります。

別の変形例は、画像から特定される観察者ＯＢＪの状態の傾向に基づいて、擬人化キャラクタの音声を提供する例です。

具体的には、サーバ３０には、観察者ＯＢＪの嗜好が記憶されています。観察者ＯＢＪの嗜好とは、顔の画像から特定される観察者ＯＢＪの傾向、つまり、観察者ＯＢＪの顔の視覚的な傾向です。例えば、以下のような傾向です。

・明るい色のチークを使用する頻度が多い。

・月曜日は暗い表情をする頻度が多い。

このように、ミラーデバイス１０は、観察者ＯＢＪの状態の傾向に応じて音声コンテンツを再生します。

これにより、観察者ＯＢＪは、擬人化キャラクタを、自分のことを自分よりも客観視できるパートナーとして感じることができます。

このように、観察者ＯＢＪに対して、新しい美容行動のユーザ体験を提供することができます。

さらなる変形例もあります。

さらなる変形例は、擬人化キャラクタの音声に応じた観察者ＯＢＪの反応の傾向に基づいて、擬人化キャラクタの音声を提供する例です。

図１６に示すように、観察者ＯＢＪがハーフミラー１９を見ると、ミラーデバイス１０は、化粧中の観察者ＯＢＪの顔の画像ＩＭＧｍを取得します。ハーフミラー１９には、観察者ＯＢＪの顔の鏡像ＭＩｍが写ります。

ミラーデバイス１０は、顔の画像ＩＭＧｍに応じた音声ＳＣｍ（例えば、「いい笑顔だね」という擬人化キャラクタの音声）を再生します。

観察者ＯＢＪが、音声ＳＣｍが再生されたにもかかわらず表情を変えなかった場合、つまり、擬人化キャラクタの音声に反する反応を示した場合には、ミラーデバイス１０は、擬人化キャラクタの音声に反する反応を示した観察者ＯＢＪに対して、音声ＳＣｎ（例えば、「もっと笑ってみて」という擬人化キャラクタの音声）を再生します。

【図１６】

上記の通り、本実施形態の情報処理装置は、ミラーデバイスおよびプログラムを利用しながら、ミラーデバイスのミラー（鏡）を見ているユーザに対して、まるで会話をしているかのような体験を提供することができます。

また、本実施形態の情報処理装置は、蓄積されているデータに基づいて、ユーザに対して客観的なアドバイスを提供することができます。

特許の概要

＜免責事由＞
本解説は、主に発明の紹介を主たる目的とするもので、特許権の権利範囲（技術的範囲の解釈）に関する見解及び発明の要旨認定に関する見解を示すものではありません。自社製品がこれらの技術的範囲に属するか否かについては、当社は一切の責任を負いません。技術的範囲の解釈に関する見解及び発明の要旨認定に関する見解については、特許（知的財産）の専門家であるお近くの弁理士にご相談ください。