Googleのスマートホーム技術で快適生活
最近、「スマートホーム」というキーワードを耳にする機会が増えてきました。スマートホームとは、自宅内の機器(家電)を簡単に操作したり、自動化することができるシステムのことです。
Googleは、2019年にGoogle Nest Hub MaxやGoogle Home Miniなどのスマートスピーカーを発売し、Googleアシスタントを備えた製品を提供することで、スマートホーム市場に参入しました。今回は、Googleのスマートホーム自動化システムについての特許を詳細に解説していきます。
発明の背景
現代社会において、人々は、毎日多数の電子機器を使い、電子機器との間でのやりとり(操作)を行っています。たとえば、家庭環境の中では、冷暖房などのサーモスタット、各種照明システム、警報システムやエンターテイメント機器など、数多くの機器を使いこなして生活をしています。
しかし、残念なことに、これらのデバイスは、そのデバイスに関連した基本的な、またはごく特定された、あらかじめ決定されたタスクに使うことに限定されており、また、それを使うユーザもそのことに疑問を抱かないことが多々あります。
社会が進化するにつれて、世帯の態様は多様化し、異なる世帯のルール、手順、規範を持つことが通常となります。
これまでのデバイスは、事前に想定されたタスクや機能で設計されていたため、多様化または進化する世帯態様の中でこれらのデバイスを使用することや、多様化または進化する家庭内のルール、手順、規範に対応していくことに関して、進展が少なかったといえます。
どんな発明?
発明の目的
本発明は、上述のような背景から、家庭内のスマートデバイスの機能や活動を監視し、これらの動作について報告し、これらの動作に基づいてスマートデバイス制御を提供することでスマートデバイスの動作方針(ポリシー)を提供することを目的とします。
発明の詳細
では、本発明の詳細を説明していきます。
まず図2を参照します。これは多数のスマートホームデバイスを含む、接続されたスマートホームまたはスマートデバイス環境を示す図です。描かれたスマートデバイス環境30は、構造物32を含み、これは、例えば、家、オフィスビル、ガレージ、またはモバイルホームを示します。デバイスはまた、アパート、マンション、またはオフィススペースなどの、構造物32全体を含まないスマートデバイス環境30に統合して理解することもできます。さらに、スマートホーム環境は、実際の構造物32の外側のデバイスを制御することができます。実際、スマートホーム環境におけるいくつかのデバイスは、物理的に構造物32内にある必要は全くありません。例えば、プールヒーターまたは灌漑システムを制御するデバイスは、構造物32の外側に配置することができます。
構造32は、壁40を介して少なくとも部分的に互いに分離された複数の部屋38を含みます。各部屋は、床42および天井44をさらに含みます。デバイスは、壁40、床42、または天井44に取り付けられます。
このスマートデバイス環境30は、様々な有用なスマートホームの目的のいずれかを提供するために、互いにシームレスに統合できます。そして、中央サーバもしくはクラウドコンピューティングシステムと統合できる、ネットワーク接続されたデバイスを含む複数のデバイス10を含みます。
本発明では、スマートデバイス環境30として、以下のようなスマート機器を想定していますが、これに限定するというものではありません。
スマートサーモスタット46
スマートサーモスタット46は、特にNest Labs, Inc.のNest Learning Thermostatを含み得ます。スマートサーモスタット46は、周囲の気候特性(例えば、温度および/または湿度)を検出し、それに応じてHVACシステム48を制御します。
スマート危険検出ユニット50
スマート危険検知器50は、危険物質または危険物質を示す物質(例えば、煙、火、または一酸化炭素)の存在を検知するものです。例えばNest Protect Smoke+CO Alarmなどです。
ネットワーク接続された玄関インターフェースデバイス52(スマートドアベル52)
スマートドアベル52は、場所(例えば、外側のドア)への人の接近または出発を検出し、ドアベル機能を提供し、音声または視覚的手段を介して人の接近または出発を伝達し、またはセキュリティシステムの設定を制御します(例えば、居住者が出入りするときにセキュリティシステムを作動または解除するなど)。
スマートウォールスイッチ54
スマートウォールスイッチ54は、周囲の照明状態を検出し、部屋の占有状態を検出し、1つまたは複数の照明のオン/オフまたは調光状態を制御するものです。もちろん照明だけでなく、天井ファンなどのファンの電源状態または速度も制御することができます。
スマートウォールプラグ56
スマートウォールプラグ56は、部屋またはエンクロージャの占有を検出し、1つまたは複数のウォールプラグへの電力の供給を制御することができます(例えば、誰も家にいない場合はプラグに電力が供給されないようにするなどです)。
さらに、スマートデバイス環境30内のデバイス10は、冷蔵庫、ストーブおよび/またはオーブン、テレビ、洗濯機、乾燥機、照明、ステレオ、インターホンシステム、ガレージドアオープナー、フロアファン、天井ファン、壁掛けエアコン、プールヒーター、灌漑システム、セキュリティシステム、カメラ59(例えば、Nest Dropcams)などの複数のネットワーク接続された家電58(以下「スマート家電58」)をさらに含みます。
このようなネットワーク接続されたスマート家電58は、家電製品のそれぞれの製造業者と協力することにより、スマートデバイス環境と互換性を持たせることができます。プラグインされると、家電製品は、それがどのようなタイプの家電製品であるかを示すなどして、スマートホームネットワークに自分自身を認識させることができ、スマートホームの制御と自動的に統合することができます。家電製品によるスマートホームへのこのような通信は、任意の有線または無線通信プロトコルによって実現することができます。
スマートホームはまた、スマートウォールプラグ56によって、単純にON/OFFすることで制御可能な従来の(古い)洗濯機/乾燥機、冷蔵庫などのような、様々な非通信レガシー家電68を含むこともできます。
スマートサーモスタット46、スマート危険検知器50、スマートドアベル52、スマート壁スイッチ54、スマート壁プラグ56、およびスマートデバイス環境30の他のデバイスはモジュール式であり、古い家や新しい家にも組み込むことができます。
例えば、デバイス10は、ヘッドユニットとバックプレートという2つの基本構成要素からなるモジュール式プラットフォームを中心に設計されており、これはドッキングステーションとも呼ばれます。ドッキングステーションの複数の構成は、古い家や新しい家など、どんな家にも対応できるように提供されます。
ネットワーク接続によって、図2のスマートホームデバイスの1つ以上は、ユーザがデバイスに近接していない場合でも、ユーザがデバイスと対話することをさらに可能にすることができます。例えば、ユーザは、コンピュータやスマートフォン66を使用してデバイスと通信することができます。ウェブページまたはアプリは、ユーザからの通信を受信し、通信に基づいてデバイスを制御し、デバイスの動作に関する情報をユーザに提示するように構成されます。
誰が居住者かを登録・学習する
上述のように、ユーザは、ネットワーク接続されたコンピュータまたは携帯電子デバイス66を使用して、スマートデバイス環境30内のスマートサーモスタットや他のスマートデバイスを制御できます。居住者(例えば、家に住む個人)の一部または全部が、自分のスマホなどの電子デバイス66をスマートデバイス環境30に登録することができます。
そのような登録は、居住者のデバイスが家庭と関連していることを認証し、家庭内のスマートデバイスを制御するための使用許可を居住者に与えるために、中央サーバで行われます。
居住者は、居住者が仕事中または休暇中である場合など、その登録されたデバイス66を使用して、家庭のスマートデバイスを遠隔制御することができます。
また、居住者は、居住者が実際に家庭内にいるとき、その登録されたデバイスを使用してスマートデバイスを制御することもできます。デバイス66を登録する代わりに、スマートデバイス環境30は、どの個人が家に住んでいて、したがって居住者であるか、およびどのデバイス66がそれらの個人に関連しているかについて推論を行うことができます。このように、スマートデバイス環境は、誰が居住者であるかを「学習」し、それらの個人に関連するデバイス66が家庭のスマートデバイスを制御することを許可します。
ゲストによる操作を許容する場合
ゲストがスマートデバイスを制御することを望む場合があります。例えば、スマートデバイス環境は、家の内部の個人の未登録のモバイルデバイスから通信を受信することができ、ここで、前記個人は、家の居住者として認識されていない場合を考えます。
このような場合、スマートデバイス環境30のゲストにコントロールのゲスト層を提供することができます。ゲスト層は、温度調整などの基本的な制御(例えば、スマートデバイスの機能の判断で選択されたサブセット)へのアクセスをゲストに与えますが、他の機能性をロックアウトするものです。制御のゲスト層は、ゲストが限られた制御を行うが、スマートデバイスの居住者が望む動作を根本的に変更、弱体化、損傷、またはその他の方法で損なう可能性のあるより高度な制御へのアクセス権を持たない「安全なサンドボックス」と考えることができます。
子供に対するスマート家電の対応
例えばスマートテレビリモコンを考えます。スマートリモコンは、指紋認証、顔認証、RFIDなどによって居住者を認識し、ユーザをゲストとして、または制限された制御およびアクセスを有する特定のクラスに属する者(例えば、子供)として認識します。
ユーザをゲストまたは子供として認識すると、スマートリモコンは、そのユーザがチャンネルのサブセットを視聴し、テレビおよび他のデバイスの設定に対して限定された調整を行うことを許可するだけに機能を限定できます。
例えば、ゲストはデジタルビデオレコーダ(DVR)の設定を調整することができず、子供は子供に適した番組の視聴に制限されるなどです。
同様の制御は、家屋内の他の器具、ユーティリティ、および装置に対して提供されます。例えば、シンク、バスタブ、およびシャワーは、ユーザーをゲストとして、または子供として認識し、したがって水が安全とみなされる指定温度を超えることを防止するスマートスピゴットによって制御されます。
図2のスマートデバイス環境30にさらに含まれ、図示されたサービスロボット69は、それぞれ、様々な家庭用タスクのいずれかを自律的な方法で実行するように構成されています。サービスロボット69の例としては、iRobot, Inc.によって販売されているROOMBA™およびSCOOBA™製品などの既知の市販デバイスが挙げられます。
ネットワークレベル図
図3は、図2のスマートホーム環境を統合することができる拡張可能なデバイスおよびサービスプラットフォーム80のネットワークレベル図です。拡張可能なデバイスおよびサービスプラットフォーム80は、スマートデバイス環境30に関して限定することなく、単一のサーバに集中させることも、複数の異なるコンピューティングエンティティに分散させることも可能です。
拡張可能なデバイスおよびサービスプラットフォーム80は、処理エンジン86を含むことができ、この処理エンジンは、スマートデバイス環境のデバイスからネットワーク経由でデータを受信し、データにインデックスを付け、データを分析し、その分析に基づいて、または分析の一部として統計を生成するためのエンジンを含むことができます。分析されたデータは、派生ホームデータ88として記憶することができます。
これらの分析または統計の結果は、その後、結果を導出するために使用されるホームデータを提供したデバイス、他のデバイス、デバイスのユーザにウェブページを提供するサーバ、または他の非デバイスエンティティに伝送されます。例えば、使用統計、他のデバイスの使用に対する使用統計、使用パターン、および/またはセンサ読み取り値を要約する統計が、処理エンジン86によって生成され、送信されます。このように、処理エンジン86は、ホームデータ82から様々な有用な情報を導出するように構成され、プログラムされます。単一のサーバは、1つまたは複数のエンジンを含むことができる。
導出されたデータは、家庭単位、近隣単位、地域単位でのデバイスのプログラム制御(例えば、電気事業者の需要応答プログラム)から、様々な有用な目的のために様々な異なる粒度で非常に有益なものとなります(いわゆるビッグデータ)。たとえば、処理エンジン86は、デバイスの集団にわたるデバイス使用に関する統計を生成し、その統計をデバイスユーザ、サービスプロバイダまたは他の機関に送信することができます。
図4は、処理エンジン86を多数のパラダイム120を含むものとして示しています(訳注:ここでのパラダイムは、様々な物の考え方やルールのこと)。パラダイムとしてどのようなものが想定しうるか、以下に列挙します。
マネージドサービスパラダイム120a
一次または二次デバイス機能を監視および管理するパラダイムです。デバイス機能は、ユーザ入力を与えられたデバイスの適切な動作を保証すること、侵入者が住居にいる、または入ろうとしていることを推定する(例えば、そのインスタンスに応答する)こと、デバイスに結合された機器の故障(例えば、電球が焼き切れた)を検出すること、エネルギー需要応答イベントを実施するかまたは他の方法で応答すること、または現在または予測される将来のイベントまたは特性をユーザに警告すること、といった動作ルールを規定するものです。
広告/通信パラダイム120b
デバイスの使用に基づいて、ユーザの特性(例えば、人口統計情報)、欲求および/または関心のある製品を推定するパラダイムです。これにより、サービス、プロモーション、製品またはアップグレードが、ユーザに提供されるか、または自動的に提供されます。
ソーシャルパラダイム120c
ソーシャルネットワークからの情報を使用し、ソーシャルネットワークに情報を提供し(たとえば、デバイスの使用状況に基づいて)、ソーシャルネットワークプラットフォームとのユーザーおよびデバイスの相互作用に関連するデータを処理するパラダイムです。
例えば、ソーシャルネットワーク上の信頼できる連絡先に報告されるユーザのステータスは、光検出、セキュリティシステムの不活性化またはデバイス使用検出器に基づいて、いつ在宅しているかを示すように更新されます。別の例として、ユーザは、デバイス使用統計を他のユーザと共有することとしてもよいでしょう。
さらに別の例では、ユーザは、低い電力料金をもたらすHVAC設定を共有することができ、他のユーザは、電力料金を削減するためにHVAC設定をスマートサーモスタット46にダウンロードすることができます。
課題/規則/遵守/報酬パラダイム120d
課題、競争、規則、遵守規制、および/または報酬をユーザに通知し、課題が満たされたか、規則または規制が遵守されたか、報酬が獲得されたかを判断するために操作データを使用する課題/規則/遵守/報酬パラダイムです。
課題、規則または規制は、エネルギーを節約する努力、安全に生活する努力(例えば、毒素または発癌物質への曝露を減らす)、金銭や機器寿命を節約する努力、健康を改善する努力などに関することが挙げられます。例えば、任意のチャレンジ目標として、参加者は1週間、エアコンの温度を1度下げることなどが考えられます。
チャレンジに成功した参加者には、クーポン、仮想通貨、ステータスなどの報酬が与えられてもよいでしょう。コンプライアンスについては、例えば、賃貸物件のオーナーが、あるオーナーの部屋には賃貸人は入れないというルールを作ったとします。入居センサーを持つ部屋のデバイスは、部屋にアクセスされたときにオーナーにアップデートを送信することができます。
処理エンジン86は、1つまたは複数の処理パラダイムの機能を向上させるために、外因的ソースからの外因的情報122を統合または他の方法で利用することができます。
外在的情報122は、デバイスから受信したデータを解釈するため、デバイスの近くの環境(たとえば、デバイスが囲まれている構造の外側)の特性を判断するため、ユーザが利用できるサービスまたは製品を判断するため、ソーシャルネットワークまたはソーシャルネットワーク情報を識別するため、デバイスの近くのエンティティ(たとえば、緊急対応チーム、警察または病院などの公共サービスエンティティ)の連絡先を判断するため、統計または環境条件、傾向または家庭または近隣に関連する他の情報を識別するといったことに使用可能です。
家庭用ポリシーの設定
ここまで、スマートデバイスまたはスマートホーム環境について説明してきました。次に、スマートデバイス環境内のスマートデバイスによって実行され得るソーシングポリシーについて説明します。
このようなスマートホーム環境での実行は、単独で動作する個々のスマートデバイスによって実施することができ、協調して行動するスマートデバイスの自己オーケストレーショングループによって実施することができます。
そして、家庭から遠隔に位置するクラウドベースコンピューティングシステムなどの中央サーバーのオーケストレーション下で行動する個々のスマートデバイスまたはスマートデバイスのグループによって実施することが考えられます。
図5は、家庭用ポリシー搭載住宅152の環境150を示す概略図です。それぞれの家庭ごとに、様々なマナーで家計ポリシー搭載住宅152で実行されることになります。例えば、家庭ポリシーマネージャ154は、次のものに基づいて家庭152にポリシーを供給します。
- 家庭目標
- 家庭定義ポリシー
- 家庭152内のスマートデバイス能力
- リンクされた家庭間の共有ポリシー
- 家庭内居住者統計
などです。
図示された実施形態では、ホーム156は、目標に基づくポリシーを受信するように設定されます。例えば、目標は、『電子機器に費やす時間を減らす』とか『今後3ヶ月間、毎月5%少ないエネルギーを使用する』ことなどです。
家庭目標158は、家庭ポリシーマネージャ154に提供され、家庭ポリシーマネージャは、家庭156内で実行するための目標ベースのポリシー160を供給します。このような世帯目標は、世帯のメンバーの観察された行動に基づいて、家庭内のスマートデバイスから提供された特定の入力に基づいて、遠隔のベンダー/ファシリテータ/規制当局/その他からの特定の入力に基づいて、またはそれらの任意の組み合わせに基づいて、コンピュータ(例えば、世帯ポリシーマネージャ154)によって提案されてもよいでしょう。これらの提案された家庭目標は、特定の選択された家庭目標158をもたらす可能性があります。
また、図5は、家庭162がユーザ定義ポリシー164を受信するように設定されていることを示します。例えば、家庭のメンバーが家庭162のためにパーソナライズされたポリシーを作成することを可能にします。
これらのポリシーは、ユーザ定義ポリシー164が他のポリシー搭載ホーム152と共有され得るように、複数のポリシー搭載ホーム152と通信可能に結合された家庭ポリシーマネージャ154と共有されます。例えば、ユーザ定義ポリシー164が、世帯居住者統計情報166(例えば、世帯員の数、世帯員の年齢、世帯員の活動パターンなど)とともに世帯ポリシーマネージャ154に提供されたとします。ユーザ定義ポリシー164と居住者統計学的情報166の両方を受信することにより、世帯ポリシーマネージャ154は、同様の居住者統計学的情報166を有する他のポリシー装備住宅152にユーザ定義ポリシー164を提供/提案し得るわけです。
また、ポリシーは、ホーム152内のデバイスの能力に基づいて適宜変更されて提供されます。例えば、ホーム168は、ホーム168内の能力に基づいてポリシーを受信するように設定されます。ここでいう能力170は、以下のようなものです。
・この家はダイニングテーブルが食事等で占有されていることを検出できる
・この家はリビングルームでオーディオを聞くことができる
このような「能力」が、家庭ポリシーマネージャ154に提供されます。
家庭用ポリシーマネージャ154は、複数の利用可能なポリシーのうちどれが家庭168での実装に利用可能かを決定し、この能力ベースのポリシーのリスト172を家庭168に提供します。家庭168内のポリシー管理者は、家庭168内で実施するために能力ベースのポリシー172からポリシーを選択することができます。
ポリシーのリンク
家庭のポリシーはリンクされることがあります。例えば、2つのポリシー装備ホーム152の間で子供に関する共有親権契約がある状況では、子供のポリシーがいずれかのホームで実行されるように、家庭ポリシーが1つのホーム152から別のホーム152に転送されてもよいでしょう。
さらに、いくつかの実施形態では、リンクは、ある家152が別の家152の実装されたポリシーを制御する、マスター・スレーブ配置を含むことができます。
例えば、アダルトチルドレンは、別の家152にいる高齢の親の介護を任されることがあります。このような場合、アダルトチルドレンは、高齢の親の家152で実装されるポリシーに対する権限を有する場合が考えられます。例えば、成人した子供は、1日の特定の時間に薬を飲むためのリマインダーを提示するためのポリシーを、高齢の親の家で実行させる権限を有することができます。自宅174は自宅176とリンクされ、それぞれのリンクされた家庭で実行されるべきリンクされたポリシー178は、家庭ポリシーマネージャ154に提供され、そこで、リンクされた環境で実行されるべきポリシー180として提供されます。
上述したように、いくつかの実施形態では、世帯の居住者統計は、世帯のための特定のポリシーを決定するために使用されることがあります。
例えば、小さな子供がいる家では、大人ばかりの家とは異なるポリシーが望ましい場合があります。居住者統計情報は、例えば、居住者の数、居住者の性別、居住者の年齢、居住者の民族性などの居住者情報を含むことができます。居住者統計情報166は、世帯ポリシーマネージャ154に提供されて、世帯ポリシーマネージャは、居住者統計に基づいてポリシー182を提供します。例えば、上述のように、マッチングする居住者統計166に関連するユーザ定義ポリシー164は、家184に提供されてもよいでしょう。
さらに、家庭の行動パターン186は、ポリシーを提供するために使用されてもよいでしょう。
観察された行動パターン186は、家庭ポリシーマネージャ154に提供されます。家庭ポリシーマネージャ154は、行動パターンに対応するポリシーを決定し、行動186に基づいて提案ポリシー188を提供することができます。例えば、『世帯の居住者が各勤務日の午前8時に勤務先に到着しようとする』という観察から、1つの方針が生じる場合があります。この検出された行動パターン186に基づいて、交通遅延などに基づいて目覚まし時計の待ち時間を動的に調整するためのポリシーが提供されることなどが考えられます。
図6は、ローカル家庭用ポリシーマネージャ202を有するスマートホーム200の模式図です。現在の実施形態では、通信線206によって例示されるように、ローカル家庭用ポリシーマネージャ202は、外部ネットワーク(例えば、インターネット205)を介した通信をしません。代わりに、家庭用ポリシーマネージャ202は、複数のポリシーを含むポリシーライブラリ、および保存されたポリシーを家庭用ポリシーマネージャ202に提供することを可能にするUSBポートやストレージカードインタフェースなどの入力/出力インタフェースを含みます。プライバシーに関する懸念のために、いくつかの実施形態では、家庭用ポリシーマネージャ202からの外部通信をブロックすることが望ましい場合があります。これにより、家庭データに関するデータプライバシーの懸念を緩和することができます。
さらに、上述のように、検出されたパターンは、家200内で実施するためのポリシーを選択するのに有用です。家200は、好ましくは、家200に関連するパターンを観察することができるパターン検出回路204を備えます。例えば、パターン検出回路204は、家200のスマートデバイス206からデータをマイニングして、デバイス206の特定の使用パターンや家事活動パターンを決定してもよいでしょう。パターン検出回路204は、識別されたパターンを家庭用ポリシーマネージャに提供することができ、家庭用ポリシーマネージャは、実施のためにパターンに対応するポリシーを選択し、提案することができます。
例えば、パターン検出回路204は、家庭のメンバーが歯を磨くときに、水が出しっぱなしにされることを検出することができます。このパターンは、世帯ポリシーマネージャ202に提供されてもよく、世帯ポリシーマネージャ202は、世帯のメンバーが歯を磨くときに水を出したままにしたときに世帯のメンバーに通知を提供するポリシーを提案したり、または自動的に実装してもよいでしょう。
家庭内居住者動態を考慮したポリシー提供
図10は、家庭310が、関連する家庭ポリシーを得るために居住者統計情報を推論する家庭ポリシーマネージャ154を備える場合の概略図です。図示された実施形態では、センサデータ(例えば、音声シグネチャ312、314、および316)は、センサ(例えば、マイクロフォン318)から取得されます。
居住者統計学的検出回路320は、1人の成人男性(例えば、音声シグネチャ316)、1人の成人女性(例えば、音声シグネチャ316)、および1人の女性子供(例えば、音声シグネチャ316)であることを推測322します。
居住者統計検出回路320は、センサにローカルに存在してもよく(例えば、マイクロフォン318に結合される)、センサと家庭ポリシーマネージャ154との間に存在してもよく、または家庭ポリシーマネージャ154に存在させてもよいでしょう。
この居住者統計学的推論322は、特定の居住者統計学322に関連するポリシー324を取得するためにポリシーマネージャ154によって使用されてもよいでしょう。例えば、ポリシーマネージャ154は、居住者統計情報322を外部ポリシーサービス324に提供してもよく、このサービス324は、居住者統計322のすべてまたは一部と関連するポリシー324のサブセットを返すことができます。
もちろん、実施形態として、上述のようなセンサデータに基づいて居住者統計学を推論するのではなく、直接データとして居住者が居住者情報を入力することも考えられます。
家庭での認識(アウェアネス)
家庭用ポリシーがスマートデバイス環境30に到達し得る態様について説明してきましたが、次に、ポリシーを実施するためにスマートデバイス10から関連データを取得することについて説明します。
先に説明したように、スマートデバイスのインベントリおよびそれらの能力は、ポリシーを構築するのに有用です。図13は、スマートデバイス10からのデータをスマートデバイス環境30内の活動、イベント、属性に帰属させるためのグラフィカルユーザインターフェース400を例示する概略図です。
インターフェース400は、家屋内の様々なスマートデバイスの表示を含みます。例えば、基本的な家のモックアップ402は、スマートデバイスの部屋および配置406の図解404として提供できます。
図13は、スマートデバイスの機能性をクラウドと連携する能力クラウド408を含みます。図では、能力クラウド408′は、天井に取り付けられたカメラの機能として例示されています。この能力は、オーディオ再生(スピーカアイコンで図示)、ビデオ監視(目アイコンで図示)、およびオーディオ監視(マイクアイコンで図示)を含みます。能力クラウド408″は、(パッドロック・アイコンによって示されるように)ロック/アンロックでき、(「OD」アイコンによって示されるように)ドアロック・スマートデバイスを示すものです。
1つのスマートデバイス10のマイクで受信された音声信号は、特定の世帯の居住者と関連付けられることがあります。他の例では、光学認識(例えば、顔認識または他の画像ベースの認識)、デジタルデバイスの存在(例えば、特定の人物に関連する電子デバイスの存在)、または他の入力が、特定の世帯の居住者または特定のタイプの世帯の居住者に関連付けられることがあります。
図13の例示的なグラフィカルユーザインターフェース(GUI)400では、アウェアネスプロンプト(認識プロンプト)410が生成されます。認識プロンプト410は、システムがスマートデバイス10からの1つまたは複数の入力412を家庭の特定の活動、イベント、および/または属性414として属性付けすべきかどうかをGUI400のユーザに促すことができるものです。例えば、認識プロンプト410は、音声署名412と「シドニー」という特定の世帯員との間の関係を決定するために使用されます。
認識プロンプト410が確認されると(例えば、ユーザが「はい」アイコン416を選択することによって)、入力412を家庭の特定の活動、属性414と関連付けるためにアウェアネスルール418が生成されます。いくつかの実施形態では、認識プロンプト410が拒否されると(たとえば、ユーザが「いいえ」アイコン420を選択することによって)、入力412を家庭の特定の活動、属性414との間のリンクを拒否するために、認識ルール422が生成されることがあります。
アウェアネスモジュール422は、認識プロンプト410なしで認識ルール422を生成することができます。たとえば、認識モジュール422は、入力412を受信し、GUI400のユーザからの入力なしに認識ルール418を自動的に生成してもよいでしょう。自動認識ルール418は、入力412が家庭の特定の活動、属性414に関連付けられるべきであるという高い確信がある場合に有用です。
これらのルール424は、特定の活動、イベント、および/または属性414に基づいてイベントをトリガすることができます。例えば、玄関のルールは、シドニーが一人で家にいるときにドアをロックしたままにすることを指定しています。したがって、シドニーが家庭内で一人でいることを認識すると、玄関のドアの持続的なロックが行われます。
コンテキスト(状況)に基づく認識の実施形態
ここで、特定の認識プロセスのより詳細な部分に目を向けます。図19は、家庭の活動を監視して認識するためのプロセス590を例示する流れ図です。まず、特定の活動を示すセンサ入力が検出されます(ブロック592)。
例えば、赤外線入力、ビデオ入力、および/または音声入力は、家庭の部屋内に居住者がいるかを示すことができます。次に、入力の特性を用いて活動の特性が推論されます(ブロック594)。これらの推論された特性は、家庭ポリシー条件(または家庭ポリシー条件の一部)が満たされているかどうかの指示を提供することができます。
例えば、赤外線シグネチャ、オーディオシグネチャ、ビデオシグネチャを使用して、部屋にいる特定の世帯員を識別することができます。推論された特性は、記録および/または報告されてもよいでしょう(ブロック596)。
特定の推論は、センサのコンテキスト(例えば、家屋内のセンサの配置、またはセンサに関する他のコンテキスト情報)に基づいて行われます。図20は、ロケーショナルゾーンに従って実装されるポリシーを例示する概略図です。一例では、スマートデバイス環境30は、ダイニングルーム・ゾーン610、リビングルーム・ゾーン612、オフィス・ゾーン614、キッチン・ゾーン616、バスルーム・ゾーン618、および寝室ゾーン620および620′などの局所的ゾーンに分割されています。
特定のゾーンのコンテキストによって、推論すべき活動、事象、特性に対する追加的な推察を提供する可能性があります。
例えば、居住者がダイニングルームのゾーン610にいる場合、居住者が他の活動(例えば、テレビを見る)を行うよりも、夕食を食べている可能性が高いかもしれません。同様に、バスルームにいる居住者は、他の活動(例えば、夕食を食べること)を行うよりも、歯磨きをしている可能性が高いでしょう。したがって、家の活動、イベント、及び/又は特性の推論において、ゾーンコンテキストを使用することができるのです。
ここで、ゾーン推論のより焦点を当てた議論に目を向けると、図21は、実施形態に従った、ダイニングゾーン610を有する家計方針システム640の概略図です。図22は、実施形態による、ダイニングを監視するためのプロセス650を例示するフロー図です。
ダイニングゾーン610は、ダイニングゾーン610からのデータを蓄積し得る1つまたは複数のセンサ(例えば、スマートデバイス10)を有します。例えば、ゾーン610のスマートデバイス10は、ビデオセンサ、オーディオセンサ、赤外線センサ、蒸気検出センサ(例えば、VOCおよび/または他の化合物の検出および識別センサ)などを含むことができます。
ここで、任意の世帯の食事パターン(例えば、世帯が予定された時間に食事をするか、世帯がダイニングルームで食事をするか、世帯が一緒に食事をするか、など)を認識することは有用な情報となります。スマートデバイス10を使用して、システム640は、活動(例えば、スマートデバイスのセンサ入力の変化)についてダイニングルームを監視することができます(ブロック652)。
そのような活動を検出すると、活動のコンテキストが推論されます(ブロック654)。例えば、床644を横切るダイニングチェア642の動きに一致する音声署名は、居住者がチェア642に座っていることを示唆する場合があります(例えば、居住者がチェア642に座るために移動した場合があるから)。実際、ビデオ入力は、居住者が椅子642に座っているのか、テーブル646に座っているのかを確認・特定することができます。
さらに、スマートデバイス10の入力は、器具の動き、会話内容、蒸気検出など、多くの手がかりを得るために使用されてもよいでしょう。例えば、蒸気センサは、ダイニングルームゾーン内の食品の存在を検出することができ、これは、ダイニングルームゾーン610で食事が消費されていることを示す根拠情報となります。そして、コンテキストが、1つまたは複数の世帯の居住者が食事をしているかどうかについての決定が行われます(決定ブロック656)。家庭ポリシーから導かれる特定の推論に応じて、任意の数の決定ブロック656が存在し得ます。
プロセス650において、コンテキストがゾーン610で食事が食べられていることを示唆するとき、ダイニングルームでの活動は、食事を食べることに帰属され(ブロック658)、家庭ポリシーマネージャによる使用のために報告・保存されます(ブロック660)。
図27は、オフィス活動を監視するためのプロセス780を例示する流れ図です。検出する活動として、例えばブロック782を介して取得され得るインターネット使用認識が挙げられます。もちろん、その他の作業に関する認識であってもよく、これはブロック784を使用して推論されます。
インターネット使用認識については、インターネット活動が検出されたことがトリガーとなります(ブロック786)。ネットワークパケットを監視することによって、行われます。
次に、インターネット活動を行っている個人が判別されます(ブロック788)。例えば、コンピュータ772および/または電子デバイス774がインターネット活動を行っているデバイスであると決定された場合、コンピュータ772および/または電子デバイス774を操作する世帯メンバーが判別されます。これは、コンピュータ772および/または電子デバイス774の現在実行されているログイン情報を決定すること、コンピュータ772および/または電子デバイス774に通常関連するユーザを決定すること、またはスマートデバイス10を使用してコンピュータ772と対話する個人を識別することによって行われてもよいでしょう。インターネット使用に関する情報は、その後の制御のために報告・記録され得ます(ブロック790)。
次に、作業に関する意識に目を向けると、センサデータの分析を使用して、世帯のメンバーが作業しているかどうかを判断することができます(ブロック792)。例えば、キーボードのクリック、机の椅子の移動、書類のシャッフル等の音声シグネチャは、誰かが働いていることを示すことができるでしょう。
次に、特定の世帯メンバーが、作業を行う人として識別されます(ブロック794)。例えば、メンバーは、画像認識(例えば、ビデオ署名)、音声認識(例えば、オーディオ署名)などに基づいて特定されてもよいでしょう(ブロック790)。
一方、キッチンのコンテキストに目を向けると、図28は、キッチンゾーン616の活動を監視するためのシステム800の概略図です。キッチンゾーン616は、キッチンゾーン616からデータを蓄積し得る1つ以上のセンサ(例えば、スマートデバイス10)を含んでいます。
例えば、ゾーン616のスマートデバイス10は、ビデオセンサ、オーディオセンサ、赤外線センサ、蒸気検出センサなどが例示できます。さらに、ゾーン616は、スマートデバイス10によって監視される、冷蔵庫802、パントリー804、およびキッチン家電806を含みます。冷蔵庫802、家電製品806は、システム800にデータを提供することができるスマートデバイス10であってもよいでしょう。
図29は、キッチンゾーン616の活動を監視するためのプロセス810を示す流れ図です。まず冷蔵庫の1つ以上の属性が決定されます(ブロック812)。ここで「属性」とは、特徴または特性に加えて、冷蔵庫に関連する活動またはイベントを含みます。例えば、冷蔵庫のドアが開かれたときまたは閉じられたとき、ドアが開かれた持続時間、水ディスペンサーを通じて分配された水の量、製氷機内の氷のレベルなどの属性が決定されてもよいでしょう。
さらに、パントリー804の属性が決定されます(ブロック814)。たとえば、パントリー804が開かれた/閉じられたとき、パントリー804が開いている期間、パントリー804に取り除かれたアイテムおよび/または追加されたアイテムなどの属性が取得されます。
情報のコンパイル
情報として集められた活動/所見は、適宜コンパイルされると理解がしやすくなる場合があるでしょう。図34は、コンパイルされたアクティビティを報告するためのプロセス900を示す流れ図です。
プロセス900は、システムに提供された報告・記録された所見(例えば、家の中のすべての部屋および/または装置からの各所見)をコンパイルすることから始まります(ブロック902)。コンパイルされた所見は、共通の活動、イベント、特性に基づいてフィルタリングされる場合があります。例えば、特定の世帯員が活動に関与していること(例えば、居住者「アリー」のすべての活動)に基づき、世帯員の活動(例えば、歯磨き)に基づき、イベント(例えば、アクティブなインターネット使用や作動したライト)に基づき、フィルタリングされることがあります。
コンパイルされた所見は、個々の活動配分(例えば、アリーの活動の全て又はアリーの歯磨きの全て)を決定するために使用されてもよいでしょう(ブロック904)。さらに、コンパイルされた所見は、世帯活動配分(例えば、世帯でのユーティリティ消費など)を決定するために使用されます(ブロック906)。個々の活動配分や世帯活動配分は、システムによる使用のために報告・記録されます(ブロック908)。
例えば、図35は、コンパイルの結果作成された、活動報告に有用なグラフィカルユーザインターフェース910の概略図です。インターフェース910では、世帯員(例えば、アリー)の活動が、円グラフ912によって表示されています。さらに、円グラフ部分914は、チャート912の部分916に関連するさらなる特性や詳細を提供する。図示された実施形態では、アリーのインターネット使用に関連する詳細が、部分914においてより詳細に提供されています。
いじめの検出も可能
図38は、いじめや他の望ましくない行動を検出するためのプロセス980を示す流れ図です。プロセス980は、文脈データを監視することから始まります(ブロック982)。
例えば、音声監視、光学監視、赤外線監視などを使用して、居住者の望ましくない行動を判別することができます。文脈データは、軽蔑的な名前呼び、上昇した声などの「いじめ」キーワードを示す音声シグネチャを含みます。したがって、システムは、そのような「いじめ」キーワードの使用を監視し、検出することができます(ブロック984)。さらに、いくつかの実施形態では、文脈データは、汚い言葉の使用を示す音声署名を含むことができます。したがって、システムは、居住者によるそのような汚い言葉の使用を監視し、検出することができます(ブロック986)。
いくつかの実施形態では、文脈データは、互いに相互作用する個人のアイデンティティを含むことができます。したがって、システムは、望ましくない活動が発生している可能性がある空間に居住する個人を特定し検出することができます(ブロック988)。その結果、いじめや他の望ましくない活動が発生しているという推論がなされます(ブロック990)。この推論の所見は、その後の使用のために報告・記録されます(ブロック992)。
家庭内での行動是正の機会を与える
図51は、実施形態による、スマートデバイス環境の報酬ベースの制御のためのプロセス540を例示する流れ図です。プロセス540は、目標を定義することによって始まる(ブロック542)。
例えば、システムは、世帯の1つまたは複数の居住者統計やパターンに基づいて、世帯で利用可能な典型的に望ましい「改善領域」に関する提案を提供することができます。これらの提案に基づいて、世帯は、1つまたは複数の将来の目標を選択することができます。例えば、観察された家庭のパターンに基づいて、システムは、家庭のメンバーが、共通の居住者統計を有する他の家族よりも一緒に食事をする時間が短いことに気付くかもしれません。この観察に基づき、システムは、世帯がこの目標を達成するために努力することを提案することができます。家庭が同意すれば、そのゴールは定義されたゴールとして設定されます。
目標の他の例としては、エネルギー使用量の減少、電子機器の「スクリーンタイム」の割り当ての修正、汚い言葉や「声の荒い」会話の減少、などが挙げられるかもしれません。
その後、システムは、目標に向けた進行を監視します(ブロック544)。目標に向けた進行は漸進的であってもよく、最終目標に向けた「卒業成績」も監視されます。監視活動に基づいて、目標が満たされたか、部分的に満たされたか、または満たされていないかについての決定がなされます(決定ブロック546)。
進展がない場合、アクティブな目標のリマインダーが世帯に提供されることがあります(ブロック547)。たとえば、世帯が、一緒に活動を行う時間を増やすという目標を示し、システムモニタリングが、世帯が一緒に過ごす時間が減っている(または増えていない)ことを示す場合、システムは、世帯目標のリマインダーを世帯の1人または複数のメンバーに提供します。
目標に対する十分な進捗が達成された場合、進捗報酬が家庭の1人または複数のメンバーに提供されることも考えられます(ブロック548)。例えば、上述の目標において、1週間に1時間追加で一緒に過ごすことが目標である場合に、家族が1週間に20分追加で一緒に過ごすと、進捗報酬を家族に提供することができるとしてもよいでしょう。さらに、家族の一部が追加の1時間を一緒に過ごすが、一部がそうでない場合、目標を達成したメンバーの一部は進歩報酬を受け取り、目標を達成しなかったメンバーの一部は受け取らないようにしてもよいでしょう。
目標が達成された場合、目標達成のための報酬が、世帯員の1人または複数に提供されます(ブロック550)。例えば、世帯メンバー全員が一緒に活動を行う追加の1時間を費やす場合、目標は達成される可能性があり、その結果、目標達成のための報酬が提示されることになります。
進捗目標は、励ましのテキスト、音声、及び/又はビデオメッセージのような単純なものであってもよく、又はより精巧なものであってもよい。例えば、部分的に制限された活動の割り当てを増やすことが提供されることも考えられます。目標達成時に、電子機器の「スクリーンタイム」の増加を提供するなどです。
図52は、目標達成のための割り当てに基づく報酬を提供するシステム570を例示する概略図です。図52の実施形態では、家庭管理者は、ベンジャミンが外で過ごす時間を増やし、電子デバイスで過ごす時間を減らすべきであるという目標を定義しています。
したがって、定義された目標に基づき、システムはベンジャミンの行動を監視し、ベンジャミンがどのように時間を配分しているのかを見極めることができます。例えば、家庭内のカメラにより、ベンジャミンが家の中にいるか外にいるか、ベンジャミンが電子デバイスを使用しているか、などを判断することができます。さらに、電子デバイスの使用状況やベンジャミンの位置は、電子デバイス572(例えば、ベンジャミンのスマートフォン)の機能を使用して直接監視することができるでしょう。
このデータを用いて、システム570は、ベンジャミンが外でより多くの時間を過ごしているかどうかを判断することができます。ベンジャミンが外でより多くの時間を過ごす方向へ進んでいないとシステムが判断した場合、システムは、時間574において電子デバイス572に例示されるように、リマインダーを提供することができます。いくつかの実施形態では、リマインダー(またはシステム内の他のメカニズム)は、目標に向かって進んでいないことに対する制限および/または他の罰を課すことによって、目標への進行を促すことができます。例えば、時間574においてベンジャミンが目標に向かって進んでいないため、システムは、「スクリーンタイム」ロックアウト機能を課すことができ、これにより、ベンジャミンが目標に向かって進むことを奨励します。
十分な進行がなされると(例えば、ベンジャミンが15分間外にいる)、進行目標、例えば「スクリーンタイム」のロックアウトカウントダウンがベンジャミンに提示されます。さらに、ベンジャミンの目標が達成されると(例えば、ブロック578によって時間576で示されるように、ベンジャミンが30分間外で過ごす)、時間580で示されるように、電子デバイス572の「スクリーンタイム」ロックアウト機能が無効化されます。したがって、ベンジャミンは目標を達成したため、追加の “スクリーンタイム “が割り当てられます。
図56は、世帯メンバーが目標に向かって進むにつれて受け取るのが徐々に難しくなる報酬を提供するシステム670を例示する概略図です。
図56の目標658は、特定の世帯員が特定の目的地(例えば、職場や自宅)へ週5回時間通りに行くことです。目標658を漸進的に達成するためのポリシーを実施するために、システム670は、時間656Aにおいて、報酬(例えば、賞賛メッセージ672A)を受け取るための閾値656Aを設定できます(例えば、閾値を1と設定したら、家庭のメンバーが「1回」時間を守ったときに賞賛メッセージ672Aを受け取る)。
世帯員が目標に向かって674を進むにつれて、閾値を増加させることができます。例えば、時刻656Bにおいて、閾値654Bは、賞賛メッセージ672Bを受信するために、2回時間通りにいることを要求します。このように、家庭のメンバーは、目標658に向かって進み続けるように、徐々に奨励されるのです。
ここがポイント!
以上、様々なポリシーについて説明してきたように、目標に向かって徐々に進んでいくことは、家庭や家計のメンバーがグループや個人の目標を達成するのに有効です。本発明で提供されるシステムは、家庭やその世帯員が目標の完了に向けて前進し続けるように挑戦することによって、そのような目標達成を奨励するものです。
そのような種類の目標の1つは、例えば、家庭のエネルギー使用量を減らす、家庭のメンバーおよび/または家庭全体のカロリー摂取量を減らす、インターネット時間を減らす、屋外での時間を増やす、「声を荒げる」会話を減らす、汚い言葉の使用を減らす、などの割り当て目標が挙げられるでしょう。
ここまで説明してきた実施形態は、ユーザによる『if-X-occurs-then-do-Y(IXOTDY)プログラミング』に基づく単純なホームオートメーションシステムよりも、意識的ホーム、良心的ホーム、思慮深いホーム、またはより一般的にはスマートホームと考えることができるものを実現できます。つまり、単なる自動化ではないということです。
本発明によって、発明者らは、人々の生活をより容易に、より良く、およびより持続可能にするという、コンシャスホームの真の目的が達成されることを願っているとのことです。
未来予想
すでに実用化されているスマートホームですが、本明細書に示されているようなスマート機器の活用可能性は、我々にも既に想像可能な世界ではないでしょうか。
ただ、スマート機器に監視される生活が本当に快適なものかどうかは、家庭全体、社会全体で考えていく必要があるかもしれませんね。
特許の概要
発明の名称 |
Smart-home automation system that suggests or autmatically implements selected household policies based on sensed observations |
出願番号 |
US14/639,750 |
公開番号 |
US2016/0259308A1 |
特許番号 |
US10114351B2 |
優先日 |
2015.3.5 |
公開日 |
2016.9.8 |
登録日 |
2018.10.30 |
出願人 |
Google LLC |
発明者 |
Anthony M. Fadell Yoky Matsuoka David Sloo Maxime Veron |
国際特許分類 |
G05B 15/02 |