Apple、ユーザーの手の動きを検出する特許を取得

はじめに

Appleが新たに取得した特許「Electrodes for gesture recognition」（2024年8月6日登録）は、手首に装着するデバイスに組み込まれた柔軟なバンドを用いて手のジェスチャーを認識する技術です。筋肉の電気信号を検出することで、手の動作を詳細に把握し、スマートウォッチなどのデバイス操作を可能にします。

https://www.j-platpat.inpit.go.jp/c1801/PU/US-B-012056285/50/ja

従来技術の問題点

従来のジェスチャー認識システムは、カメラや赤外線センサーを用いて手の動きを検出することが多く、視界の制約やハードウェアの複雑さが問題となっていました。また、ウェアラブルデバイスを用いる場合でも、硬い電極や接触不良などが原因で、精度や使い勝手が低下するという課題がありました。この特許はこれらの問題を解決することを目的としています。

特許の概要

この発明は、手首のバンド内に織り込まれた複数の電極を使用し、筋電図（EMG）信号をキャプチャして手の動きを認識します。EMG信号は筋肉や腱が収縮する際に発生する電気信号で、これを用いて手の細かな動きをリアルタイムで検出します。例えば、手の開閉や手首の回転、指の曲げ伸ばしなどが検出可能であり、これらの動作を利用してデバイスの操作が行えます。以下、図面を参照しながら、この特許の紹介をしていきます。

図1：手の動作例

図1は、ユーザーが実行可能な手の動作を示しています。手首の屈曲、伸展、回外、回内、橈骨（とうこつ）偏位、尺骨（しゃっこつ）偏位など、複数の動作が図解されています。

図2：筋肉と腱の位置

図2では、これらの動作を実行する際に関与する前腕の筋肉と腱の位置が示されています。手首と前腕の筋肉の活動を通じて、手の動作に対応する電気信号が生成されます。

図3：柔軟なバンドにおける電極の配置例

図3A〜3Dは、スマートウォッチ、アクティビティトラッカー、ファッションアクセサリー、およびAR/VR用グローブなど、様々なデバイスにおける電極の配置例を示しています。これらのデバイスには、柔軟なバンドに織り込まれた電極が含まれ、手の動作を検出するための信号を取得します。

図4：システムブロック図

図4は、電極から取得した信号を処理するためのシステム全体の構成を示しています。デバイスのハウジングに内蔵された処理回路とバンドの電極が連携し、リアルタイムで手の動作を認識します。

このシステムは、手首に装着されたデバイスの内部構造を示しており、主要な構成要素として以下のものが含まれます。

1. 生理学的電極（430）: 手首のバンド上に配置され、ユーザーの筋肉や腱の電気信号（EMG）を測定します。
2. データバッファ（440）: 電極から取得した生理信号を一時的に格納します。
3. デジタル信号処理装置（DSP 442）: バッファに保存された信号を処理し、筋電図（EMG）信号を分析します。
4. ホストプロセッサ（444）: DSPからのデータを受け取り、さらなる解析を行います。処理結果に基づき、ユーザーインターフェースを制御したり、デバイス操作を実行したりします。
5. プログラム記憶装置（446）: システムの制御プログラムやユーザーの動作に関するデータを格納しています。
6. タッチスクリーン（448）: 解析された情報を表示し、ユーザーからの入力を受け取ります。

これらのコンポーネントが連携して、電極で取得した生理信号を解析し、ユーザーの手の動きやジェスチャーを認識するシステムを構築しています。

図5：バンドとハウジングの接続

図5A、5Bは、バンド内の電極がどのようにしてハウジングと接続されるかを示しています。特に、図5Bでは、バンドの端にあるコネクタとハウジング内の接続部が詳細に説明されています。

図6：コネクタの詳細

図6A〜6Cは、バンド内のコネクタがハウジング内の接続部にどのようにして物理的に接続されるかを示しています。この接続により、電極の信号がデバイスの内部回路に伝達されます。

図7：電極と処理回路の構成図

図7では、複数の電極がどのようにして処理回路と接続されるか、またどのように測定が行われるかが詳細に説明されています。各電極は異なる入力を取得し、複数の測定回路に接続され、これらの信号が集約されます。

1. 電極（730および762）
・手首のバンドやデバイスのハウジングに配置され、ユーザーの手や手首の筋肉活動を検出します。
・各電極は測定のために異なる回路に接続され、測定精度を高めるために動的に配置が変更されます。

2.マルチプレクサブロック（784）
・電極と測定回路の接続を動的に切り替える役割を果たします。
・これにより、各電極ペアの測定が可能になり、さまざまなジェスチャーや動作を認識できます。

3.アナログフロントエンド（AFE）回路（782）
・マルチプレクサを介して入力された電極信号を処理し、増幅・フィルタリングを行います。
・各AFEは、差動測定回路として機能し、電極間の電圧差を測定します。

4.プロセッサ（780）
・各AFE回路から得られたデータを集約し、ジェスチャーや動作を認識するための処理を行います。
・プロセッサは、各電極の動的な役割の設定や、測定結果に基づく動作指示を行います。

5.メモリ（786）
・測定データや、認識されたジェスチャーに対応する情報を格納します。
・プロセッサとの連携により、動的なデータ処理をサポートします。

動作の流れ

1. 電極の動的設定
・プロセッサが各電極の役割（アクティブまたは参照）を設定し、マルチプレクサを介して回路に接続します。

2. データ取得
・AFEが電極間の差動信号を測定し、デジタル信号に変換します。

3. ジェスチャー認識
・プロセッサがデータを解析し、特定の手の動きをジェスチャーとして認識します。

この回路は、手首や手の複雑な動きを高精度に認識することを可能にし、ウェアラブルデバイスの操作性を大きく向上させることができます。また、低消費電力モードと高精度モードを動的に切り替えることで、バッテリー消費を抑えつつ、必要なタイミングで詳細な動作解析を行うことができます。

図8：生理信号の測定回路

図8は、各電極から取得された信号が、どのように増幅され、デジタル化されるかを示しています。これにより、EMG信号を基にしたジェスチャー認識が行われます。

1.電極（830, 864）：
・デバイスのバンドやハウジングに配置され、ユーザーの筋肉活動から発生する生理信号（筋電図、EMG）を検出します。
・一つの電極（830）はアクティブ電極、もう一つ（864）は参照電極として機能します。

2.差動測定回路（860）：
・アクティブ電極と参照電極間の差動信号を測定します。
・測定信号は増幅器（876）を通り、アナログ・デジタル変換器（ADC 878）でデジタル化されます。

3.プロセッサ（880）：
・デジタル化された信号を解析し、手の動きやジェスチャーを認識します。

具体的な動作

1.測定開始：
・電極830と864がユーザーの手首に接触し、生理信号を検出。

2.信号増幅とデジタル化：
・差動増幅器（876）が電極間の電気信号を増幅し、ADC（878）でデジタル信号に変換。

3.信号解析：
・プロセッサ（880）がデジタル信号を受け取り、ジェスチャーや手の動きを解析し、対応するデバイスの操作を実行。

この回路設計により、手首や手の動きを詳細に検出し、高精度なジェスチャー認識を実現しています。

図9：ジェスチャー認識のフロー図

図9では、ジェスチャー認識のフローが示されており、各電極の測定結果がどのようにしてジェスチャーに変換されるかが説明されています。

1.測定方法の選択（988）:
・デバイスが低消費電力モード（粗検出）または高精度モード（詳細検出）を選択し、測定方法を決定します。

2.電極の選択と設定（990）:
・マルチプレクサを使用して、特定の電極ペアを測定回路に接続し、差動測定を行います。

3.測定と再設定（992, 994）:
・電極ペアの差動測定を行い、必要に応じて他の電極ペアに切り替えます。

4.ジェスチャー認識（996）:
・取得した測定結果を既知のジェスチャーパターンと比較し、対応する動作を認識します。

用語の解説

・筋電図（EMG）: 筋肉が活動する際に発生する電気信号を測定する技術。手首の動きを詳細に捉えるために用いられます。
・差動増幅器: 入力される2つの信号の差を増幅する回路で、ノイズの影響を低減し、信号を強調する役割を果たします。
・多重化器（マルチプレクサ）: 複数の入力を選択し、1つの出力に切り替える回路。多くの電極からのデータを効率よく処理するために使用されます。

この技術の意義と展望

この技術は、ユーザーの手の動きを自然な形で検出し、ウェアラブルデバイスを用いた新しいインターフェースを実現します。将来的には、スマートウォッチやAR/VRデバイスのジェスチャー操作、さらには身体の他の部位の動作検出にも応用が期待されます。今後の発展により、私たちの日常生活におけるデバイス操作の在り方が大きく変わるかもしれません。

ライター

＋VISION編集部

普段からメディアを運営する上で、特許活用やマーケティング、商品開発に関する情報に触れる機会が多い編集スタッフが順に気になったテーマで執筆しています。

好きなテーマは、#特許　 #IT　#AIなど新しいもが多めです。