遠隔手術
外科医の目に患者情報を投影！
医療ドラマなどを見ていると、外科手術の中でも非常に細かな、人間の手では困難な施術を行うにあたって、ロボットハンドを使って外科医が遠隔で手術をすることがありますよね。
このような手術を「ロボット外科手術システム」といいますが、外科医は手術部位をはじめとした患者の状態（ステータス）を、パソコンなどの固定されたモニター画面で確認しながらロボットを操作していくことになります。
しかしながら、このような固定画面で手術をモニタリングしていると、画面上に表示されるステータスを確認するために、操作中の手術部位や手術用器具から目をそらすことが必要であり、ロボット外科手術システムでは避けられない課題となっていました。
そこで、VR技術を応用して、外科医の視線が手術部位からそれることがないよう、透明な表示部分を含む頭部装着型ディスプレイを用いた新たなVRナビゲーションシステムが開発されました。これを用いることで、外科医は手術部位をディスプレイの向こうに透かして目視し、ディスプレイに別個の情報を表示させることで、同じ視野内に情報を重ねて表示できるようにしたのです。VR技術が、外科手術の分野にまで応用されているなんて、ちょっと意外かもしれませんが、これまで解決できなかった問題をVRが解決していくのはとても興味深いですね。
■従来の課題
精密かつ正確な手術の遂行を目的に、多くのロボット外科手術システムが外科医を補助するために使用されている。
例えば、「手術ナビゲーションシステム」と呼ばれる装置では、術前･術中に撮像された患者の医療画像をシステムに登録し、患者の解剖学的構造や健康情報を可視的に把握することで、より安全で正確な手術の遂行を可能とする。
一般的に、外科医は処置中、固定モニター（例えば、ロボット外科手術システムに取り付けられたり、またはその横に置かれたりする）を使用して、患者の健康状態や手術の進捗をモニタリングすることができる。しかしながら従来のモニターは、外科医が画面上に表示されるナビゲーション情報を得るためには、操作中の手術部位および手術用器具から目をそらさなければならず、また表示画面は、外科手術環境の一部について、外科医の視界を物理的に遮りかねないという課題があった。
■本発明の効果
本発明のナビゲーションシステムによれば、処置に関連する広範囲のナビゲーション情報（患者の解剖学的構造モデル、手術用器具またはロボット外科手術システムの軌道もしくは位置など）を取得することができ、このナビゲーション情報は、処置中に外科医の視野にある仮想ディスプレイ上に表示される。当該映像は、術中の外科医の視界を物理的に遮ることがなく、手術部位および手術用器具への集中を高い状態で維持することを可能とする。
■特許請求の範囲のポイントなど
本発明のポイントを下記に示す。
以下より構成される、ロボット外科手術システムと併用するための拡張現実ナビゲーションシステム
・ユーザーに対して拡張グラフィックを表示するように構成された少なくとも部分的に透明な表示画面を備えた頭部装着型ディスプレイ、
・現実世界の特徴を識別するための少なくとも一つの検出器
・マーカーを有し、検出器によって検出される手術用器具であって、手術用器具の軌道もしくは位置が頭部装着型ディスプレイに表示される、拡張現実ナビゲーションシステム
本発明の更なるポイントとして、
・頭部装着型ディスプレイに、現実世界の特徴を検出するためのカメラシステムが電気的に結合している
・頭部装着型ディスプレイの測定された動きに基づいて、動き信号を出力するためのセンサーをさらに含む、が挙げられる。
■全体構成
本発明の一部の実施形態に従って動作する頭部装着型ディスプレイ装置を図１に示す。
【図１】本発明の頭部装着型ディスプレイ装置
図中、ＨＭＤ１００は、拡張グラフィック（例えば、映像および画像）を処理して、ユーザーに表示するための、表示モジュールに接続された半透明の表示画面１１０を含む。
ＨＭＤ１００はヘッドバンド１２０に取り付けられ、表示画面１１０がユーザーの周辺視野内に延びるように位置付けられる。ハウジング１１８は、頭部の動きの感知及び、ユーザーの手またはその他のオブジェクトによってなされたジェスチャーや音声を感知／解釈するために動作しうる。
ユーザーは、眼鏡１５０のレンズから突出して、視野を拡大するＴＴＬ（ｔｈｒｏｕｇｈ －ｔｈｅ－ｌｅｎｓ）ルーペ１５２を含む眼鏡１５０を着用する。表示画面１１０は、ハウジング１１８から下向きに延び、ユーザーの視野内、またはユーザーの周辺視野内にあるＴＴＬルーペ１５２に直接隣接するように配置することができる。表示画面１１０は、ユーザーが表示画面１１０を通して見える環境に重ね合わせた映像を見ることができる透視表示タイプであってもよい。
表示画面１１０は、ハウジング１１８を伸縮させる２アーム式摩擦ジョイント連結部１１２を通して、ユーザーによって見やすい視界を提供する位置へ移動することができる。玉継ぎ手式ジョイント１１４は、連結部１１２とハウジング１１８との間に接続され、表示画面１１０の平面調整を提供する。玉継ぎ手式ジョイント１１４とハウジング１１８との間に接続されたピボットジョイント１１６は、ユーザーがハウジング１１８および接続された表示画面１１０を旋回することを可能にする。これにより、表示画面１１０は、使用されていない時にユーザーの周辺視野外にフリップアップすることができる。
ヘッドバンド１２０は、慣性センサー、検出器（例えば、光学カメラ）、マイクロホンなどを取り外し可能に取り付けることができる複数の取付け点を有してもよい。取付け点のいくつかは、取り付けられた慣性センサー、検出器などの間で定義された物理的整列を維持するために、剛直な支持構造を持ちうる。
■細部
本発明の実施形態における、頭部装着型ディスプレイを含む拡張現実ナビゲーションシステムの一例を図２に示す。
【図２】本実施形態における拡張現実ナビゲーションシステムの一例
拡張現実ナビゲーションシステムにより、外科医またはその他のユーザーは、手術部位から目を離すことなく、あるいは外科手術環境を横切って、異なる医療情報の一つ以上の仮想ディスプレイを見ることができる。一部の実施形態では、外科医の頭部および対応するユーザーの見る視線のピッチに基づいて、仮想ディスプレイの三つのモードが選択的に起動される。三つのモードは、低（外科手術スペースで直接）、中、高（水平の目の高さ）といった三つの対応する視野角の範囲を通して、ＨＭＤ７５０のピッチ角を増加させることによって別々に起動されうる。
フルスクリーン動作モードは、外科医が手術部位を見下げたと（例えば、動きセンサーによって）判断された時に作動し、これは、ピッチが第一のピッチ閾値（例えば、約－４５°）未満となった時に判断される。フルスクリーン動作モードでは、拡張グラフィックを使用して、画定された一つのビデオストリーム（例えば、ＨＤＭＩ（登録商標）チャンネルを経由した主要ビデオストリーム）がＨＭＤ７５０の表示画面７５２を通してフルスクリーンで表示される。
■実施例
本発明に記載される方法およびシステムで使用することができるコンピューティング装置および携帯型コンピューティング装置の実施例を図３に示す。
【図３】本実施形態におけるコンピューティング装置の実施例
コンピューティング装置１８００は、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバー、ブレードサーバー、メインフレーム、およびその他の適切なコンピュータなど、様々な形態のデジタルコンピュータを表すことを意図する。携帯型コンピューティング装置１８５０は、パーソナルデジタルアシスタント、携帯電話、スマートフォン、およびその他の類似のコンピューティング装置など、様々な形態のモバイル装置を表すことを意図している。ここで示される構成要素、それらの接続および関係、およびそれらの機能は、例としてのみ意味され、限定することを意味するものではない。
コンピューティング装置１８００は、プロセッサ１８０２、メモリ１８０４、記憶装置１ ８０６、メモリ１８０４および複数の高速拡張ポート１８１０へ接続する高速インターフェース１８０８、および低速拡張ポート１８１４および記憶装置１８０６に接続する低速インターフェース１８１２を含む。プロセッサ１８０２、メモリ１８０４、記憶装置１８０６、高速インターフェース１８０８、高速拡張ポート１８１０、および低速インターフェース１８１２それぞれは、さまざまなバスを使用して相互接続されており、必要に応じて共通のマザーボードまたはその他の方法で取り付けられてもよい。プロセッサ１８０２は、メモリ１８０４または記憶装置１８０６内に保存された命令を含むコンピューティング装置１８００内で実行する命令を処理することができ、または、高速インターフェース１８０８に結合されたディスプレイ１８１６などの外部入力／出力装置上のＧＵＩのグラフィカル情報を表示することができる。他の実施形態では、複数のプロセッサおよび／または複数のバスを、必要に応じて、複数のメモリおよびメモリのタイプと共に使用することができる。また、複数のコンピューティング装置が接続されてもよく、各装置は、必要な動作（例えば、サーバーバンク、ブレードサーバーのグループ、またはマルチプロセッサシステム）を提供する。また、複数のコンピューティング装置が接続されてもよく、各装置は、必要な動作（例えば、サーバーバンク、ブレードサーバーのグループ、またはマルチプロセッサシステム）を提供する。
■展望、結語
以上、本発明によれば、処置に関連する広範囲にわたるナビゲーション情報を取得し、外科医の視野にある仮想ディスプレイ上に提示される。術中の外科医の視界を物理的に遮ることがないため、手術部位および使用中の手術用器具への集中を維持することができる。
■概要
出願国：日本 発明の名称：ロボット外科手術システムで使用するための拡張現実ナビゲーションシステムおよびその使用方法
出願番号：特願2019-25356
特許番号：特開2019-177134
出願日：2019年2月15日
公開日：2019年10月17日
出願人：グローバスメディカルインコーポレイティッド
経過情報：特許審査中
その他情報：本特許は日本、米国、欧州及び中国に出願されている
IPC：なし
＜免責事由＞
本解説は、主に発明の紹介を主たる目的とするもので、特許権の権利範囲（技術的範囲の解釈）に関する見解及び発明の要旨認定に関する見解を示すものではありません。自社製品がこれらの技術的範囲に属するか否かについては、当社は一切の責任を負いません。技術的範囲の解釈に関する見解及び発明の要旨認定に関する見解については、特許（知的財産）の専門家であるお近くの弁理士にご相談ください。
