テレワークで進む!?AR・VR技術たち〜職業編〜

vol.6//

テレワークで進む!?
AR・VR技術たち〜職業編〜

目次

INTRODUCTION

2016年に「プレイステーションVR」が発売となって以来、VR/AR技術は主にゲーム業界等で注目されてきましたが、現在、単にバーチャルな画像を提供するだけのVR技術は過去のものとなり、最近ではVRによって新たな「体験・経験」ができる技術が注目されてきています。また、AR(拡張現実)については、ポケモンGoのようなARアプリが大ヒットし、今後さらに現実空間を拡張する新たな表現や技法が期待されています。
VR/AR技術は、まだそれほど浸透していないと思われるかもしれませんが、上述のポケモンGoなどは多くの人が楽しんでいるAR技術であり、実は我々はこれらの技術を既にあたりまえのものとして使っています。こうした「楽しむ」ための技術という段階から、今後はVR/ARを成熟した技術として、仕事で使いこなす段階に来ているともいえます。

そこで、今回は職業体験や実際の仕事に役立つVR/ARの新技術について、その一部を解説していきます。

消火訓練

VRで臨場感満点の消火訓練が可能に!

VRでリアリティあふれる消火体験シミュレーション

会社や学校、または地域の自治体などで、消火訓練を行うことは全国で広く行われています。
消防署の協力の元、室内を模したセットを組んで、実際に火災を発生させて消火器を使って火を消し止めるといった訓練に、実際に参加された方も多いのではないでしょうか。
しかし、このようなセットを組んだり、また、実際に火をつけたりすることは、大掛かりでコストがかかるばかりでなく、専門家の指導の元で行うことが前提となっている点で、訓練参加者の世代等を問わずに、誰でも手軽に消火体験ができるというものではありませんでした。
そこで、VR(仮想現実)空間に炎を発生させ、これを実際の空間の映像(実景)と組み合わせることによって、実際に手に持った消火器のホース先端から、仮想の消火剤が噴射され、仮想空間内にある炎を鎮火させるという、まったく新しい消火体験シミュレーションが可能となりました。従来、VR技術は仮想空間に没入することを主目的としていましたが、実景とVRを組み合わせることによって、現実感を損なうことなく、実際の消火活動の手順を、臨場感を持って体験することができるようになったのです。また、この消火体験に必要なものは消火器(模型でOK!)とヘッドマウントディスプレイのみなので、室内で手軽に、かつ安全に消火訓練を実施できるというわけです。これならオフィスや学校でも、効果的な消火訓練ができそうですね。

■従来の課題

従来、消火訓練シミュレータは、大がかりな設備を必要としていました。

例えば、トラック等の荷台に室内のセットを用意し、実際に火災を発生させて、炎に消火剤を投入できるように設置されたものがあります。しかし、専門家向けであり簡便に体験できず、手軽に利用できませんでした。これに対して、近年、VR(仮想現実)の技術を利用した消火訓練シミュレータが考え出されています。しかし、このシミュレータは、あくまでも仮想現実(VR)空間のなかで実施するものであり、実際の道具を使用して体験しながら経験できるものではありません。
そこで、従来よりも簡便に利用でき、臨場感を伴って実際の消火活動の手順を体験できる消火体験シミュレーションシステムが要望されています。

本発明は、上記の要望に鑑みてなされたものであり、実際の消火活動の手順が臨場感をもって体験できる、VRを用いた消火体験シミュレーションシステムを提供することを目的とします。

■本発明の効果

本発明は、VRを用いた消火体験シミュレーションシステム、体験用消火器、及びプログラムに関するものです。本発明では、実際の消火器に似た体験用消火器と、ヘッドアップディスプレイ(HMD)とを使用して、例えば室内であっても、実際の消火活動と同じ手順で消火体験を経験するこができます。

■特許請求の範囲のポイントなど

本発明の特許請求の範囲における概要を説明しますと、本発明のVRを用いた消火体験シミュレーションシステムは、
・体験者に装着されるヘッドマウントディスプレイ(HMD)と、
・HMDのコントローラ機能を兼ねる体験用消火器と、を備えます。

本発明の全体構成を説明するために、特許請求の範囲に記載された「消火体験シミュレーションシステム」について説明します。

■全体構成

本発明の「消火体験シミュレーションシステム」は、上述しましたように、
・ヘッドマウントディスプレイ(HMD)と、
・体験用消火器と、を備えます。
ヘッドマウントディスプレイ(HMD)は、映像を表示するディスプレイと、コンピュータと、通信処理を行う通信部と、実景を撮像する実景撮像用カメラと、を有します。
体験用消火器は、HMDとの間で通信を行う通信部と、消火器本体と、操作レバーと、仮想現実の消火剤を先端から噴出させるホースと、操作レバーの動きを検出する第1のセンサと、ホースの先端の動きを検出する第2のセンサと、を有します。
なお、HMDのコンピュータは、HMDの操作を制御するようにはたらきます。また、体験用消火器の操作レバーは、HMDが仮想現実(VR)表示モードであるときに、仮想現実の消火剤を噴射するスイッチとして機能します。

上記コンピュータの制御は、実映像表示モード/仮想現実表示モードを切り換えるように機能します。実映像表示モードのときには、HMDのカメラで撮像した実映像をHMDのディスプレイに表示させる実映像と、仮想現実映像との切換機能を有します。
また、上記コンピュータの制御は、実映像表示モードから仮想現実映像表示モードに切り換わると、体験用消火器のホースの先端から仮想現実の消火剤が噴射されるシミュレーション映像と、仮想現実の炎が鎮静されるシミュレーション映像と、を表示させる仮想現実映像生成機能を有します。

このシミュレーション映像は、
・体験用消火器の第1のセンサ(操作レバーの動きを検出)の検出情報と、
・第2のセンサ(ホースの先端の動きを検出)の検出情報と、を基にして表示されます。

本発明には、上記の「消火体験シミュレーションシステム」において使用される「体験用消火器」と、上記ヘッドマウントディスプレイ(HMD)のコンピュータを作動させる「プログラム」も含まれています。

■細部

本発明の特許請求の範囲には、以下のような内容の発明も記載されています。
上記コンピュータの制御において、実映像/仮想現実映像切換機能は、実映像表示モードでの操作レバーの動きを第1のセンサで検出した後に、実映像表示モードの実行を終了するように設計されています。すなわち、仮想現実の消火剤を噴射すると、実映像表示モードから仮想現実映像表示モードに切り換わって、仮想現実映像で消火体験を実行するように設計されています。

さらに、下位概念の発明として、本発明の特許請求の範囲には、以下のような発明も記載されています。

HMDの通信部との間で通信できる(大きい)モニターを別途設けます。このモニターは、体験者がHMDのディスプレイで見ている映像を表示します。このモニター映像は、実映像の映像データと、仮想現実映像の映像データとを基にして表示されます。

上記コンピュータ制御の仮想現実映像生成機能は、好ましくは以下のように設計されています。
実映像表示モードから仮想現実映像表示モードに切り換えたときに、仮想現実空間に消火活動前の火災映像を表示させます。続いて、消火活動前の火災映像が体験者に近寄ってきて止まり、その後、消火活動のシミュレーション映像を表示させ、炎が鎮静化されて小さくなると、消火活動によって小さくなった炎の映像がさらに近寄ってきて止まるように設計されています。
また、消火活動前や消火活動のシミュレーション映像の背景映像に、体験者が見渡すことができるパノラマ映像を表示させるように設計されています。
上記コンピュータ制御は、好ましくは以下のように設計されています。
仮想現実空間における消火活動が終了した後、体験者の消火活動を所定の基準に従って評価し、評価を示す情報をHMDのディスプレイに表示させる機能をさらに有します。

このような発明を実施するための具体例について、以下に説明します。

■実施形態

図1(A)は、VR(仮想現実)を用いた消火体験シミュレーションシステムの基本的な構成例を示します。図1(B)は、VRを用いた消火体験シミュレーションにおける消火活動例を示します。

図1(A)の左下側に示されるように、HMD10用のコントローラを兼ねる体験用消火器20が、予め用意されています。
この体験用消火器20は、
・HMD10の通信部(第1の通信部)との間で通信を行う通信部と、
・消火器本体22と、
・HMD10が仮想現実(VR)表示モードであるときに、仮想現実の消火剤を噴射するスイッチとして機能する操作レバー24と、
・仮想現実の消火剤5を先端から噴出させる噴出具として機能するホース26と、
・体験者Uによる操作レバー24の操作を検出する第1のセンサS1と、
・ホース26の先端28の動きを検出する第2のセンサS2と、を備えています。
訓練用消火器20は、HMD10用のコントローラとして機能し、また、実際の消火器操作の体験用具としても機能します。

図1(A)の右側に示されるように、体験者Uの近くに設置されたモニター30は、図1(B)に示すごとく、HMD10の通信部(第1の通信部)との間で通信を行う通信部(第3の通信部)32を備えています。なお、モニター30は、画像処理装置を搭載しています。
モニターの画像処理装置は、体験者UがHMD10のディスプレイを通じて見る映像を表示します。この映像は、HMD10が実映像表示モードであるときの実映像の映像データと、仮想現実映像表示モードであるときの仮想現実映像の映像データとを基にして入力され、HMD10の通信部(第1の通信部)及びモニター30の通信部(第3の通信部)32を経由して入力されます。図1(A)の例では、体験者Uが見ている体験用消火器20の実映像、及び、体験者Uの左手の手首付近の実映像が映し出されています。
図1(A)の例では、消火活動の指導者TCも、順番待ちをしている体験希望者ADも、モニター30の画像を見ています。これによって、多くの人が、体験者Uと同じ映像を通して、同じ経験を共有できます。従って、消火活動の指導者TCが、体験者Uに、適宜、助言を与えることができます。また、観衆ADが、叫び声をあげるなどして、現実感ある演出も可能となります。
消火器本体22や自身の手(右手3R)の映像(実映像)を体験者が確認した後、図1(B)へと移行し、実映像表示モードから仮想現実表示モードへと切り換えられます。

図1(B)で示すように、VRを用いた消火体験シミュレーションが開始されます。HMD10が、実映像表示モードから仮想現実映像表示モードに切り換えられると、下記の複数画像を重ね合わせた画像合成によって、仮想現実表示のためのフレーム映像VR(F)を生成します。
・体験者Uの手に握られたホース26の先端28を含む映像VR(1)
・ホース26の先端28から仮想現実の消火剤5が噴射される映像VR(2)
・仮想現実の炎7が鎮静される映像VR(3)
・背景対象物9(例えば、火元となるタコ足配線)を含む背景映像VR(4)
また、生成したフレーム映像VR(F)映像をHMD10のディスプレイに表示させます。これと併行して、体験者Uが見ている映像を映像モニター30に映し出します。

図1(A)、(B)に示されるように、本実施形態のVR(仮想現実)を用いた消火体験シミュレーションシステムでは、体験用消火器20(HMD10のコントローラを兼ねる)が実際の消火器と似ています、よって、実際の消火活動と同様の操作(レバー24の操作やホース26の先端28の操作)を、体験者U自身の手3(左手3L、右手3R)で行うことができます。従って、体験者Uは、実際の消火器の操作に慣れることができます。
また、すぐに仮想現実空間に入り込むのではなく、図1(A)に示されるように、まず、実映像をディスプレイに表示し、訓練用消火器20と手(右手3R)の位置等を確認した後、仮想現実(VR)空間での消火活動シミュレーションを開始することができます。
従って、現実の感覚を体験しつつ、実際の消火活動と同じ手順で、消火作業を行うことができます。体験者Uは、実際の消火活動の臨場感を持ちながら消火体験できます。

図2(A)~(D)は、それぞれ、ホースの先端から噴射する消火剤の方向を変化させる例を示します。体験者は、ホースの先端を握る手の手首の支点を固定し、支点を中心として手首を回動させます。

図2(A)は、右手3Rと、ホース26の先端28と、ホース26の先端28から噴出される仮想現実の消火剤5と、仮想現実の炎7とを、仮想現実空間において上から見たときの画像を示します。図2(B)は、そのVR画像がモニター30に映し出されている様子です。
図2(A)、(B)の例で示されるように、仮想現実空間では右手3Rの手首の支点K1の位置が固定されています。仮に、実際の右手3Rがさまざまな方向へ動いたとしても、仮想現実空間でその動きは反映されず、常に、支点K1は同じ位置にあります。図3(A)の例では、体験者Uから見て左右方向の横回動だけが、体験用消火器20のセンサS2によって検出されます。また、例えば図2(C)に示すように、同様に上下方向の縦回動だけが体験用消火器20のセンサS2によって検出できます。これによって、画像処理の負担の軽減など、仮想現実映像生成機能の負担を減らすことができます。

次に、図3(A)~(D)に沿って、VRを用いた消火体験の手順例、仮想現実の炎の見える位置等について説明します。

図3(A)では、HMD10を装着した体験者Uが、まず、体験用消火器20から安全ピン13を引き抜きます。次に、一方の手(ここでは右手3R)をレバー24に掛け、他方の手(ここでは左手3L)でホース26の先端28を保持します。レバーを握りしめていないので第1のセンサS1の検出信号はオフ状態です。
図3(A)の状態では、ゴーグルとして機能するモバイル端末16は、カメラで撮像した実映像を表示するため、体験者Uは、体験用消火器20や手の位置等を自分の眼を通して確認することができます。

続いて、図3(B)に示すように、HMD10が、実映像表示モードから仮想現実映像表示モードへと切り換えられます。ゴーグル部分が黒く表示されています。例えば、仮想現実空間に、火元となっているタコ足配線9の映像が表示されます。このとき、体験者Uから炎7までの距離はL0です。その後、その映像が体験者Uの側に近寄ってきて止まり、体験者Uから炎7までの距離はL1(L1<L0)となり、短くなります。
このように、火元の映像を体験者Uに近づけさせます。仮に、前後方向の動きが考慮されないと、炎までの距離感をつかみにくいのです。この点を考慮し、仮想現実空間における火元の映像を、適切なタイミングで体験者Uに近づけて、体験者Uが炎に向かって歩を進めたような感覚を得ることができるように設定されています。実映像表示モードから仮想現実映像表示モードに切り換わったときに、すぐに消火活動を開始させるのではなく、火元の映像を体験者Uに近づけることで、消火剤5が炎に届く距離まで近づくことが重要である、という消火活動の基本を体験者Uが学べます。

続いて、図3(C)に示すように、消火活動のシミュレーション映像が表示されます。仮想現実空間内において、消火剤5の噴射によって、炎7が鎮静化される様子を示す映像が表示されます。

最後に、図3(D)に示すように、炎7が鎮静化されて小さくなると、小さくなった炎を含む消火活動後の映像が、体験者Uに、さらに近寄って止まります。ある程度まで炎が鎮静化されたタイミングで、火元映像を近づけることで、油断せずに最後まで確実に炎を消すことが重要である、という基本を学ぶことができます。やがて、炎は完全に鎮火され、体験シミュレーションが終了します。

■展望、結語

以上ご説明しましたように、本発明のVRを用いた消火体験シミュレーションシステム、体験用消火器、及びプログラムによって、臨場感を伴って実際の消火活動の手順を体験できることができます。上述したような工夫が詰め込まれた本発明は、大掛かりな設備がなくても簡便に実施できることから、将来的に注目できるものです。

■概要

出願国:日本 発明の名称:VRを用いた消火体験シミュレーションシステム、体験用消火器、及びプログラム
出願番号:特願2017-128155(P2017-128155)
特許番号:特許第6410378号 (P6410378)
出願日:2017年6月30日
公開日:2019年1月24日
登録日:2018年10月05日
出願人:MXモバイリング株式会社
経過情報:2度の拒絶理由通知書を受け、補正手続きを経たうえで特許査定となり、特許料が支払われて、特許となりました。
その他情報:本権利は抹消されていません。存続期間満了日は2037年6月30日です。
IPC:G09B

<免責事由>
本解説は、主に発明の紹介を主たる目的とするもので、特許権の権利範囲(技術的範囲の解釈)に関する見解及び発明の要旨認定に関する見解を示すものではありません。自社製品がこれらの技術的範囲に属するか否かについては、当社は一切の責任を負いません。技術的範囲の解釈に関する見解及び発明の要旨認定に関する見解については、特許(知的財産)の専門家であるお近くの弁理士にご相談ください。

遠隔手術

外科医の目に患者情報を投影!

外科医の目に患者情報を投影!

医療ドラマなどを見ていると、外科手術の中でも非常に細かな、人間の手では困難な施術を行うにあたって、ロボットハンドを使って外科医が遠隔で手術をすることがありますよね。
このような手術を「ロボット外科手術システム」といいますが、外科医は手術部位をはじめとした患者の状態(ステータス)を、パソコンなどの固定されたモニター画面で確認しながらロボットを操作していくことになります。
しかしながら、このような固定画面で手術をモニタリングしていると、画面上に表示されるステータスを確認するために、操作中の手術部位や手術用器具から目をそらすことが必要であり、ロボット外科手術システムでは避けられない課題となっていました。
そこで、VR技術を応用して、外科医の視線が手術部位からそれることがないよう、透明な表示部分を含む頭部装着型ディスプレイを用いた新たなVRナビゲーションシステムが開発されました。これを用いることで、外科医は手術部位をディスプレイの向こうに透かして目視し、ディスプレイに別個の情報を表示させることで、同じ視野内に情報を重ねて表示できるようにしたのです。VR技術が、外科手術の分野にまで応用されているなんて、ちょっと意外かもしれませんが、これまで解決できなかった問題をVRが解決していくのはとても興味深いですね。

■従来の課題

精密かつ正確な手術の遂行を目的に、多くのロボット外科手術システムが外科医を補助するために使用されている。

例えば、「手術ナビゲーションシステム」と呼ばれる装置では、術前・術中に撮像された患者の医療画像をシステムに登録し、患者の解剖学的構造や健康情報を可視的に把握することで、より安全で正確な手術の遂行を可能とする。
一般的に、外科医は処置中、固定モニター(例えば、ロボット外科手術システムに取り付けられたり、またはその横に置かれたりする)を使用して、患者の健康状態や手術の進捗をモニタリングすることができる。しかしながら従来のモニターは、外科医が画面上に表示されるナビゲーション情報を得るためには、操作中の手術部位および手術用器具から目をそらさなければならず、また表示画面は、外科手術環境の一部について、外科医の視界を物理的に遮りかねないという課題があった。

■本発明の効果

本発明のナビゲーションシステムによれば、処置に関連する広範囲のナビゲーション情報(患者の解剖学的構造モデル、手術用器具またはロボット外科手術システムの軌道もしくは位置など)を取得することができ、このナビゲーション情報は、処置中に外科医の視野にある仮想ディスプレイ上に表示される。当該映像は、術中の外科医の視界を物理的に遮ることがなく、手術部位および手術用器具への集中を高い状態で維持することを可能とする。

■特許請求の範囲のポイントなど

本発明のポイントを下記に示す。

以下より構成される、ロボット外科手術システムと併用するための拡張現実ナビゲーションシステム
・ユーザーに対して拡張グラフィックを表示するように構成された少なくとも部分的に透明な表示画面を備えた頭部装着型ディスプレイ、
・現実世界の特徴を識別するための少なくとも一つの検出器
・マーカーを有し、検出器によって検出される手術用器具であって、手術用器具の軌道もしくは位置が頭部装着型ディスプレイに表示される、拡張現実ナビゲーションシステム

本発明の更なるポイントとして、
・頭部装着型ディスプレイに、現実世界の特徴を検出するためのカメラシステムが電気的に結合している
・頭部装着型ディスプレイの測定された動きに基づいて、動き信号を出力するためのセンサーをさらに含む、が挙げられる。

■全体構成

本発明の一部の実施形態に従って動作する頭部装着型ディスプレイ装置を図1に示す。

【図1】本発明の頭部装着型ディスプレイ装置

図中、HMD100は、拡張グラフィック(例えば、映像および画像)を処理して、ユーザーに表示するための、表示モジュールに接続された半透明の表示画面110を含む。
HMD100はヘッドバンド120に取り付けられ、表示画面110がユーザーの周辺視野内に延びるように位置付けられる。ハウジング118は、頭部の動きの感知及び、ユーザーの手またはその他のオブジェクトによってなされたジェスチャーや音声を感知/解釈するために動作しうる。
ユーザーは、眼鏡150のレンズから突出して、視野を拡大するTTL(through -the-lens)ルーペ152を含む眼鏡150を着用する。表示画面110は、ハウジング118から下向きに延び、ユーザーの視野内、またはユーザーの周辺視野内にあるTTLルーペ152に直接隣接するように配置することができる。表示画面110は、ユーザーが表示画面110を通して見える環境に重ね合わせた映像を見ることができる透視表示タイプであってもよい。
表示画面110は、ハウジング118を伸縮させる2アーム式摩擦ジョイント連結部112を通して、ユーザーによって見やすい視界を提供する位置へ移動することができる。玉継ぎ手式ジョイント114は、連結部112とハウジング118との間に接続され、表示画面110の平面調整を提供する。玉継ぎ手式ジョイント114とハウジング118との間に接続されたピボットジョイント116は、ユーザーがハウジング118および接続された表示画面110を旋回することを可能にする。これにより、表示画面110は、使用されていない時にユーザーの周辺視野外にフリップアップすることができる。
ヘッドバンド120は、慣性センサー、検出器(例えば、光学カメラ)、マイクロホンなどを取り外し可能に取り付けることができる複数の取付け点を有してもよい。取付け点のいくつかは、取り付けられた慣性センサー、検出器などの間で定義された物理的整列を維持するために、剛直な支持構造を持ちうる。

■細部

本発明の実施形態における、頭部装着型ディスプレイを含む拡張現実ナビゲーションシステムの一例を図2に示す。

【図2】本実施形態における拡張現実ナビゲーションシステムの一例

拡張現実ナビゲーションシステムにより、外科医またはその他のユーザーは、手術部位から目を離すことなく、あるいは外科手術環境を横切って、異なる医療情報の一つ以上の仮想ディスプレイを見ることができる。一部の実施形態では、外科医の頭部および対応するユーザーの見る視線のピッチに基づいて、仮想ディスプレイの三つのモードが選択的に起動される。三つのモードは、低(外科手術スペースで直接)、中、高(水平の目の高さ)といった三つの対応する視野角の範囲を通して、HMD750のピッチ角を増加させることによって別々に起動されうる。
フルスクリーン動作モードは、外科医が手術部位を見下げたと(例えば、動きセンサーによって)判断された時に作動し、これは、ピッチが第一のピッチ閾値(例えば、約-45°)未満となった時に判断される。フルスクリーン動作モードでは、拡張グラフィックを使用して、画定された一つのビデオストリーム(例えば、HDMI(登録商標)チャンネルを経由した主要ビデオストリーム)がHMD750の表示画面752を通してフルスクリーンで表示される。

■実施例

本発明に記載される方法およびシステムで使用することができるコンピューティング装置および携帯型コンピューティング装置の実施例を図3に示す。

【図3】本実施形態におけるコンピューティング装置の実施例

コンピューティング装置1800は、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバー、ブレードサーバー、メインフレーム、およびその他の適切なコンピュータなど、様々な形態のデジタルコンピュータを表すことを意図する。携帯型コンピューティング装置1850は、パーソナルデジタルアシスタント、携帯電話、スマートフォン、およびその他の類似のコンピューティング装置など、様々な形態のモバイル装置を表すことを意図している。ここで示される構成要素、それらの接続および関係、およびそれらの機能は、例としてのみ意味され、限定することを意味するものではない。
コンピューティング装置1800は、プロセッサ1802、メモリ1804、記憶装置1 806、メモリ1804および複数の高速拡張ポート1810へ接続する高速インターフェース1808、および低速拡張ポート1814および記憶装置1806に接続する低速インターフェース1812を含む。プロセッサ1802、メモリ1804、記憶装置1806、高速インターフェース1808、高速拡張ポート1810、および低速インターフェース1812それぞれは、さまざまなバスを使用して相互接続されており、必要に応じて共通のマザーボードまたはその他の方法で取り付けられてもよい。プロセッサ1802は、メモリ1804または記憶装置1806内に保存された命令を含むコンピューティング装置1800内で実行する命令を処理することができ、または、高速インターフェース1808に結合されたディスプレイ1816などの外部入力/出力装置上のGUIのグラフィカル情報を表示することができる。他の実施形態では、複数のプロセッサおよび/または複数のバスを、必要に応じて、複数のメモリおよびメモリのタイプと共に使用することができる。また、複数のコンピューティング装置が接続されてもよく、各装置は、必要な動作(例えば、サーバーバンク、ブレードサーバーのグループ、またはマルチプロセッサシステム)を提供する。また、複数のコンピューティング装置が接続されてもよく、各装置は、必要な動作(例えば、サーバーバンク、ブレードサーバーのグループ、またはマルチプロセッサシステム)を提供する。

■展望、結語

以上、本発明によれば、処置に関連する広範囲にわたるナビゲーション情報を取得し、外科医の視野にある仮想ディスプレイ上に提示される。術中の外科医の視界を物理的に遮ることがないため、手術部位および使用中の手術用器具への集中を維持することができる。

■概要

出願国:日本 発明の名称:ロボット外科手術システムで使用するための拡張現実ナビゲーションシステムおよびその使用方法
出願番号:特願2019-25356
特許番号:特開2019-177134
出願日:2019年2月15日
公開日:2019年10月17日
出願人:グローバスメディカルインコーポレイティッド
経過情報:特許審査中
その他情報:本特許は日本、米国、欧州及び中国に出願されている
IPC:なし

<免責事由>
本解説は、主に発明の紹介を主たる目的とするもので、特許権の権利範囲(技術的範囲の解釈)に関する見解及び発明の要旨認定に関する見解を示すものではありません。自社製品がこれらの技術的範囲に属するか否かについては、当社は一切の責任を負いません。技術的範囲の解釈に関する見解及び発明の要旨認定に関する見解については、特許(知的財産)の専門家であるお近くの弁理士にご相談ください。

溶接訓練

AR(拡張現実)を利用した溶接技術訓練システム!?

ARを利用した溶接技術訓練システム!?

工場や造船所、建設現場において、熟練した溶接工の存在はとても重要です。
溶接工のようなエッセンシャルワーカーは、世の中に必要不可欠である反面、比較的早期に退職してしまう傾向にあり、従来のような指導員による溶接工訓練だけでは技術の習得が遅くなってしまいます。長年にわたって、このような訓練と合わせてより効率的な訓練を行う手法やツールが必要とされてきました。
そこで、遠隔指導を含む溶接訓練のためのシステムが新しく開発されました。訓練は、所定の訓練プロセス(例えば高等専門学校の溶接コースなど)に基づいて、このコースに合格すること等を目的に進められます。これらのコースは①自動音声指導、②指導員支援の音声指導、③移行形態フィードバック、④拡張現実による溶接レンダリングからなります。これらの訓練はリモートで行われ、訓練生の横に指導員が立ち会う必要はありません。最終的な拡張現実による指導においては、マイクと透過VRディスプレイが備えられた溶接ヘルメットを使用します。これにより、訓練生の透過ディスプレイにアーク溶接に必要な溶融池の形状及び位置が示されます。
最終的には、訓練演習の終了時に、溶接パフォーマンスを評価され、合格・不合格が決定されるという仕組みです。
若年人口の減少が避けられない日本社会においては、このような遠隔指導による技術習得が必須となってくるのでしょうね。

■従来の課題

本件発明は溶接工の訓練システム、および訓練方法に関するものです。

近年、工場、造船所、建設現場などの製造業界では熟練した溶接工が不足しています。そのため、製造業界では溶接工を確保するため、従来型の指導員による溶接工訓練と合わせ、より効率的な溶接工訓練技術の開発が渇望されています。しかし、溶接作業の大半を占める手作業の出来栄えを追跡することができるツールが不足しているのが現状です。

■本発明の効果

本件発明は、溶接訓練生による実際の手作業によって生成されたデータをリアルタイムで取り込み、処理、表示することによって、効率的に溶接工を訓練することができ訓練システム、およびその訓練システムを用いた訓練方法を提供するものです。

■特許請求の範囲のポイントなど

本件発明における訓練システムは、ハードウェア、ソフトウェアの両方を含む溶接訓練装置を用い、選択された規定の訓練目標に基づくカリキュラムに従って、実際に実効される訓練演習から得られるリアルタイムデータを収集し、溶接品質データに基づいて訓練生のパフォーマンスを評価し、パフォーマンス評価に基づいて任意選択的にカリキュラムを適応させ、カリキュラムの終了後に資格証明、認証等を訓練生に授与することを特徴としています。

■全体構成

本件発明の溶接システムについて説明します。溶接システムは、(a)データ生成コンポーネント、(b)データ取り込みコンポーネント、及び(c)データ処理コンポーネントで構成されます。
(a) データ生成コンポーネントは、
(i)寸法形状特性が予め決まっている設備と、
(ii)溶接される少なくとも1つの接合部を含み、前記接合部に沿って延在するベクトルが作業経路を画成し、前記設備に取り付けられる母材と、
(iii)較正装置であって、該較正装置は、該較正装置と一体型の少なくとも2つの第1のポイントマーカを含み、該第1のポイントマーカと前記作業経路との間の寸法形状関係は予め決まっている較正装置と、
(iv)溶接工具であって、前記接合部において溶接を形成するよう動作し、工具ポイント及び工具ベクトルを画成し、前記溶接工具には前記溶接工具に取り付けられる対象を含み、前記対象は所定のパターンで前記対象に取り付けられる複数の第2のポイントマーカを含み、前記第2のポイントマーカの所定パターンは、剛体を画成するよう動作する溶接工具とで構成されます。
(b)データ取り込みコンポーネントは、前記第1のポイントマーカ及び前記第2のポイントマーカの少なくとも一方の画像を取り込むための撮像システムを含みます。
(c)データ処理コンポーネントは、前記データ取り込みコンポーネントから情報を受信し、
(i)前記撮像システムによって視認できる三次元空間に対する前記作業経路の位置及び向きと、
(ii)前記剛体に対する前記工具ポイントの位置及び前記工具ベクトルの向きと、
(iii)前記作業経路に対する前記工具ポイントの位置及び前記工具ベクトルの向きと、を計算するよう動作します。
次に、このような溶接システムを用いた、訓練目標の選択から開始して溶接資格証明の獲得で終了する手溶接訓練の方法について、図1のフロー図を用いて説明します。
まず初めのステップとして、訓練目標を選択します(ステップ110)。選択される目標は、産業溶接工訓練規格(例えば、米国溶接協会(AWS)D1.1)や、認可された溶接施工要領(WPS)、または、特定レベルの溶接品質(例えば、ビードサイズ、凸性、欠陥形成、溶接ビード抱き合わせ、等)に関連付けることができます。
次のステップとして、ステップ110で選択された訓練目標に基づいて、ユーザーを指導する仮想カリキュラムが生成されます(ステップ120)。このカリキュラムは訓練の開始時に初期化され、プロセス全体を通してユーザーに適合されます。
その後、訓練演習の実行(ステップ130)、リアルタイムフィードバック支援(ステップ140)、パフォーマンス評価(ステップ150)、パフォーマンスに基づくカリキュラムの適応または変更(ステップ160)のシーケンスを繰り返します。 最終的な目標が満たされると(ステップ155)、ユーザは所望の資格証明を獲得(ステップ170)し、カリキュラムを「卒業」します。

【図1】

■細部

各ステップの詳細について説明します。
ステップ110の訓練目標の選択は、個々の、または一連の訓練目標を選択することができます。これは、システムのエンドユーザーに基づいて変化させることができます。代表的な訓練のための環境、およびそれぞれの目標を表1にまとめました。

【表1】

次に、ステップ120では、ステップ110で選択された訓練目標に基づいて、溶接手順を習得するための1つ以上のタスクから構成されるカリキュラムが生成されます。ここではカリキュラムは溶接施工要領を習得するよう進捗します(図3参照)。溶接施工要領は、表2に示す形態変動要素、表3に示す実行変動要素の観点から特定の溶接手順を説明しています。図4は横向き姿勢におけるGMAWすみ肉溶接のための溶接施工要領の例です。

【図3】

【表2】

【表3】

【図4】

次に、生成されたカリキュラムが開始され、ステップ130で訓練演習が実行されます。訓練演習はアーク(放電)をOFFにした状態とONにした状態で行うことができ、始め、溶接工としての適正が入門レベルの時にはアーク(放電)をOFFにした状態で行われ、そこから技術の向上がシステムによって認められると、アークをONにした状態に以降することができます。
ステップ140では、ユーザーはリアルタイムフィードバックメカニズムを活用することができます。リアルタイムフィードバックメカニズムは図6に示す通りです。リアルタイムフィードバックコンポーネント600は、演習が開始される(ステップ610)と、実行変動要素を測定(ステップ620)し、演習の終了(ステップ630)または、パフォーマンスの評価(ステップ640)に進みます。パフォーマンスの評価ではパフォーマンスが測定、解析され、フィードバックがリアルタイムにユーザーに生成され(ステップ650)、再び実行変動要素が測定され、演習が終了するまで繰り返します。

【図6】

ステップ130の訓練演習が終了すると、ステップ150でパフォーマンスを評価する機会が与えられます。パフォーマンス評価の種類は、訓練ゴールの順守、認可手順必須変動要素の順守、変動性順守、溶接品質仕様の順守、標準化認証仕様の順守、相対的個体数との比較、経時的なパフォーマンス、労働倫理、または、パフォーマンスの他の要因および対策などがあります。
そして、ステップ160では、生徒がある特定の変動要素に苦労していることを認識すると、自動的に変動要素に重点を置いた個別指導を提供します。すなわち、カリキュラムが適応されます。例えば、生徒の移動速度が常に速すぎる場合には、速度を安定させるための姿勢に関する個別指導などに重点を置くようにカリキュラムを適応します。
すべての訓練目標が完了すれば、訓練における最終段階と認識され、ステップ170で訓練生は資格証明を獲得し、訓練が終了します。
以上ご説明しましたとおり、本発明の訓練システムは、実際に手作業で行われる溶接作業によって生成されたデータをリアルタイムで取り込み、訓練に役立つ情報をリアルタイムに訓練生にフィードバックすることができるため、より効率的に溶接工を訓練することができるため、製造業界における溶接工不足の憂いを解消してくれます。

■概要

出願国:日本 発明の名称:手溶接訓練のためのシステム及び方法
出願番号:特願2016-569029(P2016-569029)
特許番号:特許第6687543号(P6687543)
出願日:2015年5月29日
公開日:2016年7月06日
優先権主張番号:US14/293,700
優先日:2014年6月02日
登録日:2020年4月06日
出願人:リンカーン グローバル、インコーポレイテッド
経過情報:2020年4月6日に特許登録がなされ、現在も登録は維持されています。特許存続期間の満了日は2035年5月29日となっています。
その他情報:2014年6月2日の米国特許出願を基礎として国際出願がされたものです。日本のほか、米国、欧州、中国、韓国、加国で特許登録となっています。
IPC:G09B9/00、G09B19/00

<免責事由>
本解説は、主に発明の紹介を主たる目的とするもので、特許権の権利範囲(技術的範囲の解釈)に関する見解及び発明の要旨認定に関する見解を示すものではありません。自社製品がこれらの技術的範囲に属するか否かについては、当社は一切の責任を負いません。技術的範囲の解釈に関する見解及び発明の要旨認定に関する見解については、特許(知的財産)の専門家であるお近くの弁理士にご相談ください。

INTERVIEW

ライター

永盛


経歴
化学分析の会社に勤めた後、理科実験教室の講師として科学を教えながら、発明家としての活動を開始しました。
2016年より「発明で世界を便利に!」をテーマに、発明研究所であるNPLを開業。
これまでに特許2、実用新案1、意匠権1、商標2を取得。
現在は自己の発明品の開発・商品化を進めると共に、クラウドファンディングのサポートを行ったり、一般社団法人発明学会でセミナー講師を行ったりと、発明に関係した仕事を行っています。https://www.hatumeika.com/
趣味は「発明」!・・・・だったのですが、仕事にしてしまったので現在無趣味です。 (かろうじて釣りが趣味かもしれません)

——特許の概要 (商品説明、特許の活用方法など)をお聞かせください。

・バーチャルピンホール定規
実用新案登録。視力が悪い人が使用すると、ピンホール原理で物がくっきりと見える定規。
文具メーカー(サンスター文具株式会社様)とロイヤリティ契約を結び、商品化。

・進化するボードゲーム「サイコロン」
意匠権、商標権登録。20種類以上のゲームが遊べるボードゲーム。
自己で商品化し、現在ボードゲームカフェやネット店舗にて販売中。
サイコロン 公式ページ
・視視音支
特許取得。視覚障害者向けの簡易水位計

現在商品化に向けて進めていますが、商品化に興味がある企業様も同時に募集中! 
特許番号:6052696号

・熱伝導率調整器具
特許取得。魔法瓶のような断熱状態と熱が伝導する通常の状態をワンタッチで切り替えられる器具(容器)。
特許は取得したものの、その後進展していません。
※商品化に興味がある企業様を絶賛募集中! 
特許番号:5649544号


——アイデアのきっかけとなったエピソードをできるだけ具体的にお聞かせください。
バーチャルピンホール定規についてお話いたします。バーチャルピンホール定規は定規に孔のパターンを印刷して、疑似的にピンホールを作り出しています。
当初は定規に通常のピンホールメガネをプラスした発明品を作ろうと試行錯誤していました。
定規を模した厚紙に孔をあけて、孔の大きさや間隔、形状などを変え、どのパターンが良いかをテストしていました。しかし、無数の孔を等間隔にあけるのは、本当に大変で、根気がいる作業です。
孔をあけなくて済めば楽なのに・・・と思っていて閃いたのが「バーチャルピンホール」という考えです。
ピンホール原理自体は光の透過する範囲を狭くすれば良いので、物理的な孔をあける必要が無いことに気づきました。透明の定規に孔のパターンを印刷すれば事足りるのです。
印刷で疑似的にピンホールを作ることにより、物理的な孔をあけるよりコストが削減できます。また実際には孔があいていないので、定規としても違和感なく使用できるといったメリットもあります。

——日頃の考え方やモノゴトに取り組む姿勢など、自分のどのような部分がアイデア発案につながったと思われますか?
普段から思いついたアイデアはすぐにメモを取るようにしています。 良いアイデアを思いついても、すぐに忘れてことが多いので、メモを取って時々見直すようにしています。
外出時は勿論、ベッドの脇にもメモ帳を置いて、いつでもメモが取れるようにしています。

——アイデアの実現(開発)に関して、一番大変だったことはどんなことですか?どうやって乗り越えていったかなどエピソードもお聞かせください。
バーチャルピンホール定規についてお話いたします。
これまでの失敗経験から、「アイデアレベルで企業に発明を採用してもらうのは難しい」ことがわかっていました。
そこで、実際の製品同様のものを作成いたしました。
さらに小ロットで量産も行い、クラウドファンディングを行いました。
そうしたところ、242名の方から、339,900円もの支援を集めることができました。
https://www.makuake.com/project/virtual-pinhole-jougi/ さらにその結果、文具メーカー様の方から「発明品を採用したい」といったお話をいただくことができました。
アイデアレベルではなく、「実際に製造が可能であること」を示し、「クラウドファンディングで需要を確認したこと」が良かったのではないかと考えています。

——新しいモノゴトを生みだすためのアドバイスをするとしたら、一番大切なことはどのようなことだと伝えますか?
特許が取れる取れないも重要ですが、「世の中に製品として出すことができるか」「需要があるか」といった点も大切だと考え、意識して発明を行っています。
良いアイデアだとしても、製造が難しかったり、コストがかかったり、他の安価なもので代用できるといったことであれば、せっかく大金を費やして特許を取得しても、製品として世の中に出すことは難しいでしょう。
また、特許が切れてから爆発的にヒットしたハンドスピナーや、自動車のエアバッグを発明した方が困窮の末に自殺した話は有名です。
どんなに優れた発明でも、今現在(または近い未来)において需要がないと、開発費がかさむだけで終わってしまいます。
因みに、最初に特許を取得した「熱伝導率調整器具」はその典型的な例で、数十万円の費用をかけて特許を取得したものの、自分では魔法瓶のような真空層のある断熱容器を作る事が出来ないため、その後進展せずに停止しております。
(※製品化に興味がある企業様を絶賛募集中! 特許番号:5649544号)

——企画のスタートから特許取得に至るまで、どれくらいの期間がかかると想定されていましたか?また、実際にはどれくらいの期間が必要でしたか?
申請までは思いついてから、半年~1年ぐらいで行うことが多いです。
(特許取得までは戦略によると思います。出願してすぐに審査請求するかどうかや、早期審査制度を利用するかによって異なるかと思います)

——特許取得に至るまで、どれくらいのコスト(開発・特許申請の金銭面、労力面)が必要でしたか?
特許については弁理士の先生にお願いしているので、1件につき数十万円の費用が掛かっています。ただ後述しますが、視視音支については、日本弁理士会が行っている「特許出願等援助申請」を利用したため、ほとんど費用はかかっていません。
実用新案や意匠、商標は自分で出願しているので、特許庁に払う費用のみです。(数万円~十数万円程度)


——特許取得に関して、一番大変だったことはどんなことですか?どうやって乗り越えていったかなどエピソードもお聞かせください。
特許に関して言えば、弁理士の先生にお願いしたため、特に大変な部分はありませんでした。
図や試作を見せ、こちらの意図が伝わるように工夫しました。強いて大変なことを上げるとすると、「弁理士の先生にお願いするとお金がかかること」です。
これについては後述したような「特許出願等援助申請」を利用したり、「減免措置」を申請したりして、少しでも安くなるように頑張りました。
また、実用新案権や意匠権といった他の知的財産権は自分で申請を行っています。
こちらは先行事例を調べるのに苦労しました。特許庁のデータベースだけでなく、インターネットを用いて類似のものが無いか幅広く調べています。

——特許取得による結果(金銭面、活用面)をお聞かせください。
特許権や他の知的財産権を取得することにより、企業に自信をもって売り込むことができるようになります。
また、自分で商品化する場合も「特許取得済み」のような形でアピールできる点は良いと思います。

——その他、今回の特許をめぐるウラ話など、お聞かせください。
視視音支の特許を取得した際、日本弁理士会が行っている「特許出願等援助申請」に採用され、弁理士費用のうち30万円を援助していただきました。
現在は以前と比べ援助金額が引き下げられてしまったようですが、他にも国や各種団体が実施している助成金や支援制度等あると思いますので、出願前に使える制度がないか調べてみるのも良いと思います。

——今回の特許の未来への展開・発展、もしくは、新たな企画の方向性など、これからの活動について、公開できる範囲でお聞かせください。
進化するボードゲーム「サイコロン」については、現在ネットショップや複数の店舗において販売いただいていますが、今後も販売場所を増やしていきたいと考えています。
また、「視視音支」や「熱伝導率調整器具」についても商品化を進めていこうと考えております。こちらについては他の企業様と共同で開発することや、権利の売却も考えておりますので、ご興味ある方がいらっしゃいましたらご連絡いただければと思います。
さらに今後、新たな発明についても進めていこうと考えています。こちらはまだ権利化の申請を行っていないため秘密ですが・・・・今後にご期待ください!!

取材協力:一般社団法人 発明学会 https://www.hatsumei.or.jp/