テクノロジーと人の二刀流で野球が進化！

スクリーン野球の必須システム

「スクリーン野球」ってご存知でしょうか。スクリーンゴルフというのは結構前からカラオケやバー・カフェ、ゴルフ用品店などに併設されていたりして、利用された方もいらっしゃるかも知れません。スクリーン野球はスクリーンゴルフの野球版でして、小さいブース面積でバーチャルなバッティングが楽しめる、シミュレーションスポーツの一つです。

このようなスクリーン野球は、スクリーン側からピッチングマシンでボールを射出し、このボールをバットで打つ、という遊び方をするのですが、打球の軌跡がスクリーン内に映し出されるのが楽しいわけです。このようなリアルタイムでの映像は、射出されたボールや打撃されたボールを、主として天井に設置されたハイスピードカメラで撮影し、その位置を高速演算することで映像化されます。

しかし、このようなスクリーン野球のシステムは当然ながら屋内にブースを設営するのですが、屋内環境は照明の明るさがまちまちで、照明条件が異なる場所によってはカメラでのボールの位置が正確に測れないという問題がありました。今回紹介する発明は、スクリーン野球のボール位置の判断方法に関するものです。

発明の背景

本発明は、照度の変化に関係なく、常にボールの位置を正確に判断することができる野球ゲームシステムに関します。

従来、野球選手になったような感覚をバッティングマシーンで味わうことはできました。バッティングマシーンは進化し続け、野球ゲームシステムへと変化してきました。

例えば、投げ出されるボールと連動するように、ピッチャーの投球フォームがスクリーンに映し出され、スクリーン上の投手が投げた瞬間にバッターへ向けてボールが投げ出されるような野球ゲームシステムが知られています。

また、投げ出されたボールを追跡するだけでなく、バッター（ゲーム参加者）が実際に打ち返したボールを追跡して、飛距離などを算出し、表示してくれるような野球ゲームシステムが知られています。

ボールの追跡は、例えば、カメラを備えた撮影部が映像を撮影することによっておこないます。

このような野球ゲームシステムは、例えば室内に設置されます。野球ゲームシステムが室内に設置される場合、室内の照度（明るさ）は、人工照明の明るさに影響されます。

照明の明るさが変化すると、撮影領域（すなわち、ボールを追跡するために撮影部が撮影する領域）の照度が変わる場合があります。撮影領域で照度が変わると、その照度で撮影された映像の輝度が影響を受けます。

例えば、撮影領域の照度が高いほど、撮影映像のボールが実際よりも大きなサイズで認識されてしまいます。一方、撮影領域の照度が低いほど、撮影映像のボールが実際よりも小さなサイズで認識されてしまいます。したがって、照度の変化によって、地面からのボールの高さが誤って認識されるという問題が発生する可能性があります。

どんな発明？

本発明は、このような問題点を解決するために考え出されました。本発明の目的は、撮影領域の照度（明るさ）に応じて撮影映像の輝度を補正することによって、照度の変化に関係なく、常にボールの正確な位置情報を認識できる野球ゲームシステムを提供することです。

このような野球ゲームシステムの発明の具体例について、以下に説明します。

図１は、本発明の野球ゲームシステムの一例を概略的に示した斜視図です。

【図１】

図２は図１の側面図です。

【図２】

本発明に係る野球ゲームシステム１００は、図１および図２に示すように、ピッチング部７００、撮影部４３０、プロジェクター５５５、位置検出部６６６、第１の打席２４１、第２の打席２４２、および、ホームプレート２３０を備えます。

ピッチング部７００は、第１の打席２４１と第２の打席２４２との間にある判定領域３４０に向かってボール８８８を投げるように設計されています。

判定領域３４０のなかに、ストライクゾーン３３３があります。言い換えますと、判定領域３４０の一部がストライクゾーン３３３です。判定領域３４０は、例えば、第１の打席２４１と第２の打席２４２との間（左右のバッターボックスの間）に配置されています。

判定領域３４０は、上下方向では、ホームプレート２３０と、ストライクゾーン３３３の上端よりも高い所定位置との間に設けることができます。

ピッチング部７００は、スクリーン７８０およびピッチングマシン７６０を有します。

スクリーン７８０は、判定領域３４０とピッチングマシン７６０との間に設置されます。スクリーン７８０は、プロジェクター５５５から投射された映像を表示します。図２に示すように、スクリーン７８０には、少なくとも一つのホール（孔）７６８が形成されています。

ピッチングマシン７６０は、スクリーン７８０の後方に設置されます。つまり、ピッチングマシン７６０は、スクリーン７８０の表示面の反対側に設置されます。ピッチングマシン７６０は、ボール８８８を投球するように設計されています。ピッチングマシン７６０から投球されたボール８００は、スクリーン７８０のホール（孔）７６８を通って判定領域３４０へ向かって進みます。

撮影部４３０は、ピッチング部７００からのボール８８８が感知領域８０５に進入したときに、ボール８８８を感知して撮影を開始します。例えば、撮影部４６０は、ボール８８８が感知領域８０５に進入したらすぐにボール８８８の追跡を開始します。撮影部４３０の超高速カメラによって、ボール８８８が感知領域８０５に進入した瞬間から毎秒数１０～数１００フレームの速さで連続的に撮影できます。

撮影部４３０は、判定領域３４０の上部に設置されます。例えば、撮影部４３０は、図２に示すように、判定領域３４０の真上ではなく判定領域３４０よりも少し斜め上に設置されます。

位置検出部６６６は、撮影部４３０によって撮影された映像に基づいてボール８８８の位置を検出します。撮影部４３０から提供された映像は、複数の映像（フレーム映像）を含みます。

位置検出部６６６は、映像を分析して判定領域３４０でのボール８８８の座標（ＸＹ座標）を検出できます。座標を検出するために、位置検出部６６６は、例えば、撮影部４３０からの各映像をその撮影照度に基づいて２値化（白黒化）してモノトーン画像を生成します。

そして、モノトーン画像を上下方向と左右方向にスキャンして映像におけるボールの輪郭線を抽出します。さらに、その輪郭線からボールの中心位置を判別し、ボールの中心位置とボールの軌跡とに基づいて、ボールの位置を検出できます。

位置検出部６６６から検出されたボールの座標情報は、判定部（図示せず）に送信されます。判定部は、検出されたボールの座標が判断領域のなかのストライクゾーン３３３に入っているかどうかを判断します。

判断した結果、ボール８８８がストライクゾーン３３３よりも内側または境界にあると判断された場合、判定部は、「ストライク」を宣言します。一方、判断した結果、ボールがストライクゾーン３００から外れたと判断された場合、判定部は、「ボール」を宣言します。

また、判定部は、スイング判断部（図示せず）からの判断結果と、位置検出部６６６からの検出結果とに基づいて、最終的な「ボール」または「ストライク」を判定します。例えば、スイング判断部は、撮影部４３０からの映像に基づいて、打者６０８のバット７７７がスイングされたか否かを判断できます。

撮影部によって撮影された映像（以下、撮影映像という）には、ボールの映像が含まれています。詳しくは、ピッチング部から判定領域に向かって投球されたボール、または、バッターによって打撃されたボールの映像が含まれています。

ボールの映像は、撮影部４３０に近いほど、大きいサイズになります。つまり、撮影されたボールのサイズは、地面（またはホームプレート２３０）からのボール８００の高さを間接的に示しています。よって、撮影されたボール８００のサイズから、ボール８００の高さを把握できます。

図３および図４は、かなり短い時間間隔で撮影された計９つの映像を重ねた図です。

【図３】及び【図４】

中心Ｏに近いほど、時間的に先に撮影されたボール８９１の映像であり、中心Ｏから遠いほど、時間的に後に撮影されたボール８９２の映像です。

先に撮影されたボール８９１よりも後に撮影されたボール８９２の直径が大きい場合、位置検出部６６６は、ボールが徐々に上昇していると判断します。これに対して、図４に示すように、先に撮影されたボール８９３よりも後に撮影されたボール８９４の直径が小さい場合、位置検出部６６６は、ボールが徐々に下降していると判断します。

本発明の野球ゲームシステムは、屋外だけでなく室内にも設置できます。野球ゲームシステムが室内に設置された場合、室内の照度は、人工照明に左右されます。照明の明るさに応じて、撮影領域（すなわち、撮影部によって撮影される領域）の照度が変化します。撮影領域の照度が変化すると、撮影された映像の輝度が影響を受けます。

例えば、撮影領域の照度が高いほど、撮影映像のボールのサイズは、より大きく認識される一方、撮影領域の照度が低いほど、撮影映像のボールのサイズは、より小さく認識されます。したがって、照度が変化すると、ボールの高さが誤って認識されるという問題点が発生する場合があります。

このような問題点を解決するため、位置検出部では、撮影部から提供された撮影映像と、予め設定された基準映像とを比較し、比較結果に基づいて、撮影映像の輝度を調節することによって補正映像を生成します。その補正映像に基づいて、投球されたボールの位置および打撃されたボールの位置を検出するのです。

撮影映像の輝度値が基準映像よりも小さいとき、位置検出部は、撮影映像の輝度を増加させて補正映像を生成します。例えば、位置検出部は、撮影映像の輝度と基準映像の輝度とが等しくなるように撮影映像の輝度を増加させることができます。

一方、撮影映像の輝度値が基準映像よりも大きいとき、位置検出部は、撮影映像の輝度を減少させて補正映像を生成します。例えば、位置検出部は、撮影映像の輝度と基準映像の輝度とが等しくなるように撮影映像の輝度を減少させることができます。

なお、撮影映像の輝度値が基準映像と同じであるとき、位置検出部は、例えば撮影映像の補正を行わず、投球されたボールや打撃されたボールの位置を、撮影映像に基づいて（補正映像を生成せずに）検出できます。

図５は、図１の位置検出部のブロック構成図です。

【図５】

位置検出部６６６は、図５に示すように、基準映像と撮影映像とを比較する映像比較部６６６ａを有します。また、映像比較部６６６ａで比較した結果に基づいて補正映像を生成する映像補正部６６６ｂを有します。さらに、映像補正部６６６ｂで生成した補正映像に基づいて、ボールの座標を生成する座標生成部６６６ｃを有します。

以下、図６ａ～図６ｅを参照して位置検出部の動作（演算処理）を説明します。

【図６ａ】および【図６ｂ】

図６ａは、１フレームの基準映像に含まれる「ブロック輝度データ」の空間的な配置を示します。

１フレームの基準映像は、図６ａに示すように、複数の「ブロック輝度データＢａ」、例えば４８個の「ブロック輝度データＢａ」を含みます。４８個の「ブロック輝度データＢａ」は、例えば図６ａに示すように、８×６のマトリックス状に配置されます。すなわち、図６ａに示される全部の四角形のそれぞれが「ブロック輝度データＢａ」です。

各「ブロック輝度データＢａ」は、複数の“単位輝度データ”（図示できないため図示せず）を含みます。

各「ブロック輝度データＢａ」の“単位輝度データＢａ”は、その「ブロック輝度データＢａ」の輝度値を含みます。例えば、１つの「ブロック輝度データＢａ」の輝度値は、多数の単位画素の“単位輝度データ”の輝度値を平均した値です。“単位輝度データ”は、撮影部４３０の単位画素に対応する輝度データです。単位画素としては、赤色画素、緑色画素、および青色画素などがあります。

要約しますと、赤、緑、青といった多数の単位画素の“単位輝度データ”の平均値から、１つの「ブロック輝度データＢａ」の輝度値が求められます。

映像比較部６６６ａでは、基準映像の「ブロック輝度データＢａ」のうちの特定の領域（ＡＲ：斜線で表示された領域）が選択されます。例えば、図６ａに示すように、映像比較部は、基準映像に含まれる全４８個の「ブロック輝度データＢａ」のうち、４×４のマトリックス状に配置された１６個を選択します。

図６ｂは、１フレームの撮影映像に含まれる「ブロック輝度データ」の配置を示す図です。

１フレームの撮影映像は、図６ｂに示すように、複数の「ブロック輝度データＢｂ」を含みます。例えば、１フレームの撮影映像は、４８個の「ブロック輝度データＢｂ」を含みます。４８個の「ブロック輝度データＢｂ」は、図６ｂに示すように、８×６のマトリックス状に配置されます。すなわち、図６ａに示される全部の四角形のそれぞれが「ブロック輝度データＢｂ」です。

詳細については、上述した「ブロック輝度データＢａ」と同様です。

次に、映像比較部６６６ａは、撮影映像から選択された「ブロック輝度データ」と、基準映像から選択された「ブロック輝度データ」とから、「差引輝度データ」を生成します。

具体的には、それぞれ位置が対応するブロックを互いに比べ、一方の輝度データから他方の輝度データ差し引きます。例えば、図６ｂの特定の領域（斜線領域）のうち、最も左上の１つの「ブロック輝度データ」（以下、第１のブロック輝度データ）から、図６ａの特定の領域のうち、最も左上の１つの「ブロック輝度データ」（以下、第２のブロック輝度データ）が差し引かれます。

つまり、第１のブロック輝度データの輝度値から第２のブロック輝度データの輝度値が差し引かれます。差し引かれた結果の輝度値が“差引輝度値”であり、その“差引輝度値”を有するデータが「差引輝度データ」です。図６ａおよび図６ｂのような場合には、計１６個の「差引輝度データ」が生成されます。

映像補正部６６６ｂは、映像比較部６６６ａからの「差引輝度データ」のうち、予め設定された基準範囲内にある「差引輝度データ」を選択します。以後、映像補正部６６６ｂは、その選択された「差引輝度データ」の個数と、予め設定された“しきい値”とを比較します。選択された「差引輝度データ」の個数が“しきい値”よりも大きい場合、映像補正部６６６ｂは、選択された「差引輝度データ」の平均輝度値を算出します。

次に、映像補正部６６６ｂは、生成された平均輝度値に基づいて、撮影映像の輝度を補正します。補正された撮影映像データが補正映像です。

このような複雑な演算処理をする理由は、「差引輝度データ」にばらつきが生じて異常値が出た場合に、異常データを含んだ値を使って、補正するか否かが判断されると、判断ミスをしてしまうおそれがあるためと思われます。差し引きによって値を算出し、算出した値が“しきい値”よりも大きいか小さいかをわざわざ判断することで、上記のような異常データの影響を少なくすることができると考えられます。

このような映像補正部６６６ｂの動作（演算処理）を図６ｃおよび図６ｄを参照して具体的に説明すると、次の通りです。

図６ｃは、図６ａに示された基準映像の輝度データのうち、特定の領域（斜線領域）に属する「ブロック輝度データ」だけを別途示しています。

【図６ｃ】および【図６ｄ】

図６ｃの各「ブロック輝度データＢｃ」上に記載された数値は、その「ブロック輝度データＢｃ」の輝度値を示します。図６ｃに示された例のように、基準映像から選択された「ブロック輝度データＢｃ」の輝度値は、すべて１００です。例えば、図６ｃに示すように、前述した第２のブロック輝度データの輝度値（最も左上）は、１００です。

図６ｄは、図６ｂに示された撮影映像の輝度データのうち特定の領域（斜線領域）に属する「ブロック輝度データ」だけを示しています。

図６ｄの各「ブロック輝度データＢｄ」上に記載された数値は、その「ブロック輝度データＢｄ」の輝度値を示します。図６ｄに示された例のように、撮影映像から選択されたブロック輝度データのそれぞれの輝度値は、９０、１３０、６０、または８０のいずれかです。例えば、図６ｄに示すように、前述した第１のブロック輝度データの輝度値（最も左上）は、９０です。

図６ｅは、図６ｄに示された（撮影映像の）「ブロック輝度データ」から、図６ｃに示された（基準映像の）「ブロック輝度データ」を差し引いた「差引輝度データ」の空間的な配置を示す図です。

【図６ｅ】

図６ｅに示された数値は、互いに対応するブロック輝度データの差を示します。例えば、前述した第１の「ブロック輝度データ」（最も左上）の輝度値９０から第２の「ブロック輝度データ」（最も左上）の輝度値１００を差し引いた値は－１０となります。この数値は、その該当「ブロック輝度データ」間の差に相当する「差引輝度データＤＦ」の輝度値です。図６ｅに示すように、「差引輝度データＤＦ」は、－１０、＋１０、＋３０、－４０、または－２０のいずれかの値になります。

続いて、図６ｅの「差引輝度データＤＦ」のうち、基準範囲内となった差引輝度データが選択されます。基準範囲は、例えば以下のような［式１］および［式２］に示されます。

－１５＜Ｙ＜－５
［式１］　

５＜Ｙ＜１５
［式２］　　　　

［式１］および［式２］において、Ｙは「差引輝度データ」の輝度値を意味します。

図６ｅの「差引輝度データＤＦ」のうち、［式１］を満たす－１０の輝度値となった差引輝度データは、計１２個です。また、図６ｅの「差引輝度データＤＦ」のうち、［式２］を満たす＋１０の輝度値となった差引輝度データは、計１個です。

“しきい値”は、例えば、特定領域の「差引輝度データＤＦ」の総本数の６０％に相当する数値に設定できます。このとき、小数点以下は四捨五入されます。

具体的な例として、図６ｅのように、計１６個の「差引輝度データＤＦ」がある場合、“しきい値”として“１０”（≒１６×０．６）を設定できます。“しきい値”が“１０”であれば、［式１］を満たす「差引輝度データ」の個数１２は、“しきい値”を超えています。その結果、次の処理を進め、［式１］を満たす「差引輝度データ」の平均輝度値が算出されます。図６ｅの例の場合、平均輝度値は、－１０です。

したがって、映像補正部６６６ｂは、平均輝度値－１０に基づいて、撮影映像の輝度値を補正します。

平均輝度値が０よりも小さい値である場合、補正映像データは、撮影映像データよりも高い輝度値を有します。一方、平均輝度値が０よりも大きい値である場合、補正映像データは、撮影映像データよりも小さい輝度値を有します。

平均輝度値が０よりも小さくなればなるほど、補正映像データの輝度値と撮影映像データの輝度値との差は増加します。また、平均輝度値が０よりも大きくなればなるほど、補正映像データの輝度値と撮影映像データの輝度値との差は、増加します。

図示されていませんが、［式１］ではなく［式２］を満たす「差引輝度データＤＦ」の数が”しきい値”よりも大きい場合、「差引輝度データ」における平均輝度値は、０よりも大きくなります。このような場合、補正映像データは、撮影映像データよりも小さい輝度値を有します。

本発明の野球ゲームシステムは、屋外に設置されることもあり得ます。屋外の照度は、自然光の影響を受けます。自然光の明るさは、照度計によって測定できます。屋外に設置された野球ゲームシステムを図７を参照しつつ説明します。

図７は、本発明の野球ゲームシステムの他の例の概略的な斜視図です。

【図７】

他の例の野球ゲームシステム１００は、図７に示すように、ピッチング部７００、撮影部４３０、プロジェクター５５５、位置検出部６６６、第１の打席２４１、第２の打席２４２、ホームプレート２３０、および、照度測定部７０７を備えます。

照度測定部７０７では、撮影部４３０の撮影領域の照度を測定します。照度測定部７０７は、第１の照度計７０７ｂまたは第２の照度計７０７ａの少なくとも１つを有します。

第１の照度計７０７ｂは、第１の打席２４１と第２の打席２４２との間に設置できます。図示されていませんが、第１の照度計７０７ｂは、ホームプレート２３０に設置することもできます。例えば、ホームプレート２３０の中心部にホール（孔）を形成し、このホール（孔）に第１の照度計７０７ｂを入れておくこともできます。第１の照度計７０７ｂは、ホール（孔）を介して撮影領域の照度を測定できます。

第２の照度計７０７ａは、ホームプレート２３０の上方に設置できます。このとき、第２の照度計７０７ａは、プロジェクター５５５と撮影部４３０との間に設置できます。

位置検出部６６６では、撮影部４３０から撮影映像が提供され、照度測定部７０７で測定された照度に基づいて撮影映像の輝度を調整して、補正映像を生成します。また、補正映像に基づいて、投球されたボールや打撃されたボールの位置を検出します。

照度測定部７０７で測定された照度が基準照度よりも低い場合、補正映像の輝度値は、撮影映像よりも高くなります。また、照度測定部７０７で測定された照度が基準照度よりも高い場合、補正映像の輝度値は、撮影映像よりも低くなります。

なお、照度測定部７０７で測定された照度が基準照度と同じ場合、補正映像は生成されません。具体的には、位置検出部６６６は、補正映像ではなく撮影映像に基づいて、投球されたボールや打撃されたボールの位置を検出します。

このようにすれば、上述したような複雑な演算処理は、必ずしも必要ありません。

なお、図７のピッチング部７００、撮影部４３０、プロジェクター５５５、第１の打席２４１、第２の打席２４２、および、ホームプレート２３０は、前述した図１および図２と同様です。

ここがポイント！

上記の通り、本発明は、照度の変化に関係なく、常にボールの位置を正確に判断できる野球ゲームシステムを提供します。

本出願で特許となった本発明のポイントを解説しますと、本発明は、主に、投球されたボールや打撃されたボールの位置を正確に検出するための演算処理方法に特徴がある野球ゲームシステムです。

本発明の野球ゲームシステムは、ストライクゾーンを含む判定領域に向かってボールを投球するピッチング部を備えます。また、判定領域とピッチング部との間に設置された撮影部を備えます。

さらに、投球されたボールや打撃されたボールの位置を検出する位置検出部を備えます。位置検出部には、撮影部で撮影された撮影映像が提供されます。そして、位置検出部では、撮影映像の輝度値が基準映像よりも小さい場合には、撮影映像の輝度を増加させて補正映像を生成し、一方、撮影映像の輝度値が基準映像よりも大きい場合には、撮影映像の輝度を減少させて補正映像を生成して、補正映像に基づいてボールの位置を検出します。

本発明の野球ゲームシステムによれば、設置場所が屋外または屋内のいずれかであり明るくても暗くても、投球されたボールや打撃されたボールの位置を補正できるため、ボールの位置を正確に検出できます。

何に活用されているの？

本特許は、韓国の「クラウドゲート」という会社から出願されたものです。この会社は、シミュレーションゴルフシステムの開発やオンラインゲームの開発経験を持っていて、その技術を基にして体験型野球ゲームシステムである「レジェンド野球ゾーン」という事業を始めたようです。本特許発明は、まさにこの「レジェンド野球ゾーン」に利用されていると思われます。なお、ゲームグラフィックの制作などおこなっている“クラウドゲート株式会社”という日本の会社は、本特許の特許権者とは直接的な関係はないようです。

本特許の発明は、体験型野球ゲームシステムをさらに進化させるために考え出されたアイデアであると思われます。日本と同様に野球人気が高い韓国の企業ならではの視点で、野球ゲームシステムの演算処理精度をさらに高めようという思いが本発明へつながったと思われます。

特許の概要

野球史上初の自由視点映像技術とは

皆さんは「ボリュメトリックビデオVolumetric Video」という言葉をお聞きになったことはあるでしょうか。ちょっと聞き慣れない、新しい言葉かもしれませんね。ボリュメトリックビデオ技術は、空間全体を３Dデータ化し、コンピュータ内のバーチャル空間のあらゆるアングルから映像を生成できる技術です。

こう言われてもピンとこないかもしれませんね。

野球やサッカーなど、スポーツ中継においては複数のカメラで撮影を行い、それらのカメラを切り替えて放送することが一般的に行われています。

しかし、野球球場やスタジアム全体をリアルタイムでキャプチャして３Dデータ化し、これにより得られるバーチャル空間で、自由な視点からスポーツ観戦ができるとしたら、どのように思われるでしょうか。そんなことできるわけない、と思われるかも知れませんが、実はもう、実用化されているんです。

野球観戦のための映像技術として、このボリュメトリックビデオが既に使われています。この技術を用いた映像については以下のURLを参照いただければと思いますが、今回は、このようなすごい映像技術について用いられている特許を２つ、紹介したいと思います。

発明の背景

競技場（スタジアム）やコンサートホールなどの施設に複数のカメラやマイクを設置して多視点で同時撮影し、当該撮影により得られた複数視点画像を用いて仮想視点コンテンツを生成する技術があります。このような技術によれば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができるため、通常の画像と比べて視聴者に高い臨場感を与えることができます。

しかし、複数のカメラのうち１つ以上のカメラの状態によっては、適切な仮想視点画像が生成されなくなるおそれがあります。例えば、複数のカメラの間をデイジーチェーン接続するなどしてネットワークの伝送負荷を低減する画像システムで仮想視点画像を生成する場合には、複数のカメラのうち一部が故障したり、電源が落ちたり、カメラの前に物が置かれたりする場合がありえます。

このような場合、例えば故障したカメラよりもデイジーチェーン接続において前段のカメラによる撮影画像が仮想視点画像の生成のために使用できなくなるおそれがあります。また、この問題はデイジーチェーン接続だけでなく、例えばスター型でカメラとサーバーを接続する形式でも起こりえます。

さらに、仮想視点画像の生成だけでなく、パノラマ画像など、複数のカメラの撮像画像を用いて画像を生成する場合においても、同様の問題が生じえます。

そこで、本発明では複数のカメラによる撮影画像から適切な画像が生成されなくなる可能性を低減することを目的として研究・開発がされました。

どんな発明？

本発明の特許請求の範囲（請求項１）を分説すると以下のようになります。

• 被写体を撮影するための複数のカメラに対して設けられ、予め定められた順序でデイジーチェーン接続されている複数の画像処理装置の一つである画像処理装置であって、
• 前記複数のカメラのうち少なくとも１つから得られる撮影画像に基づく画像であって、仮想視点画像の生成に使用される画像を、前記複数の画像処理装置に含まれる第１の他の画像処理装置に送信する送信手段と、
• 前記複数の画像処理装置に含まれ、前記第１の他の画像処理装置とは異なる第２の他の画像処理装置から送信される画像を受信する受信手段と、
• 前記複数のカメラのうち少なくとも１つのカメラから得られる撮影画像に基づいて、前記第１の他の画像処理装置に送信する画像を生成する生成手段であって、前記第２の他の画像処理装置から受信されるべき画像が前記受信手段により受信されなかった場合、受信されるべき画像の代替データを生成する前記生成手段と、
• 前記第２の他の画像処置装置から受信されるべき画像が前記受信手段により受信された場合、前記受信手段により受信された画像が前記第１の他の画像処理装置に送信され、前記第２の他の画像処理装置から受信されるべき画像が前記受信手段により受信されなかった場合、前記生成手段により生成された前記代替データが前記第１の他の画像処理装置に送信されるように前記送信手段を制御する制御手段と、を有することを特徴とする画像処理装置。

上記分説の中で、4段落目の「代替データを生成する」手段を有すること、そして５段落目の「第２の他の画像処理装置から受信されるべき画像が前記受信手段により受信されなかった場合、前記生成手段により生成された前記代替データが前記第１の他の画像処理装置に送信される」点が本発明の特徴となります。

これにより、カメラや画像処理装置に障害が発生したり、画像処理装置を間引いたりしても、画像の欠落がない画像処理システムを構築できることになります。

ここがポイント！

では、図・画像を参照しながら、本発明の特徴を説明していきます。

まず、実施形態における注視点とカメラ配置を説明する図から見てみます。最初に示すのは「通常時の処理シーケンス」です。

各カメラ112には光軸が特定の注視点702を向くように設置されています。まず、通常時のカメラアダプタ120は、以下のような処理シーケンスで撮影を行います。

【図：カメラアダプタ120の処理シーケンス（通常時）】

同期した撮影タイミングにおいて、カメラ112bおよびカメラ112cはそれぞれカメラアダプタに対して撮影画像を送信します。カメラアダプタは受信した撮影画像に対して、キャリブレーション制御部においてキャリブレーション処理を行います。

キャリブレーション処理とは、例えば色補正やブレ補正等です。次に、キャリブレーション処理済みの撮影画像に対して、前景背景分離処理が行われます。

さらに、分離された前景画像及び背景画像それぞれに対してデータ圧縮処理が行われます。次にカメラアダプタは、圧縮した前景画像及び背景画像を隣接するカメラアダプタに次々に伝送していきます。これが通常時の処理シーケンスです。

次に、１つのカメラアダプタ120bが故障した時に他の複数のカメラアダプタが連動する処理シーケンスを以下に示します。

同期した撮影タイミングにおいて、それぞれのカメラはカメラアダプタに対して撮影画像を送信します。カメラアダプタ120bは故障しているため、撮影画像を受信できず、キャリブレーション制御部においてキャリブレーション処理を行うことができません。また、前景画像及び背景画像を分離し、それぞれを圧縮することもできません。最終的に、カメラアダプタ120ｃに対して画像を伝送することができません。

この処理シーケンスをフロー図にすると以下のようになります。

ここで、カメラアダプタ120cが、所定時間内にカメラアダプタ120bから前景・背景画像を受信できない場合、カメラアダプタ120cの前景背景分離部がカメラによる撮影画像から代替の背景画像を生成します。

続いて生成された背景画像を圧縮し、カメラアダプタ120dに伝送します。このような代替となる画像は、伝送される背景画像やカメラアダプタに接続したカメラの注視点領域での座標情報を収集し、欠落した背景画像の座標情報を算出して生成されます。このようにして、障害が発生しても、欠落した背景画像を補完し、仮想視点画像を安定して生成することができます。

フロー図にすると、以下のようになります。

上述した代替画像は、カメラ単位に限らず、１つの撮影画像を短冊状に細切れにすることでも実施可能です。

以下の図に示すとおり、撮影画像を短冊状に区切り、一部に障害が発生した場合に、その細切れの短冊単位で代替画像を作成することが可能です。

これにより、例えばカメラの前に障害物が置かれたような場合に対応することができます。

このように短冊画像を用いることで、例えばパノラマ画像のような広視野画像生成処理を行うことができます。このような処理を行う場合のフローが以下のようになります。

さて、ここまでは複数のカメラによる撮影画像から適切な画像が生成されなくなる可能性を低減する発明について紹介してきました。

ここからは、関連発明としてもう一つ、自由視点映像用画像データのキャプチャ方法についての発明を紹介します。これら2つの発明を組み合わせることによって、マルチカメラネットワークにより生成される画像の臨場感をより高めることができるようになります。

どんな発明？

いわゆるコンピュータビジョンシステムは、カメラのネットワークによって取り囲まれ、キャプチャされた視野内のオブジェクトおよびアクティビティの自由視点ビデオ（FVV）を生成するために使用されてきました。FVVシステムはリアルタイムでビデオ画像を処理し、低遅延での放送に適したシーンの仮想ビデオ映像を生成することができます。

この仮想ビデオ画像は、ネットワーク内のカメラのいずれにも対応しない、様々な視点及び向きの画像を生成することができます。

ところで、既存のシステムは、シーン内の観察条件が明確であるときにＦＶＶを生成するように設計されています。既存のシステムは、シーンコンテンツの複数のビューがフォグ、ヘイズ、ミスト、スモーク、または他の大気条件によって影響されないと仮定されています。

この仮定は、通常の運転条件および室内システムには適していますが、屋外イベントには適切ではないかもしれません。この仮定が不適切である場合、システムによって生成されたＦＶＶは非現実的な外観を有することがあり、ＦＶＶを見る体験にあまり説得力がなくなり、没入感がなくなることがあります。

そこで、本発明では、既存の構成の１つまたは複数の上記欠点を実質的に克服するか、少なくとも改善させることを目的に開発されました。

本発明の特許請求の範囲（請求項１）を分説すると以下のようになります。

• 複数のカメラによってキャプチャされたシーンの仮想画像を生成する方法であって、
• 前記複数のカメラを使用して前記シーンの画像をキャプチャするキャプチャ工程と、
• キャプチャされた前記画像を用いて、前記シーン内の大気条件のモデルを決定する決定工程と、
• 前記シーンに対して仮想カメラを設定する設定工程と、
• 前記仮想カメラから見た前記シーンを表す仮想画像を、キャプチャされた前記画像と、前記シーンの３次元モデルと、前記シーンに対する前記複数のカメラの位置と、前記仮想カメラの位置と、前記大気条件のモデルとに基づいて、生成する生成工程と、を有し、
• 前記生成工程は、前記大気条件のモデルに基づいて、前記キャプチャされた画像と比較して、前記仮想画像におけるオブジェクトの可視性を減少させる工程を含むことを特徴とする方法。

上記請求項の中で、本願発明の特徴となるのは５段落目の「仮想画像を、キャプチャされた前記画像と、前記シーンの３次元モデルと、前記シーンに対する前記複数のカメラの位置と、前記仮想カメラの位置と、前記大気条件のモデルとに基づいて、生成する生成工程」を有すること、そして、６段落目の「大気条件のモデルに基づいて、前記キャプチャされた画像と比較して、前記仮想画像におけるオブジェクトの可視性を減少させる工程を含むこと」にあります。

ここがポイント！

それでは図面を参照しながら本発明の内容を見てみましょう。

この図は、上方から示されたものです。この場合、マークされた関心領域（ＲＯＩ）110は、カメラネットワーク１２０によってキャプチャされ、仮想視点からの合成画像に含まれ得るようにオブジェクトまたはプレーヤが配置され得る、地表面上のエリアです。

実際には、オブジェクトおよびプレーヤが関心ボリューム（ＶＯＩ）と呼ぶことができる地上のボリューム内に配置される。

スポーツ、劇場、ダンス、音楽、オペラ、または他のパフォーマンスなどの典型的なアクティビティの画像をキャプチャするために、関心ボリュームは、典型的には地面から２メートル以上上に広がります。ＶＯＩは固定された関心領域に対応してもよいですし、移動する関心領域に対応しても構いません。

例えば、関心ボリュームは、スポーツプレーヤのような人、経時的に追跡され得るスポーツ用具（例えば、ボール）のようなオブジェクトに対応します。

複数のカメラは、自由視点ビデオ（FVV）を生成するために単一のカメラリング等でROIを取り囲みます。

カメラ１２０Ａなどのカメラによってキャプチャされたビデオフレームは、ネットワーク接続２３０を介して、ビデオ処理を実行するように構成された処理部２０５に利用可能にされる前に、カメラ１２０Ａの近くで処理および一時記憶されます。下図に見られるように、処理部２０５は、汎用的なコンピュータモジュール２０１内に構成されます。

次に、カメラ１２０Ａ～Ｘの較正されたネットワークの大気条件によって影響されるイベントの没入型で現実的な自由視点ビデオを生成する方法３００について、プロセス３００を参照して説明します（下図参照）。

大気条件とは、フォグ、ヘイズ、ミスト、雲、雨、スモッグ（smog）、ハール（haar）、またはスモークなど、シーン内のオブジェクトの視認性に影響を及ぼす条件に関しますが、ここでは一例として、ヘイズについて説明します。方法３００は、３次元（３Ｄ）ジオメトリの再構成に基づくＦＶＶ生成に適しています。

上記ステップ350で行われるヘイズモデルを推定するための技法は様々知られています。

例えば、ステレオペアのような大気条件をモデル化するために複数のカメラ画像を使用する他の技術が知られています。カメラ１２０Ａ～Ｘの較正されたネットワークおよびおおよその既知のシーンジオメトリ（例えば、平坦なスポーツフィールド）について、画像キャプチャの設定と一致するヘイズの正確なモデルを生成することができるのです。

このような手法を活用することにより、自由視点ビデオが大気状態を含むように、ビデオ画像に大気状態が合成されることを可能にします。

大気条件を反映する画素は画像をキャプチャするカメラと仮想カメラとの間の差に基づいて補償され、大気条件は視覚的により現実的であるように合成されます。

何に活用されているの？

今回紹介した２つの発明は、自由視点映像「ボリュメトリックビデオ Volumetric Video」を生成するためのキャプチャ技術・キャプチャ方法として用いられます。

ボリュメトリック映像の例として、キヤノンが公開している能楽「葵上」の映像では、ボリュメトリック映像と３Dグラフィックを融合させて能舞台の新しい表現が実現されています。

また、野球史上初の最新技術としても、実用化がされる見込みです

このような発明により、今までの技術では不可能だった映像表現や、臨場感あふれるスポーツ観戦が可能となっているのです。

特許の概要

野球黎明期の特許グローブ

野球の歴史を紐解くと、1839年にニューヨークで生まれたスポーツとのことです。1875年には国際試合が開催され、20世紀になると国際野球連盟（IBAF）が設立され、現在でも愛されるスポーツとなっています。

野球で用いられるグローブの歴史としては、1870年代から使用されるようになったそうです。それまでは素手でボールを捕っていたとか。

今回紹介する発明は、1911年に出願された野球グローブに関する特許です。もちろん現在では特許権の効力は失われていますが、単なる「手袋」の延長にすぎなかった捕球グローブを、現在の形に進化させる１ステップになった発明であることは間違いありません。

発明の背景

本発明は、野球選手によって使用されるグローブを有用なものとする改良について開示されたもので、その目的は、指の内側部分の間で切り取られるように構成された指の外側部分の間にウェブ（網目）を備えた、実質的に一体的な手のひら部分を有する、単純な形態のグローブを提供することにあります。

本発明以前のグローブは、指と指の間が縫われていなかったため、ボールをキャッチしたときの保持性が低かったのです。

どんな特許？

本発明の特許請求の範囲（請求項１）を分節すると以下のようになります。

• 野球グローブにおいて、
• 指部分の間に縦方向のスリットを有する一体形成された手のひら部分で、
• スリットに隣接する材料の縁が後方に曲げられ、
• 前記後方に曲げられた縁を互いに結合するための手段。

ここがポイント！

本発明の構成的な部分の特徴は、一体形成されている手のひら部分の革のうち、指が位置する部分の革を後方に折り曲げて、縫いしろをつくったということにあります。

では、図・画像を参照しながら、本発明の特徴を説明していきます。

【図１】

【図２】

図２は異なる実施形態のグローブで、縫い目７を補強片１２で覆ったものとなります。本発明の特徴の１つは、この縫い目を作る際の革の折り方にあり、手のひら側から後ろ側へ革を折って縫い合わせていきます。

このようにすることで手のひら側に縫い目がなく、ボールを掴む際に手のひら側へ指を曲げやすくする効果が得られるのです。

何に活用されているの？

今回紹介した発明は、野球の歴史上、黎明期と言っても良い時代の特許です。現在のグローブはこの時代のものとは比べ物にならないほど進化していますが、このような技術の積み重ねによって現在の技術が生まれていることを忘れてはいけませんね。

なお、この特許図面は野球ファンの間ではポスターやタペストリーなどの形で現在でも愛されているようです。

特許の概要