プロ野球の一瞬を切り取る、AIと試合データのハイブリッドで生まれた「画像認識の新システム」

「AIって完璧じゃないんです」と、2度の開発の挫折と粘り強く向き合い、3社協働でヒットを放ったプロ野球界における選手・試合写真の運用システム。

「スタッフの負担を減らすという本来の目的」に立ち返った、発想の転換だ。本インタビューでは富士フイルムソフトウエアより開発に携わった佐藤力さんをお招きして、開発秘話をうかがった。

PROFILE

佐藤

Riki Sato

富士フィルムソフトウェア株式会社
社内ベンチャービジネスの責任者

<略歴>
・PC周辺機器開発@某電機メーカー
・ITソリューション営業

<最近の興味分野>
・組織エンゲージメント
・オープンイノベーション

そういえばあの写真って…?

ネットニュースのヘッダーに、スポーツニュースの一面に、打球の音まで聞こえるような躍動感ある1枚が飾られるのは、まさしく野球チームのスポーツカメラマンの手腕である。…が、試合の瞬間、そして練習の時間に何百何千とある「ここぞ!」という瞬間を選び抜くのはシャッターだけではない。

今回紹介するのは日本野球機構(以下NPB)と富士フイルムの関連会社2社が見事な連携で生み出した画像認識のシステムだ。

はじめに、強力な打線もとい今回のシステムを生み出した3社の紹介をさせていただく。主軸はもちろん、プロ野球12球団を束ねるNPB。そして富士フイルムグループにおいて国内の写真事業を手掛けている「富士フイルムイメージングシステムズ」、それから「富士フイルムソフトウエア」。富士フイルムソフトウエアから佐藤力さんにお越しいただき、インタビューを行った。

彼らが新しく開発し、特許取得した技術というのは「プロ野球界の写真管理販売システム」だ。そもそも、メディアやゲーム会社などに提供している選手や試合中の写真は、各球団のカメラマンが撮影した写真を外部から使用申請する形で使用されている。とはいえ膨大な写真量である。

往年の修学旅行の写真のように陳列して選ぶわけにもいかず、そこで活用されていたのが、富士フイルムイメージングシステムズが開発・提供していた「イメージワークス」というクラウドサービスだ。

このプラットフォームを利用した写真共有サービス「NPBCIC」が現在多くのプロ野球球団で導入されており、球団が撮った写真をクラウドにアップロードすれば、そこから外部企業各社がログイン・検索・使用申請購入が可能で、請求作業までをワンストップで行える。

「ただ、これには手間があって」と、富士フイルム・佐藤さんは当時を振り返る。

「最初は『今回紹介する特許技術』は使っていなかったんです。つまり、大量の写真の中から選択し、使用申請するためには検索してもらうプロセスがあるのですが、そこでいわゆるタグ付けをする必要があるんです。各球団それぞれ、1つのシーズンで選手関係者100名近い人間がかかわっていて、しかも『これは投球時、これはバッティング時』と、プレイングによってのタグ分けも行うわけで、これが初めはすべて手動だったんですよね」と苦笑。

確かに途方もない作業量である。
「だから、これを何とか効率化できませんかね?というのを、NPBさんと一緒に相談したのがきっかけです。」

AI×データの新たな切り口

このNPBCICという写真共有サービスを運営するにあたっての効率化は、まずは「顔認証」に着目したという。

「その頃はもうAIでの顔認証というのは一定の認知度・精度・普及状態があって、それならやれそうだね、というところから出発しました。AIで利き手を判断したり、そもそもこれは選手なのかマスコットなのかを判断したり。ただAIって、一般にイメージされるほど精度が高くないんですよ。これはピッチャーで、右投げで、っていうところまではデータが取れるんですけど。」

そのAIの盲点を補佐したのが、「BIPデータ」だという。
BIPとはBaseball Data Inovation Platform、つまりプロ野球に関わるデータを集約したプラットフォームであり、公式試合の記録が残されている。

野球を見る人ならご存知であろう「一球速報」のようなものをイメージしてもらってもよいだろう。このBIPデータの中にはこの試合・このイニング・どういったプレイングが行われたか、そしてその投手・野手・打者が誰だったのかのデータが蓄積されている。

「AIが絞り込んだデータに加えて、BIPデータの公式試合記録をさらに紐づける。そうすると、100%の的中率とまではいかずとも、『この試合この回のピッチャーで右投げならばA選手かB選手だ』というところまではできます。そこから最有力候補をサジェストする。これの的中率がだいたい試合中であれば90%くらいなんですけど、そこまでくれば後は球団スタッフの方がサジェストに対してあっているか違っているかを選ぶだけで、タグ付けが完了する、というわけです。100人からタグを選ぶよりも、時間コストはだいぶ抑えられます」と佐藤さん。

すでに存在していた集積データとAIを用いたシステムを掛け合わせてそれぞれの穴を埋める。そして100%フルオートにこだわりすぎず、サジェストまでにとどめることで逆にエラーを少なくし作業量を最小まで減らしたのだ。

見事な連携でヒットをつなげた本開発だが、もちろん、試行錯誤の日々はあった。

ヒットを生むまでの試行錯誤

構想から実現までは半年ほどだったというが、その期間に2度の方向転換が行われたのだと佐藤さんは語った。

1つ目の発想は、先ほども話に上がった「顔認識」である。「顔認識でいけるでしょう、と思って始めてみたら、顔が検出できたのが2割くらい。考えてみれば試合中なので、帽子やヘルメットもしていますし防具もある、顔が正面を向いて検知しやすい状況の方が稀ですので、これは早速立ち往生しました。」

そこから次の舵を切って出てきたのが「背番号で認証してみてはどうか」という案だった。

「これには、OCRの技術、つまり書かれた文字を認識する技術が転用できると踏んだんですけど……。」

いざ試みたところ、野球ユニフォームの背番号の数字はフォントやデザインの都合既存のOCRの技術ではそもそも図柄だと認識されてしまい、書き文字の読み取りの技術が使えなかったそうだ。またも求めるものは検出されず、会議は一時暗礁に乗り上げた。

「しかも、よく考えてみたら、背番号が映ってる写真って、つまり背中が映ってるんですよね。会議で誰かがふと『そもそも、商品なのだから後ろ姿のニーズは少なくないですか?』って気づいて。画像と選手を合致させるという技術面への意識ばかりが先走っていたんですけど、目的を見失っていたことにそこで気づいて立ち戻って。そういうこともこの時期にしましたね。」

そんな紆余曲折があり、追い込まれたツーアウトで先ほどの「一球速報」などを見ていて、「ここと紐づければ行けるのでは?」と起死回生の一案が飛んだ。ちょうどNPBでもBIPデータの新たな開発を手掛けていた時期でもあり、AI技術×BIPデータという2段構えのシステム開発に動き出したのだ。

BIPデータのない写真、たとえば試合前の練習風景やキャンプの写真などは顔認証だけになるため精度は落ちるそうだが、やっぱりメディアで使うとなると試合中の写真のニーズがほとんどであるため、必要とされているところの的中精度にはおおむね問題はないとのこと。

目的をしっかりとらえ、確実にその課題を解決する。これぞAIが取って代わることのない、人が思考することで生まれた技術だと感じた。

特許取得で繋がる一歩

開発が進む中で特許取得に一歩踏み出したのはNPBだったという。

富士フイルム側のAI技術単独の範囲では既存システムの活用にとどまってしまっていたが、NPBから共同での特許取得の相談があったことで、「外部データと組み合わせることでAIの推定精度を上げるという全体のアプローチ」について出願が可能になった。

富士フイルム本社からもGOが出て、まずは国内特許を取得し、国外への展開も検討中だという。

特許を保有したことでどんなメリットがあったかも尋ねてみたところ、「本件のリリースができたことで、画像クラウドであるイメージワークスの知名度向上につながった」と、宣伝広告としての役割が上がった。」と語ってくれた。

特許を取ることで経営財産を得るという一般的な面だけではない、技術を抱えることで得られる多様な側面を聞けたことは、同じように開発を目指す人たちにも明るい希望となるのではないだろうか。

最後に開発を手掛けた佐藤さんに、未来の発明者へ向けて一言、とお願いしてみたところ、自身の今回の経験を踏まえてこんなメッセージをいただいた。

「自分も苦しんだのでぜひお伝えしたいのは、技術ありきではなく、何を解決するために技術を検討しているのか、何が目的だったのか、ということを見失わないようにすることが大切だということでしょうか。技術はあくまで手段で、開発する理由になる『課題』が存在しているはずです。そこをぶらさないように考えることが重要ですね。」

そうして生まれたシステムが我々からは見えないところで縁の下の力持ちとなり、今日も白球の行方をあざやかに捉えるのである。