PLAY SHIFT：Switch2が変える遊びの常識

2025.07.16

大阪・関西万博と輝く日本の特許

2025年4月、大阪・夢洲を舞台に「いのち輝く未来社会のデザイン」をテーマとした大阪・関西万博が華々しく開催されました。55年ぶりに日本で開かれる国際博覧会であり、1970年の大阪万博以来となるこのビッグイベントは、日本のみならず世界中の英知と創造性を結集し、次世代の暮らしや社会の在り方を体験できる場として注目を集めています。会期は2025年4月13日から10月13日までの半年間、151を超える国と地域、そして企業・団体が参加し、最新の技術と文化が交差する未来都市が一時的に現出します。

詳しくは、大阪・関西万博の公式ウェブサイト（https://www.expo2025.or.jp/）をご覧ください。

この万博の最大の魅力は、単なる展示ではなく、「体験」そのものにあります。来場者は、未来の医療やモビリティ、教育、エネルギー、都市設計といった幅広い領域で、現実に起こりつつある技術革新を五感で味わうことができます。そしてその体験の裏側では、日本企業の技術力が惜しみなく注がれており、その多くは「特許」という形で技術的な独自性と価値を世界に提示しています。

そこで今回の特許マガジンでは、大阪・関西万博の現場で実際に使われている、あるいは注目されている最新の日本発特許技術に焦点を当て、その仕組みと未来社会における可能性を解説していきます。

たとえば、ソニー・インタラクティブエンタテインメントが開発した触覚提示システムは、仮想空間と現実を繋ぐ次世代インターフェース技術です。バットのような身近な実物体に装着することで、振動を通じたリアルな触覚フィードバックを実現し、ガンダムパビリオンでは臨場感あふれるVR体験として採用されています。

富士フイルムが開発した構造色インクジェット技術は、顔料や染料を使わずに光の干渉によって鮮やかな色を再現する革新的技術です。これにより、持続可能で重厚感ある印刷表現が実現され、万博のパビリオンを彩る展示物やグラフィックにも採用されています。

Optmass社による赤外線吸収フィルム技術は、透明性を損なわずに赤外線のみを効率的に吸収することで、太陽光発電と建築美観の両立を可能にします。窓ガラスに貼るだけでエネルギー効率を高められるこの技術は、未来のスマートシティに欠かせない要素として脚光を浴びています。

これらの技術はいずれも、単に「新しい」だけでなく、「持続可能性」「没入感」「社会実装性」といった、現代社会が求める多様な価値観に応える力を持っています。そしてその背景には、綿密な研究開発と、それを支える知的財産戦略、すなわち特許の存在があります。

本誌では、読者の皆様にこうした特許技術の魅力をわかりやすく伝えると同時に、「特許とは何か」「なぜ重要なのか」という根本的な問いにも立ち返りながら、未来社会の構築に特許がどのように関与しているのかを紐解いていきます。

大阪・関西万博という「未来のショーケース」の舞台裏に隠された、知られざる技術の物語。さあ、この雑誌を通して、未来を支える特許の世界を一緒にのぞいてみませんか？

リアルタイム高画質化で、ゲームはもっと深くなる

次世代ゲーム機の登場が囁かれるたび、ゲーマーたちが最も心を躍らせるのは、やはりその「グラフィック性能」ではないでしょうか。より美しく、よりリアルに描画されるゲームの世界は、私たちをかつてない没入感へと誘います。しかし、高性能化は常に電力消費の増加やハードウェアコストの上昇という課題を伴い、特に携帯型ゲーム機においては、バッテリー持続時間とパフォーマンスのバランスが極めて重要となります。この技術的なジレンマは、長らくゲーム業界の大きなテーマであり続けてきました。

そのような中、ひときわ注目を集めているのが、任天堂株式会社が取得した「機械学習される画像コンバートのためのシステムおよび方法」に関する特許（特許第7651588号）です。この特許は、来るべき「任天堂Switch2」の性能を飛躍的に向上させる切り札になるのではないかと、大きな期待が寄せられています。低解像度で生成された画像を、まるで魔法のように高精細な映像へと変換するこの技術は、従来の制約を打ち破り、ゲーマーに新たな次元の視覚体験をもたらす可能性を秘めています。

今回は、この特許に秘められた技術の真髄に迫り、それがどのようにして未来のゲーム体験を塗り替える可能性を秘めているのかを深掘りしていきます。従来の課題をどのように克服し、どのようなメカニズムで高画質化を実現するのか、そして、この技術がゲーム業界だけでなく、より広範な映像処理の未来にどのような影響を与えるのかを詳細に分析します。

近年、家庭用ゲーム機の進化は目覚ましく、より没入感のあるゲーム体験を提供するため、グラフィック性能の向上が常に求められています。しかし、高性能なグラフィック処理は、電力消費の増加やハードウェアコストの上昇といった課題を伴います。特に携帯型ゲーム機の場合、バッテリー駆動時間と性能のバランスが重要となります。このような背景のもと、任天堂株式会社が取得した「機械学習される画像コンバートのためのシステムおよび方法」に関する特許（特許第7651588号）は、次世代ゲーム機、特に「任天堂Switch 2」での採用が期待される技術として注目されています。

本技術は、機械学習、特にニューラルネットワークを活用することで、低解像度で生成された画像を高品質かつ効率的に高解像度へ変換することを可能にします。これにより、限られたハードウェアリソースで、高精細な映像出力を実現し、ユーザーに優れた視覚体験を提供できる可能性があります。今回は、この特許に記載された技術の具体的な内容、その原理、そしてゲーム分野における潜在的な影響について分析します。

１．背景と課題

背景技術

本特許に記載された発明は、機械学習、特にニューラルネットワーク、そして任意のデータセットや信号を、別のデータセットや信号へ変換する技術に関するものです。より具体的には、データセットや信号にブロック変換を適用することに焦点を当てています。この技術の応用例としては、ある解像度の画像を別の解像度（例えば、より高い解像度）に変換することが挙げられ、ビデオゲームエンジンによって生成される画像からのリアルタイムアプリケーションに用いられることが想定されています。

従来技術における課題

従来の画像アップコンバート技術には、いくつかの課題が存在します。

１．演算コストの高さ
機械学習、特に深層学習ニューラルネットワークの一種である畳み込みニューラルネットワーク（CNN）は、特定のタスクを学習する能力をコンピュータに与える強力なツールです。しかし、訓練済みのモデルを用いること（およびモデルを訓練すること）によって生じる処理は、リアルタイム環境で展開される場合、依然として演算コストが高いという課題があります。

２．速度と品質のトレードオフ
画像アップコンバートは、第1の解像度（例：540p）で生成された画像をより高い解像度（例：1080p）に変換する技術です。このプロセスにより、高解像度のディスプレイ上に第1の解像度の画像を示すことが可能になります。しかし、異なるアップコンバート技術は、速度（所与の画像を変換するのにかかる時間）とアップコンバートされた画像の品質との間でトレードオフの関係になりがちです。例えば、ビデオゲーム中など、リアルタイムで行われる場合、結果として生じるアップコンバート後画像の質が悪くなることがあるという問題がありました。

３．メモリ帯域幅の制約
従来のCNNの実現例では、層データがGPUのレジスタ（または他の「高速」メモリ）に完全に適合しないことが多く、データを異なるメモリ場所間で転送する必要が生じ、DRAMへのアクセスによるパフォーマンスのボトルネックが発生し得るという課題がありました。高速メモリ（レジスタなど）に層の重みをロードし、DRAMから層入力をロードし、GPUで乗算を行い、非線形関数を適用し、層出力をDRAMに記憶するというプロセスは、DRAMへの頻繁なアクセスを伴います。

４．受容野の伝搬
畳み込みニューラルネットワーク（CNN）は並進不変であるため、より多くの層が融合されるにつれて、単一の出力値を算出するにはより多くの入力が必要とされ、受容野（ニューラルネットワークのエンド値の「見る」能力/広範囲の入力に依存する）が増加することで、演算上のコストが上がってしまうという課題がありました。

どんな発明？

２−１．発明の目的

本特許は、機械学習、特に訓練済みのニューラルネットワークを用いて画像をある解像度から別の解像度に変換するための革新的なシステムと方法を提供します。この技術は、従来の画像アップコンバートにおける課題、特に演算コストと品質のトレードオフ、そしてメモリ帯域幅の制約を克服することを目指しています。

２−２．発明の詳細

1. 基本原理：分離可能なブロック変換 (SBT)
この発明の中核は、「分離可能なブロック変換（Separable Block Transform: SBT）」と呼ばれる技術にあります。SBTは、画像をブロックに分割し、各画素ブロックにコンテキストデータを追加し、これらをチャネルに分けて訓練済みのニューラルネットワークに適用するというものです。従来のCNNが全結合層や畳み込み層でデータの全体的な関連性を考慮するのに対し、SBTはより局所的なブロックレベルでの変換に特化しています。

具体的には、活性化行列に対して2つの別々の学習済み行列 L と R を適用します。

L は活性化行列の左側に乗算され、各データ点（画素）のすべてのチャネル値に線形変換を適用します。これは画素の位置とは独立に行われます。

R は活性化行列の右側に乗算され、各活性化チャネル（行）のすべての画素値に線形変換を適用します。これはチャネルの位置とは独立に行われます。

この変換は、X→LXR と表すことができますが、実際には複数の LXR 項の総和として表現されます。

ここで、X nは現在の活性化行列、X n+1は変換後の活性化行列、Lin と Rin は学習済みの行列、k は総和の項数を示します。これにより、個別の LXR 項を組み合わせることで、より高い表現力を持ちながらも、重みの数や演算コストを低減できる可能性があります。

2. 処理フロー

この発明の画像コンバートプロセスは、主に以下のステップで構成されます。

２−１．ソース画像のレンダリングと準備 (ステップ200, 210, 300, 310, 320, 330)

まず、ビデオゲームエンジンなどによって、低解像度（例：540p）のソース画像が生成されます。

このソース画像は、4x4画素のブロックに分割されます。

各ブロックには、周囲の画素値に基づいた「コンテキストデータ」が追加され、8x8のコンテキストブロックが作成されます。このコンテキストデータは、変換後の画像の品質向上に寄与します。

コンテキストブロックは、複数の入力チャネルに分けられます。例えば、RGB値ごとに4つのチャネルに分割され、合計12個の入力チャネルが生成されます。

ソース画像205が4x4画素ブロック302に切断され、各ブロックが選択されます (300, 310)。次に、コンテキストデータが追加されて8x8コンテキストブロック322が作成され (320) 、これが複数の入力チャネル（333, 334, 335, 336など）に分割されます (330)。

２−２．行列への再編成 (ステップ220, 410)

準備された入力チャネルは、単一の16x16の活性化行列に再編成されます。この際、単一の画素のデータが複数の行に含まれることがあります。

この16x16というサイズは、GPU（グラフィック処理ユニット）などのハードウェアが持つアトミックな行列乗算の次元（例：NVIDIAのテンソルコアにおける16x16FP16行列乗算）に合わせて最適化されています。これにより、後続の処理において高い効率を実現します。

余分な行（例：12個の入力チャネルを16x16行列に収める場合、残りの4行）はゼロに設定されるか、深度情報や動き情報などの追加データが組み込まれることもあります。

図４には、入力データ215が16x16活性化行列225に再編成される様子が示されています (410)。各入力チャネル（333a, 333b, 333cなど）が活性化行列の特定の行に挿入され、残りの行はゼロに設定されます (420)。

２−３．ニューラルネットワークの実行 (ステップ230, 96)

活性化行列は、訓練済みのニューラルネットワーク（SBTネットワーク）を通じて実行されます。ここで、上述のL行列とR行列が適用され、活性化関数（例：ReLU）が適用されます。

この処理は、所定の回数（層の数、例：4回）繰り返され、活性化の変換後行列が生成されます。

重要なのは、この処理がGPUの内部メモリ（レジスタなど）内で完結し、DRAMへのアクセスを最小限に抑えることで、高速なリアルタイム処理を可能にしている点です。

図5には、活性化行列225がSBTネットワークを通じて実行され、LXR変換と活性化関数420が適用され、変換後の活性化行列235が生成される過程が示されています。

２−４．ブロックへの再編成 (ステップ240, 602)

変換後の活性化行列は、再び複数の出力チャネルの形態に再コンバートされます。例えば、12個の出力チャネルが作成されます。

図6には、活性化行列235の各行が、1080pの出力データ245の対応するブロック（602a, 602bなど）に再編成される様子が示されています。

２−５．コンバート後画像の生成と出力 (ステップ251, 260, 710, 720)

再編成された出力チャネルは、単一の8x8画素ブロックに結合されます。

これらの8x8画素ブロックを組み立てることで、最終的な高解像度（例：1080p）の画像が組み立てられ、ディスプレイに出力されます。

図7には、1080pの出力データ245が8x8画素ブロック712に結合され (710) 、複数の8x8画素ブロックから最終的な1080pの画像255が組み立てられる様子が示されています (720)。

3. 訓練プロセス

SBTネットワークの訓練は、訓練コンピュータシステム（例：図9の900）で行われます。

３−１．訓練データセットの準備 (ステップ1002, 1110, 1120, 1130, 1210, 1220, 1230, 1240)

複数の目標画像（高解像度画像、例：1080p）が準備されます。

これらの目標画像から、SBTネットワークの出力データとなる1080pの出力データと、SBTネットワークの入力データとなる540pの入力データが生成されます。540pの入力データは、1080pの出力データからダウンサンプリング（例：ポイントサンプリング）して作成されます。

図11には、1080pの画像1000が8x8画素ブロックに切断され (1110) 、各ブロックが選択されて (1120) 、複数の入力チャネル（1132, 1134, 1136, 1138など）に分けられることが示されています (1130)。

図12には、1080pの出力データ1006から540pの画像1212が作成され (1210) 、これが4x4画素ブロック1214に選択され (1220) 、コンテキストデータが追加されて8x8コンテキストブロック1232aが作成され (1230) 、これが複数の入力チャネルに分けられることが示されています (1240)。

３−２．ニューラルネットワークの訓練 (ステップ1008)

540pの入力データを用いて、訓練の結果が1080pの出力データに充分近いカバー範囲に収束するまでニューラルネットワークが訓練されます。

収束後、訓練済みのSBTネットワークの重み（L行列とR行列の係数）が記憶され、ゲーム機などに配信されます。

３−３．プルーニング

SBTは、各個別の総和要素（LXR項）をネットワークの残りに干渉することなく除去できるため、プルーニング（不要な重みや接続の削除）に適しています。これにより、モデルの複雑さを低減し、実行時間コストを削減できます。どのLXR項を除去するかは、グローバル損失への影響や勾配の低さに基づいて判断されます。

4. 利点と応用

この発明の主な利点は以下の通りです。

リアルタイム高解像度化
GPUのレジスタ内で主要な処理を完結させることで、DRAMへのアクセスを最小限に抑え、リアルタイム（例：1/60秒未満）での高解像度化を可能にします。

ハードウェア効率の最大化
活性化行列のサイズをGPUのアトミック演算に合わせることで、GPUの処理能力をほぼ100%近く（90%または95%以上）利用し、リソースの無駄をなくします。

メモリ帯域幅の低減
アプリケーション（特にビデオゲーム）に必要なテクスチャデータのサイズを削減できるため、全体のファイルサイズが小さくなり、物理媒体の容量やダウンロードに必要な帯域幅を節約できます。

柔軟なモデル設計
異なるゲームの種類や表示装置の解像度に合わせて、最適なSBTネットワークを訓練・適用できます。

アンチエイリアシングとノイズ除去
解像度変換だけでなく、アンチエイリアシングやレイトレーシングに伴うノイズ除去、ぼけ除去などの画像処理にも応用可能です。

ダウンサンプリングの最適化
訓練段階でポイントサンプリングを用いたダウンサンプリングを導入することで、従来のサンプリング手法と比較して、同じ記憶空間内により多くの情報を詰め込むことができる可能性があります。

この技術は、ビデオゲームのアップコンバートだけでなく、リアルタイム画像認識、音声認識、時系列での異常検出、映像処理、3Dテクスチャ変換、画像分類、オブジェクト検出など、多岐にわたる応用が考えられます。特に任天堂Switch2のような携帯型ゲーム機では、限られた電力とリソースの中で高精細なグラフィックを実現するための強力な解決策となり得ます。

３．ここがポイント！

この発明のポイントは、画像をブロックに分割し、そのブロックごとにコンテキストデータを付加して活性化行列を構築することにあります。この活性化行列に対し、訓練済みの2つの行列（L行列とR行列）からなる分離可能なブロック変換（SBT）を適用することで、GPUの内部メモリ（レジスタ）内で主要な処理を完結させ、従来のメモリ帯域幅の制約を大幅に軽減しながらリアルタイムで高解像度化を実現する点です。これにより、少ないリソースで高品質な画像を生成し、ハードウェア効率を最大限に引き出すことが可能になります。

４．未来予想

特にゲーム業界において、以下のような発展が予測できます。

この任天堂の特許技術が実用化された場合、特にゲーム業界において、以下のような未来が予測されます。

1. ゲーム体験の飛躍的向上と普及の加速

• グラフィック品質の標準化と向上
限られた処理能力のデバイスでも、より高解像度かつ高フレームレートのゲーム体験が標準となります。例えば、携帯モードのSwitchでも、据え置き機に近い高精細な映像でゲームを楽しめるようになり、場所を問わず妥協のないグラフィックでゲームをプレイできる環境が普及するでしょう。

• 開発コストの最適化
ゲーム開発者は、これまで複数の解像度向けにアセットを準備する必要がありましたが、本技術により、低解像度向けのアセットで高品質な出力を得られるため、開発にかかる時間とコストを削減できるようになります。これにより、より多くの開発リソースをゲームプレイの革新やコンテンツの充実に費やすことが可能になるでしょう。

• クラウドゲーミングの更なる進化
クラウドゲーミングにおいて、低解像度の映像データをクライアント側にストリーミングし、クライアント側で本技術を使って高解像度化することで、データ転送量（帯域幅）を大幅に削減できます。これにより、より安定したクラウドゲーミング体験が提供され、通信環境が必ずしも良くない場所でも高品質なゲームを楽しめるようになるでしょう。これは、クラウドゲーミングの普及を加速させる重要な要素となる可能性があります。

2. ハードウェア設計と市場戦略への影響

• バッテリー寿命と携帯性の両立
従来の高性能グラフィックチップは電力消費が大きく、携帯型デバイスのバッテリー寿命を犠牲にしていました。本技術により、より効率的なアップスケーリングが可能になることで、バッテリー寿命を維持しつつ、高性能なグラフィックを実現できるようになり、携帯型ゲーム機のデザインと機能性の両立がさらに進むでしょう。

• 製品ラインナップの多様化
低価格帯のデバイスでも高画質なゲーム体験を提供できるようになるため、より幅広い価格帯の製品を市場に投入できるようになります。これは、新たな顧客層の獲得や、新興市場への参入を容易にする可能性があります。

• サードパーティ製ゲームの充実
開発コストの最適化は、特に中小規模のゲーム開発会社にとって大きなメリットとなります。これにより、より多くのサードパーティ製ゲームが任天堂プラットフォームに投入され、コンテンツの多様性が増すことが期待されます。

3. 他分野への応用と社会への波及

• リアルタイム映像処理の革新
ゲーム以外の分野でも、本技術の応用は広がるでしょう。例えば、監視カメラの低解像度映像を高精細化して人物や物体の識別精度を向上させたり、医療画像診断において低解像度データからより詳細な情報を引き出したりするのに役立つ可能性があります。

• ストリーミングサービスの高画質化
既存の動画ストリーミングサービスにおいても、帯域幅を抑えつつ高品質な映像を配信する技術として活用される可能性があります。これにより、特にモバイル環境での高画質コンテンツの視聴体験が向上するでしょう。

• VR/AR体験の向上
仮想現実（VR）や拡張現実（AR）の分野では、限られた計算リソースの中で、よりリアルで没入感のある映像を提供することが求められます。本技術は、VR/ARデバイスの性能向上に貢献し、新たなインタラクティブ体験の創出を加速させるでしょう。

このように、本技術はゲーム業界に留まらず、広範な映像処理技術の進化を促し、私たちの日常生活における視覚体験を大きく向上させる可能性を秘めています。

権利概要

発明の名称	機械学習される画像コンバートのためのシステムおよび方法
出願番号	PCT/US2021/023939
出願日	2020年3月25日
公開番号	WO2021195251A1
公開日	2021年9月30日
特許番号	特許7651558号
出願人	任天堂株式会社
発明者	アレクサンドルデラットレテオシャルベラファエルポンセ
国際特許分類（IPC）	G06T　3/40 G06N　3/045 G06T　15/00
経過情報	米国特許商標庁を受理官庁として国際出願された後、日本へ国内移行。

マウスとコントローラが融合。かつてない自由な操作感。

ゲーム業界は、多様なプレイスタイルに対応する入力装置の進化を常に模索しています。家庭用ゲーム機市場において確固たる地位を築いている任天堂は、革新的なゲーム体験の提供を追求し、その中心となる入力装置の開発に注力してきました。

今回紹介する特許「入力装置およびシステム」は、任天堂が開発した新型の入力装置に関するものであり、その機能と汎用性から、次世代ゲーム機「Nintendo Switch 2」への採用が期待される技術です。

この発明は、従来のゲームコントローラの操作性と、マウスのような精密なポインティング操作を両立させることを可能にする、画期的なハイブリッド型入力装置のコンセプトを提示しています。これにより、ゲームプレイの多様性が飛躍的に向上し、ユーザーはゲームタイトルや個人の好みに応じて最適な操作方法を選択できるようになるでしょう。

今回は、この技術に関する国際公開公報WO2025/027803A1の記載を掘り下げ考察します。