HomeR&D → 3D Gaussian Splatting の歴史

3D Gaussian Splatting:再注目される点を粒子として描くレンダリング

1980年代から研究されてきた「スプラッティング」と呼ばれる技術は、単なる点群を表示するのではなく、各点を"粒子"としてぼかして描画する発想に基づいている。
NeRFの登場とGPU技術の成熟を背景に「3D Gaussian Splatting」として再構築され、2023年に大きなブレイクスルーを迎えた。
なぜ今、スプラッティングが最先端技術として蘇ったのか、その技術史を追う。

はじめに

技術史を眺めるとき、あるアイデアが「先駆的」であっても、それが時代の要請や周辺技術と噛み合わなければ埋もれてしまいます。
逆に、環境が揃うと過去の発想が再評価され、短期間で世界を一変させることがあります。
3D Gaussian Splatting(以後 3DGS)は、そのような「遅れて開花する技術」の好例です。

本稿では撮影手順や実装ハウツーに踏み込むことはせず、発端から再評価、顕在化、そして現在と将来に至る技術史的な流れを、思想的な問い──なぜこの発想は捨てられ、なぜ今再び光を当てられるのか──を軸に描きます。

起源と初期の志向:点を"面"として見せる発想

前史:点を粒子として描く発想の系譜

三次元データを取り扱う際、点群をいかにして滑らかな面として見せるかは長年の課題でした。
実は1985年のLevoyとWhittedによる「点を粒子として描く」研究まで遡ることができ、当時から点をそのまま表示するのではなく、各点を"ぼかし粒子"として扱う発想は存在していました。
しかし、SGI workstationの時代には計算資源が圧倒的に不足しており、実用化は夢物語でした。

さらに前史として、1970年代後半のJim Blinnによる"blobby model"や、1989年のWestoverによるボリュームスプラッティングの研究があり、点群やボリュームを「ガウス分布的な塊」として扱う発想は脈々と続いていました。

1990年代〜2000年代:スプラッティング技術の発展と限界

1990年代から2000年代にかけて、スプラッティング技術は着実に発展しました。
2000年のPfisterらによる「Surfels」は、サーフェス要素(Surface Elements)として点群を扱う手法を提案し、従来のポリゴンベースレンダリングとは異なるアプローチを示しました。同年のRusinkiewiczとLevoyによる「QSplat」システムは、大規模点群の多重解像度レンダリングを実現し、点群LOD管理の嚆矢としても重要な位置を占めます。

2002年には、Zwickerらが楕円ウェイト平均(EWA:Elliptical Weighted Average)スプラッティングを発表し、高品質な「点を粒子として描く」技術の理論的基盤を確立しました。この手法は各点を楕円形の粒子として表現し、フィルタリングや再サンプリングの枠組みを与えた画期的な研究でした1

しかし当時のGPUは三角ポリゴン描画に最適化されており、EWAスプラッティングのような高度な粒子レンダリング技術は実機実装が困難でした。
このため産業界ではポリゴンベースのレンダリングが圧倒的に主流となり、スプラッティング技術は学術研究の領域に留まることになりました。

美の基準が変わる瞬間:NeRF の出現と問い直し

NeRFがもたらした技術的革命とトレンドの転換

2018年以降、ニューラルレンダリングは視覚表現の評価軸を大きく書き換えました。
2020年にNeRF(Neural Radiance Fields)が提案されると、画像からの新視点合成技術が爆発的に注目を集めました。NeRFは多数の写真から視点依存の放射輝度を学習し、驚くほど写実的な novel-view 合成を可能にしました。
これは「見た目の自然さ」を強く重視する新たな評価基準を社会に提示した出来事でした2

しかし、このNeRFブームは皮肉にも、従来の点群・スプラッティング技術を研究動向から遠ざける結果をもたらしました。
研究者の関心がニューラル・ボリュームレンダリングに一斉にシフトしたため、20年近く蓄積されてきたスプラッティング技術の知見は一時的に注目を失うことになりました。

NeRFの根本的ボトルネック

しかし NeRF は深刻な計算負荷の問題を抱えていました。

  • 学習時間:単一シーンの学習に数時間から一日以上を要する
  • 推論時間:1フレームのレンダリングに数十秒、場合によっては数分
  • メモリ使用量:高解像度シーンでは数十GBのメモリを消費
  • 編集困難性:学習済みモデルの部分的な修正が実質的に不可能

これらの制約により、NeRFはデモンストレーションとしては強力でも、実用的なワークフローには組み込みにくい技術でした。

高速化への挑戦と限界

この問題を解決しようと、多くの研究者が NeRF の高速化に取り組みました。
2022年のInstant-NGPは、ハッシュエンコーディングによってNeRFの学習時間を大幅に短縮し、数分での学習を実現しました。PlenOctreesは事前計算による高速化を図り、Kilo-NeRFは分割統治法でスケーラビリティを改善しました。
しかし、これらの高速化手法にも根本的な限界がありました。

NeRFは本質的に「全空間を連続的な関数で表現する」アプローチのため、どれほど最適化しても、空間のあらゆる点で関数評価が必要になります。
また、学習済みの表現を部分的に編集することは、ネットワーク全体に影響を与えるため困難でした。

再評価の論理:古いアイデアが新条件で生き返る理由

技術が再評価されるためには、単にアイデアそのものが優れているだけでなく、三つの周辺条件が揃う必要があります。

第一の条件:計算基盤(GPU等)の成熟
並列処理に適したGPUアーキテクチャの普及により、点群の高速レンダリングが現実的になりました。

第二の条件:評価軸の変化(見た目のリアリティが評価基準として高まったこと)
NeRFが示した「視覚品質」の重要性により、計測精度よりも見た目の自然さが重視される分野が拡大しました。

第三の条件:実装と共有を促す文化(オープンソース等)
研究成果の実装公開が標準化され、アイデアの検証と改良のサイクルが加速しました。

スプラッティングはこれらの条件が揃うことで、その長所(局所的に効率よく表現できる点、視覚的に滑らかな表現が得られる点)を再び活かせる候補になりました。
加えて概念的には、全空間を巨大なニューラルネットワークで冗長に表現するよりも、「場面の必要箇所だけ」を局所的に最適化する方が計算効率と配信効率の点で理にかなう、という設計パラダイムの転換が起きました。

転機としての 3D Gaussian Splatting(2023)

2023年のSIGGRAPHで発表されたKerblらの「3D Gaussian Splatting」は、上述の論理を実証的に示した成果です。
著者らはシーンを多数の 3D ガウス(位置・共分散・色・輝度等の属性を持つ楕円体)で表現し、これらを最適化することで視点依存の見た目を詰めました。技術的には、各ガウス粒子に色情報と視点依存性(球面調和関数)を持たせ、カスタムレンダラで高速に2Dスプラッティングする仕組みが導入されました。
さらに可視性や異方性(anisotropic)を考慮した高速なスプラッティングレンダラーを設計し、フルHD解像度で30fps以上のリアルタイム表示を達成した点が重要な転機となりました3

NeRFが数時間の学習を要し、レンダリングも秒単位だったのに対し、30分程度の学習で100fps以上のレンダリングを実現しました。これは単なる速度向上ではなく、「インタラクティブ編集」という新たなワークフローを可能にした質的な転換点でした。
さらに重要なのは、著者らが実装の全コードとデータセットを公開したことで、研究者・開発者コミュニティでの急速な普及を後押ししたことです。

設計哲学の転換:局所最適化への回帰

3DGSの成功は技術的優位性だけでなく、根本的な設計哲学の転換にあります。
全空間を巨大なニューラルネットワークで冗長に表現するよりも、「場面の必要箇所だけ」を局所的に最適化する方が計算効率と配信効率の点で理にかなう、という設計パラダイムの転換が起きました。

NeRFが「ニューラルネットワーク全体でシーンを一様に表現する」のに対し、3DGSは「必要な場所を局所的に最適化する」という点で根本的に異なります。この設計哲学の差が、学習効率・描画速度・編集可能性に直結しました。

具体的には、3DGSは以下の優位性を示しました。

  • 学習時間:30分程度(NeRFの1/10以下)
  • レンダリング速度:100fps以上(NeRFの数千倍)
  • 編集性:個別ガウシアンの追加・削除・移動が容易
  • メモリ効率:局所表現により必要な場所のみを保持

課題と限界:透明物体や反射面の扱い

とはいえ 3DGS は万能ではありません。写実的表現に強みを持つ反面、メッシュやフォトグラメトリが提供するような計測学的な寸法精度や法線精度とは性質が異なり、用途によってはハイブリッドなワークフローが求められます。

  • 透明・反射物体:ガラスや水面などの表現には依然として課題
  • メモリ使用量:大規模シーンでは数GBに達することも
  • 動的シーン:人物や複雑な運動を伴う対象の扱いは研究途上

急速な派生研究:課題解決への取り組み

3DGS登場後、これらの課題に対する解決策が急速に研究されています。
透明物体については、HuangらがSIGGRAPH 2025で提案した「TransparentGS」があり、3DGSに屈折を扱う透明ガウスプリミティブを導入することで、ガラスや水面の表現を可能にしています。
動的シーンに対しては、Wuらの「4D Gaussian Splatting」(CVPR 2024)により、時間軸を含む4次元表現で動的パフォーマンスをリアルタイム再構成できるようになりました。

編集性では、HuangらのSC-GS(CVPR 2024)やWaczynskaらのD-MiSo(NeurIPS 2024)が、ガウス粒子群に対してまるでメッシュのように制御点や三角形を結び付け、シーン内オブジェクトの動きをユーザが編集可能にする枠組みを提案しています。
これらの研究により、3DGSの弱点とされていた分野でも実用的なソリューションが見えてきました。

入力データ品質の向上:古典撮影技術との相補的関係

3DGSは鏡面反射を含む複雑な見た目を美しく再現できることが特徴ですが、その学習プロセスを支援する技術として交差偏光撮影が注目されています。
特に初期のカメラポーズ推定(SfM)段階では、強い反射が障害となることがあり、偏光撮影で得た反射のない画像を使用することで、より安定した初期化が可能になります。
その後、通常撮影した画像で3DGSを学習することで、反射を含むフォトリアリスティックな結果を得ることができます。

19世紀のブリュースターやマリュスが発見した偏光の法則が、21世紀のAI技術を支える好例といえるでしょう。
特に、光沢のある文化財や工業製品の3Dキャプチャにおいて、偏光撮影で得られた高品質な初期データが3DGSの学習効率を大幅に改善することが報告されています。

波及と開放:実装公開がもたらした加速度

3DGSが短期間で広く注目を集めた要因の一つが、オープンソースでの実装公開です。
研究チームが論文発表と同時にGitHubでコードを公開したことで、世界中の研究者・開発者が即座に技術を検証・改良・応用できる環境が整いました。

コミュニティの急速な形成:具体的な指標

3DGSの注目度は数字にも表れています。
MrNeRF氏らのGitHub「awesome-3D-gaussian-splatting」リポジトリは7,700件以上のスターを獲得し、Nerfstudioの「gsplat」実装も3,600件のスターが付くほど関心が高まっています。
これらの数値は、学術界だけでなく実装コミュニティでも急速に技術が浸透していることを示しています4

企業・メディアの注目:産業界への波及

企業や技術ブログでの紹介も盛んです。
NianticやAWSは解説記事で3DGSの未来性を紹介し、Chaosの公式ブログはV-RayにGS対応機能を組み込む予定を発表するなど、業界的な注目が示されています。
AWS Spatial Blogでは「3DGSは生成時間を大幅に短縮しリアルタイム性能を向上させる」とその優位性が報告され、実務応用への期待が高まっています。

実務への浸透:ゲーム開発からメタバースまで

2024年以降、UnityやUnreal Engineへのプラグイン開発が進み、ゲーム開発現場での実験的採用が始まっています。
また、Apple Vision ProやMeta Questなどの空間コンピューティングデバイスでの利用も検討され、「撮影した現実をそのままVR空間に持ち込む」という新たなコンテンツ制作パイプラインが生まれつつあります。

このように、開発者ブログやSNS、企業プレスリリース等を通じた情報発信が技術トレンドの形成を後押しし、3DGSが単なる学術研究ではなく、産業界で実際に使われ始めている技術であることを示しています5

思想的な含意と今後の観測点

3DGS の物語が示すのは、技術の進化が直線的な「新しい=優れている」という図式だけでは説明できないということです。
重要なのは「条件の相互作用」です。古い発想が新しい隣接技術と結びつくことで、新たな価値を生むことがある──3DGS はその実例です。

今後、注目すべき観測点は主に三つあります。

  • 動的シーン対応:人物や流体、可変形状に対する表現力の向上。
    すでに「4D Gaussian Splatting」として時間方向も扱う研究が登場しており、動的なシーン再現への道が開かれつつあります。
  • ハイブリッド化:フォトグラメトリ等の高精度形状情報との統合
  • 標準化:圧縮・ストリーミング・編集インターフェースの整備。MPEGやglTF拡張など、業界標準化への動きも活発化しています。

まとめ:技術の再発見と連続性

3D Gaussian Splatting は「古くて新しい」技術の興隆を端的に示す事例です。
研究という営みは断続的な点の集合であり、ある時点で役に立たなかった点が、別の時点の条件下で連続線として見え始めることがあります。

19世紀の偏光理論から1980年代の点群レンダリング研究、そして2020年代のニューラルレンダリングまで、一見バラバラに見える技術が実は深いところでつながっていることを、3DGSは教えてくれます。
本稿がその「連続」を読み解く一助になれば幸いです。

今後も周辺技術の動向と応用事例を注視しつつ、理論と実装がどのように再結びついていくかを追っていきたいと思います。

参考文献

  1. Zwicker, M., et al. (2002). EWA Splatting — 楕円ウェイト平均スプラッティング。Computer Graphics Forum
  2. Mildenhall, B., Srinivasan, P. P., Tancik, M., Barron, J. T., Ramamoorthi, R., & Ng, R. — NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis(NeRF 原論文)。arXiv, 2020
  3. Kerbl, B., Kopanas, G., Leimkühler, T., & Drettakis, G. — 3D Gaussian Splatting for Real-Time Radiance Field Rendering(SIGGRAPH / arXiv, 2023)
  4. GitHub Community Repositories(awesome-3D-gaussian-splatting, nerfstudio gsplat 等)
  5. AWS Spatial Blog, Niantic Labs, Chaos Group等の企業技術ブログ

追加参考文献

  • Blinn, J. F. (1982). A Generalization of Algebraic Surface Drawing — "blobby model"の提案
  • Levoy, M., & Whitted, T. (1985). The Use of Points as a Display Primitive
  • Westover, L. (1989). Footprint Evaluation for Volume Rendering — ボリュームスプラッティングの起源 (vcg.seas.harvard.edu)
  • Pfister, H., et al. (2000). Surfels: Surface Elements as Rendering Primitives — サーフェス要素の提案 (cgl.ethz.ch)
  • Rusinkiewicz, S., & Levoy, M. (2000). QSplat: A Multiresolution Point Rendering System for Large Meshes
  • Zwicker, M., et al. (2002). EWA Splatting — 楕円ウェイト平均スプラッティング
  • Kerbl, B., et al. (2023). 3D Gaussian Splatting for Real-Time Radiance Field Rendering — SIGGRAPH 2023 (arxiv.org, blog.siggraph.org)
  • Huang, Z., et al. (2024). TransparentGS: Transparent Gaussian Splatting — SIGGRAPH 2025 (arxiv.org)
  • Wu, G., et al. (2024). 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering — CVPR 2024 (openaccess.thecvf.com)
  • Huang, Y., et al. (2024). SC-GS: Sparse-Controlled Gaussian Splatting — CVPR 2024 (arxiv.org)

技術ブログ・企業資料

  • AWS Spatial Blog — 3D Gaussian Splattingの産業応用と性能評価 (aws.amazon.com)
  • Niantic Labs Blog — 空間コンピューティングと3DGS技術の融合 (nianticlabs.com)
  • Chaos Group Blog — V-Ray への Gaussian Splatting 対応予定発表 (blog.chaos.com)
  • Aras Pranckevičius Blog — 3DGS技術解説と実装ノート (aras-p.info)
  • fxguide.com — 3D Gaussian Splattingの映像制作への応用可能性

GitHub・コミュニティ資料

  • GitHub: awesome-3D-gaussian-splatting(7,700+ stars) (github.com)
  • GitHub: nerfstudio-project/gsplat(3,600+ stars) (github.com)
  • GitHub: graphdeco-inria/gaussian-splatting — 公式実装リポジトリ
  • 交差偏光撮影と3D復元に関する各種論文(本誌前掲記事参照)
← R&D記事一覧に戻る

この記事をシェア