フォトメトリックステレオの歴史：光から形状を読み取る技術革新

フォトグラメトリとフォトメトリックステレオ

写真から形状を復元する技術には、大きく分けて2つのアプローチがあります。前回紹介したフォトグラメトリ（写真測量、Structure-from-Motion など）は視点を変えて多数画像を撮影し、特徴点マッチングで形状再構築を行う技術です¹。一方、本稿で扱うフォトメトリックステレオは照明を変えて撮影し、単一視点から法線を得て局所凹凸を精緻に捉える技術です²。

フォトグラメトリはテクスチャが多い物体に対してグローバルな形状精度が高く、テクスチャレスや反射面では困難が生じます³。対してフォトメトリックステレオはテクスチャレス面であっても細かい表面凹凸を再現できる利点があります^2,4。ただし、推定結果にスケールや低周波形状の歪みが生じやすく、全体形状の大きな歪み補正が課題となります^2,4。これらの互補性を生かし、フォトグラメトリで全体形状とスケールを、フォトメトリックステレオで微細形状を取得する融合手法も提案されています^5,6。

前史：芸術・地図における陰影表現から形状復元研究へ

芸術・地図製作における陰影法の歴史

歴史的に、絵画や地図製作において陰影表現は立体感を伝える重要な手法として用いられてきました。西洋絵画では「明暗法（キアロスクーロ）」が古くから知られ、ルネサンス期のレオナルド・ダ・ヴィンチは1502～1503年にトスカーナ地方の地図で、光源を左上に固定した斜視図と陰影を組み合わせて地形表現に用いています⁷。その後17世紀にもスイスのMurerらが陰影を用いた地図を描いた例が知られています⁷。

18～19世紀の地図製作では等高線登場以前に地形の凹凸を表現するため、傾斜方向に沿った線幅・密度で明暗を表すhachures（シュラッフーレン）や、光源を想定した陰影図などが試みられました。1799年にLehmannは地形の斜度と地図上の明度との関係式を提案し⁸、19世紀中頃には印刷技術の進歩により陰影図法（Relief Shading）が発展しました。Wiechel（1850年代）は陰影図法を理論的に整理しています⁹。このように、鏡面や等高線とは異なる陰影による立体表現技法は長い歴史を持っています⁷。

1950～60年代：計算機視覚の黎明期

20世紀中葉、冷戦時代の宇宙開発競争とコンピュータ技術の発展を背景に、視覚心理学や計算機視覚の分野で陰影を利用した形状推定が研究され始めました。この時代は、月面探査という具体的な社会的要請が技術発展を牽引しました。心理学的には、ハイライトと影が物体の形状・奥行きを示唆する単眼手がかりとされ、「光源は上方から来る」という先験的仮定が人間の形状認識に影響することが指摘されています¹⁰。

1960年代には月面写真解析などで陰影情報から形状を求める試みが登場します。van Diggelen (1951) は月面の「地球照」の境界（終端線）付近の照度分布から地形の一方向の傾きを推定し、別位置の光源像と組み合わせれば両方向の傾きを求められると示唆しました¹¹。またRindfleisch (1966) は月面の特殊な反射特性（反射率が入射角余弦に比例）を仮定して画像照度を1次偏微分方程式で表し、当時撮影されたRanger号の月面画像に適用して高さプロファイルを再構築しています¹²。しかし一般に陰影情報のみでは未知数が多く、形状復元は難しい問題でした。

1960年代後半には、人工知能研究が本格化する時代背景において、MIT人工知能研究所のBerthold Horn がこの問題を数学的に定式化し始めます。この時期のAI研究は、ロボット工学や自動化システムへの応用を見据えていました。Horn（1970, 1975）は陰影からの形状復元を非線形偏微分方程式（画像照度方程式）として定式化し、表面が滑らかであるという仮定のもとで積分的に解く方法を示しました^13,14。これらは形状復元問題を理論的に初めて解決した例です。

起源：陰影法から照度差ステレオへ（1970年代）

Berthold Hornの反射率マップと画像照度方程式

表面の陰影（シェーディング）から形状を推定する手法（shape from shading）の研究は1970年頃にBerthold Hornらによって進められました^13,14。MIT人工知能研究所（MIT AI Lab）に所属していたHornは、画像上の明るさ方程式を導入し、反射率マップ（reflectance map）という概念を用いて単一視点・単一光源から形状を推定しました^15,16。

反射率マップは、表面の局所傾斜(p,q)と画像輝度の関係を可視化したものです。Horn (1977) はこの反射率マップを導入し、照明・視点が無限遠にあると仮定すると輝度を表面傾斜の関数 R(p,q) で表せることを示しました¹⁵。すなわち、固定光源下において画像の輝度 I(x,y) は R(p,q) = I(x,y) という画像照度方程式に従うとされました^15,16。この方程式は、単一画像からは未知が1つ多い欠定方程式であり、解を得るには滑らかさなどの追加仮定が必要であることが知られます^14,16。

Hornの貢献は、これら理論を体系化し、計算機で解くための手法（特性曲線法や反復解法など）を生み出した点にあります^13,16。またHornは形状復元アルゴリズムを簡単化するツールとして反射率マップが有用であることを強調しており¹⁶、この考え方はのちの諸手法の基盤となりました（反射率マップはHill shadingや形状推定手法を統一的に比較する共通基盤ともなりました）。なお、Hornは1975年に画像照度方程式を非線形PDEとして最初に提案し、滑らかな表面仮定のもとで数値解法を示しています¹⁴。

フォトメトリックステレオの誕生（1980年）

Robert Woodhamによる決定的な提案

1980年代初頭、パーソナルコンピュータの普及とデジタル画像処理技術の発達により、より実用的なアプローチの必要性が高まっていました。この時代背景において、同一視点から照明方向だけを変えた複数画像を使うフォトメトリックステレオ（照度差ステレオ、光学ステレオ）法が考案されました。1980年にブリティッシュコロンビア大学（University of British Columbia）のRobert Woodhamが「Photometric method for determining surface orientation from multiple images」として照度差ステレオを提案し、特にLambert面（完全拡散面）上の法線推定を行う基本アルゴリズムを示しました¹⁷。

Woodhamの照度差ステレオ法では複数照明から得られる情報を活用して形状推定問題の不定性を解消できました。光源方向を変えて複数枚の画像を取得し、反射率マップ方程式を同時に解くことで各画素の表面向きを求める手法です¹⁷。例として2光源下では式が2本得られるため未知(p,q)を解けます（3光源で過剰決定することでノイズ耐性も向上します）¹⁷。具体的には、2照明で$$I_1(x,y)=R_1(p,q),\quad I_2(x,y)=R_2(p,q)$$として傾斜 p, q を求めるという説明は、2照明で未知数を2つ得る例として適切です¹⁷。

Woodhamの照度差ステレオは、単一画像からの形状推定（shape-from-shading）が抱えていた曖昧さを回避し、実用的な形状再構築手法として1980年以降広く採用されています¹⁷。

なお、同時期にMITのSilver（1980）なども類似の多照明による法線推定法を検討しており³¹、関連人物として言及されることもあります。

池内克史らによる拡張

続いて、1981年には東京大学の池内克史（Katsushi Ikeuchi）らが鏡面反射を持つ物体に対してもこの手法を拡張し、分布照明（複数光源）の下で複数画像を用いて局所的な法線を求める方法を示しました^2,18。Ikeuchiらは「photometric stereo（照度差ステレオ）という手法はWoodhamによって最初に定式化された」と述べ、Woodhamの1980年論文を引用しています²。また同論文では、Hornが画像方程式を解析的に解く従来手法（陰影法）と対比し、複数画像を用いた照度差ステレオでは滑らかさ仮定なしに局所的な法線を得られる点を強調しています^2,18。

Ikeuchi・Horn (1984) でも「Photometric Stereo」アプローチと呼ばれ、滑らかさ仮定なしに局所的に法線が求まる新手法としてまとめられています¹⁸。このように、Hornらの反射率マップ・画像照度方程式の枠組みがあって初めて、Woodhamの照度差ステレオ法では複数照明から得られる情報を活用して形状推定問題の不定性を解消できました。

1990–2000年代：モデル一般化と計算法の改良

1990年代は計算機グラフィックスの商業化とインターネットの普及により、3D技術への産業需要が急速に高まった時代でした。同時に、CPU性能の向上により複雑な計算が現実的になったことで、照度差ステレオの適用範囲拡大が進みました。物体表面の反射モデルをより現実的に扱うため、Ward（1992）モデル¹⁹やTorrance-Sparrow模型など様々な双方向反射分布関数（BRDF）が提案されました。これにより鏡面反射や半透明があっても法線推定を行う研究が盛んになりました。

特に重要な理論的進展として、ワイツマン科学研究所（Weizmann Institute）のBasriとハーバード大学（Harvard University）のJacobs（2003）によるランバート反射における線形部分空間の発見が挙げられます²³。彼らは、未知照明下でも3次元基底に収まることを示し、非較正照度差ステレオの理論的基礎を築きました。これ以前にも、大阪大学のHayakawa（1989）らが未知照明下でも解が導出できる理論的先例を示していました²⁴。

他方、未知の照明条件下でも形状を求める非較正照度差ステレオの手法も登場し、照明方向を推定しながら法線推定を行うアプローチが研究されました。近年では、従来の反射モデルに依存せず画像中のアウトライヤを頑健に扱うロバスト手法や、サンプル画像と対応関係を取る例示ベース手法も提案されています。

Ikehataら（2018）は、これら非ランバート反射への拡張を以下の4分類にまとめています⁴：

• （a）ロバストアプローチ
• （b）反射モデルを用いたアプローチ
• （c）例示ベースアプローチ
• （d）学習ベースアプローチ

また、取得した法線場（法線の垂直勾配場）から形状高度（奥行き）を復元するための積分手法や平滑化も研究されました。古くはメリーランド大学（University of Maryland）のFrankot & Chellappa（1988）が正則化積分や統一的アプローチについて議論しており²⁵、プリンストン大学（Princeton University）のNehabら（2005）はレーザスキャナなどから得られた粗い形状に照度差ステレオの法線を組み合わせる混合手法を示し、全体の形状精度を保ちつつ表面の詳細度を向上させています⁵。

さらに、この時期には物体の色（スペクトル）を利用するマルチスペクトル・フォトメトリックステレオ（Ikeuchiら1999年など）²⁶や、偏光を利用した形状推定、視点の遠近効果を考慮した手法（ShiらのパースペクティブPS など）²⁷、カメラ移動を伴う手法（「motion photometric stereo」）など、様々な拡張手法も提案されました。

近年：深層学習時代の照度差ステレオ（2010年代後半～）

2010年代は深層学習革命とGPU演算能力の飛躍的向上、そしてビッグデータの利用可能性が技術進歩を牽引した時代でした。同時期に、VR/AR技術、自動運転、ドローン技術などの新興産業が3D計測技術への需要を急激に押し上げていました。この社会的背景において、2010年代後半からは深層学習（特に畳み込みニューラルネットワーク：CNN）を用いた照度差ステレオが登場しました。従来は仮定された照明や反射モデルに基づく最適化が主流でしたが、香港大学（The University of Hong Kong）のChenら（2018）はCNNにより非ランバート面の照度差ステレオを解くPS-FCNを提案しました²⁰。

PS-FCNは任意数の入射画像を入力とし、固定カメラ位置のもとで高速に法線マップを予測するネットワークで、学習時に画像ごとの照明方向を指定せずとも高い性能を示しました²⁰。同年、ヨーロッパ・コンピュータビジョン会議（ECCV 2018）でワシントン大学（University of Washington）のIkehataらもCNNを利用したPSアルゴリズム（CNN-PS）を発表し、非ランバート表面に対する照度差ステレオ解法を学習手法で達成しています⁴。

これらに先立ち、Santo et al.（2017）がDPSN（Deep Photometric Stereo Network）を提案し²⁸、その後もSDPS-Net（Chen et al., CVPR 2019）²⁹など、較正済み・非較正を問わず学習ベースの照度差ステレオネットワークが続々と提案され、深層学習が照度差ステレオ研究を一層活性化しました。

Juら（2024）は照度差ステレオにおける深層学習アプローチを体系的にレビューし、「近年、各種の深層学習手法が非ランバート面に強く有効であることが示されている」とまとめています¹。

さらに、21世紀以降は照度差ステレオ技術がSLAMやNeRFと組み合わされる試みも増えており、「Active Photometric Stereo」「Neural Reflectance Fields」などのキーワードで研究が盛んです³⁰。これらの話題は本記事の範囲を超えますが、学習ベース・視差ベース・照明変化ベースのハイブリッド手法が今後の発展分野であることは確実です。

SfM／SLAM／NeRFとの関連と今後の展望

従来手法との比較

従来のSfM（Structure-from-Motion）やSLAMは複数視点から幾何学的な手法で構造を復元する技術であり、これらもフォトグラメトリに近いアプローチです。Juら（2024）は「従来の幾何ベースの手法（SfMなど）は視点変化を利用するのに対し、照度差ステレオは固定視点で照明変化から局所形状を捉える」と述べ、両者の違いを明確にしています¹。

実際、フォトグラメトリはテクスチャ有りの物体で正確な外形復元が可能ですが、テクスチャレスや反射面では困難が生じます³。対して照度差ステレオはテクスチャレス面であっても細かい表面凹凸を再現できる利点があります^2,4。ただし、照度差ステレオは推定結果にスケールや低周波形状の歪み（平滑形状のずれ）が生じやすく、全体形状の大きな歪み補正が課題となります^2,4。

NeRFとの融合可能性

一方、近年話題のNeural Radiance Fields（NeRF）（Mildenhallら 2020）はニューラルネットワークで放射場を学習し、任意視点の画像合成や形状再構築を行う手法で、物理的な照明条件やカメラ位置をニューラル表現で統合的に扱います²¹。

NeRFは非協力的な（テクスチャレス・反射性の高い）対象に強いですが、協力的テクスチャがある場合は従来のフォトグラメトリが有利という解析結果も報告されており、フォトグラメトリや照度差ステレオと相補的な特性を持ちます²²。今後はこれら視差型技術（SfM/SLAM）と照明変化型技術（照度差ステレオ）、さらにはNeRFなどニューラルレンダリングを組み合わせたハイブリッド手法への発展も期待されています。

ハイブリッド手法への発展

例えばNehabら（2005）はレーザスキャナなどから得られた粗い形状に照度差ステレオの法線を組み合わせる手法を示し、全体の形状精度を保ちつつ表面の詳細度を向上させています⁵。

まとめ：技術発展の教訓と今後への示唆

フォトメトリックステレオの歴史を振り返ると、複数の重要な技術発展の教訓が浮かび上がります。まず、社会的要請が技術発展の原動力となることです。1960年代の月面探査、1990年代のCG産業化、2010年代のVR/AR・自動運転技術など、それぞれの時代の社会的ニーズが研究方向を決定してきました。

また、理論と実用性のバランスの重要性も明らかです。Hornの厳密な理論的基盤があったからこそ、Woodhamの実用的なアプローチが成功し、その後の発展につながりました。単なる理論研究でも実用偏重でもなく、両者の橋渡しが技術革新の鍵となることを示しています。

計算技術の進歩と応用範囲の拡大も重要な教訓です。初期の月面解析から、PC時代の汎用化、そして深層学習時代の飛躍的性能向上まで、計算環境の発展が常に新たな可能性を開いてきました。これは今後のAI技術発展においても同様のパターンが期待されることを示唆しています。

今後の展望として、フォトメトリックステレオは単独技術から統合的アプローチへの転換期にあります。フォトグラメトリとの融合による全体・詳細の統合、NeRFとの組み合わせによる光学現象の完全な再現、そして次世代センシング技術との連携により、より包括的な3D理解システムの構築が進むでしょう。

最終的に、この技術の発展史は「光から形を読み取る」という人類の古来からの探求が、現代のデジタル技術によってどのように具現化されてきたかを示しています。今後も、人間の視覚認識の理解を深めながら、産業応用と基礎研究のバランスを保ちつつ発展していくことが期待されます。