確率モデル・ベイズ推論による次元削減

確率モデル・ベイズ系の次元削減（Probabilistic / Bayesian Dimensionality Reduction）は、観測データを「潜在変数から生成された確率過程」として定式化し、低次元表現と不確実性を同時に推定する枠組みである。材料科学では、スペクトル・回折・画像・計算記述子のノイズや欠損、混相、測定条件差を明示的に扱える点が実務上の強みである。

参考ドキュメント

• Tipping, M. E., Bishop, C. M., Probabilistic Principal Component Analysis (JRSSB, 1999) https://www.di.ens.fr/~fbach/courses/fall2005/Bishop_Tipping_1999_Probabilistic_PCA.pdf
• Bishop, C. M., Bayesian PCA (NeurIPS, 1999) https://papers.neurips.cc/paper/1549-bayesian-pca.pdf
• JASRI講演資料：ベイズ計測（日本語, PDF） https://www.jasri.jp/main/content/files/pdf/2023/okada_88thWS230307.pdf

1. PCAを確率モデルとして捉える

確率的次元削減の基本は、観測 $x\in {\mathbb{R}}^p$ が低次元潜在変数 $z\in {\mathbb{R}}^d$（$d\ll p$）から生成されるという生成モデルである。

代表的な線形ガウス潜在変数モデルは

$$x=\mu +Wz+\epsilon ,z\sim \mathcal{N}(0,I_d),\epsilon \sim \mathcal{N}(0,{\sigma }^2{I}_p)$$

である（確率的主成分分析 PPCA の基本形である）。

このとき、周辺分布は

$$p(x)=\mathcal{N}(x\mid \mu ,C),C=W{W}^{\mathrm{\top }}+{\sigma }^2{I}_p$$

となり、PCAが「確率モデルではない」という弱点（ノイズ、欠損、予測分布）を補う形になる。

材料データにおいては次が重要である。

• 欠損を含む測定（測定範囲の欠落、検出器飽和、ピーク欠損）を自然に扱える
• 低次元表現 $z$ の不確実性（事後分布）を伴って議論できる
• 次元 $d$ の決定を、ベイズ推論やエビデンス最大化で「データ駆動に」行える

2. 何が「ベイズ的」か：事前分布と事後分布

ベイズ系では、モデルパラメータにも事前分布を置き、事後分布を推定する。

典型例として、列ごとに関連度を自動選択する ARD（Automatic Relevance Determination）を導入すると

$$p(W\mid \alpha )=\prod _{k=1}^d\prod _{j=1}^p\mathcal{N}(w_{jk}\mid 0,{\alpha }_k^{-1})$$

のように成分 $k$ ごとの精度 ${\alpha }_k$ を推定し、不要な成分を自動的に抑制できる（有効次元が自己決定される）。

材料科学では、この「次元の自己決定」は有用である。

• 小標本・高次元（高分解能スペクトルだが試料数が少ない）で過学習しやすい
• 有効因子数（相数、局所環境数、独立な変動要因数）が未知である

3. 代表的モデルの一覧

確率モデル系の次元削減は、線形（解釈性）から非線形（表現力）へ体系化できる。

系統	代表モデル	低次元表現	何が得られるか	材料科学での用途例
線形・ガウス	PPCA	$z$（連続）	欠損対応、予測分布、ノイズ分離	XAFS/XPS/XRDの圧縮、測定欠損の補間
線形・ベイズ	Bayesian PCA / VB-PCA	$z$ + 次元の自己決定	過学習抑制、成分数推定	小標本スペクトル解析、条件差の因子抽出
線形・異方ノイズ	Factor Analysis（FA）/ Bayesian FA	$z$	変数ごとのノイズを分離	多チャネル計測、装置ノイズが変数で異なる場合
非線形・確率過程	GPLVM / Bayesian GPLVM	$z$	非線形多様体 + 不確実性	条件依存で形状が変わるスペクトル、微細組織の連続変化
非負・混合	Bayesian NMF / 混合モデル	寄与率、成分スペクトル	混相・混合の分解	混相XRD、重ね合わさるスペクトルの分離
マルチモーダル	Probabilistic CCA / 共有潜在変数モデル	共有$z$	複数観測の共変動抽出	XAFS↔XRD↔物性の統合、実験↔計算の整合

4. 推論（Inference）

確率モデルは「推定手続き」込みで理解すると実装・運用が安定する。

4.1 EM（Expectation-Maximization）

PPCAやFAでは、潜在変数 $z$ を欠測データのように扱い

• E-step：$p(z\mid x,\theta )$ の期待値を計算
• M-step：対数尤度の期待値を最大化して $\theta =(W,\mu ,{\sigma }^2)$ を更新 という反復で最尤推定ができる。

材料データでは、欠損を含む $x$ の状況でも同様に扱えることが多い。

4.2 変分ベイズ（Variational Bayes）

ベイズPCAやBayesian FAなどでは、厳密な事後分布が難しいため、近似分布 $q$ を用いる。 代表的には

$$\log p(X)\ge {\mathbb{E}}_q[\log p(X,Z,\mathrm{\Theta })]-{\mathbb{E}}_q[\log q(Z,\mathrm{\Theta })]$$

（ELBO）を最大化し、$q(Z,\mathrm{\Theta })$ を更新する。

材料分野では

• 試料数が少ない
• 事前知識（非負性、和が1、物理的範囲）がある という状況が多く、変分推論により「制約＋不確実性」を両立しやすい。

4.3 マルコフ連鎖モンテカルロ法（MCMC）

MCMCは汎用であるが計算コストが重い。材料のハイスループットでは、変分推論または低次元近似と組み合わせる設計が現実的である。

5. 事前分布に「物理」を入れる

同じベイズでも、事前分布の設計で現実データに強くなる。

5.1 非負性と混合の事前

混相XRDや混合スペクトルは「非負成分の足し合わせ」で表せることが多い。

• 成分スペクトル $S\ge 0$
• 寄与率（濃度） $C\ge 0$
• 寄与率の和 $ \sum_k C_{ik} = 1$ などの事前を入れると、物理的に解釈しやすい分解になる。

5.2 条件依存で形が変わるスペクトルへの拡張

温度・圧力・歪などでスペクトル形状が滑らかに変わる場合、固定成分の線形混合では不十分である。 GPLVM系や「成分が潜在変数で変形する」モデルは、こうした状況に適する。

5.3 測定ノイズ・装置応答をモデルに含める

スペクトルや回折は、装置関数・バックグラウンド・統計ノイズを含む。

• 変数ごとのノイズ（FA）
• ピーク位置の不確実性（ベイズ計測） のように、ノイズを分解して潜在因子を推定すると、次元削減結果が頑健になりやすい。

6. ワークフロー

1. データ定義

• 何を $x$ とするか（全スペクトル、ピークリスト、記述子ベクトル、画像特徴など）

2. 誤差モデルと前処理

• 正規化、背景除去、軸整列
• 誤差分散が一定か、変数依存かを判断する

3. モデル選択

• 線形で足りるか（PPCA/FA）
• 非線形が必要か（GPLVM）
• 混合・非負が必要か（Bayesian NMF系）

4. 次元 $d$ と妥当性評価

• エビデンス（周辺尤度）や交差検証
• 反復推論の安定性（初期値・seed・局所解）

5. 物理解釈と裏取り

• 負荷（loadings）や成分スペクトルの解釈は仮説である
• 追加測定、相同定、第一原理計算などで裏を取る

7. 注意点

• 低次元図の形を「そのまま物理座標」と見なさないことが重要である
• 事前分布が強すぎると、データの情報より仮定を見てしまう危険がある
• 高分解能スペクトルでは、前処理の差（正規化、微分、整列）が潜在因子を支配しやすい
• 混合・分解（NMF系）は非一意性があるため、多初期化・再現性検証が必須である

まとめ

確率モデル・ベイズ系の次元削減は、低次元表現に不確実性と物理的制約を同時に付与できる枠組みであり、欠損・ノイズ・混相・条件差を含む材料データに適する。PPCA/ベイズPCA/FAで線形因子を安定に抽出し、必要に応じてGPLVMや非負混合モデルへ拡張することで、可視化に留まらない「推定と解釈の一貫性」を得やすいのが要点である。