深層学習ベースの次元削減（表現学習）

深層学習ベースの次元削減とは、高次元データ $x$ を低次元の潜在表現 $z$ に写像する写像 $z=f(x)$ をニューラルネットワークで学習し、可視化・クラスタリング・下流予測へ転用する枠組みである。材料科学では、組成・結晶構造・スペクトル・顕微鏡像・文献テキストを同一の「埋め込み空間」に載せることで、材料探索と解析を統一的に扱える点が重要である。

参考ドキュメント

• Hinton, G. E., Salakhutdinov, R. R., Reducing the Dimensionality of Data with Neural Networks, Science (2006) https://www.science.org/doi/10.1126/science.1127647
• Kingma, D. P., Welling, M., Auto-Encoding Variational Bayes (2013) https://arxiv.org/abs/1312.6114
• （日本語）CVML Expert Guide：オートエンコーダ（Autoencoder）による次元削減（2022） https://cvml-expertguide.net/terms/dl/deep-generative-model/autoencoder/

1. 次元削減と表現学習の違い

• 古典的次元削減（PCAなど）
  • 目的：低次元座標 $y$ の幾何（分散・距離・近傍）を最適化する
  • 写像：線形写像や明示的な最適化で与えられることが多い
• 深層表現学習（Autoencoder, 事前学習Transformer, コントラスト学習など）
  • 目的：再構成・予測・対比などの自己教師あり損失により $z$ を学習する
  • 特徴：非線形写像、ミニバッチ学習、大規模データで強い
  • 実務：得た $z$ を PCA/UMAP/t-SNE に入力して可視化することも多い

結論として、深層学習は「低次元表現を学習するエンコーダ f を作る」ことが本体であり、可視化（2次元化）は後段の処理である。

2. エンコーダと潜在表現

観測 $x\in {\mathbb{R}}^p$、潜在表現 $z\in {\mathbb{R}}^d,d\ll p$ とする。

• エンコーダ：$z=f_{\theta }(x)$
• デコーダ（ある場合）：$\hat{x}=g_{\varphi }(z)$

ここで $z$ が材料の「指紋（fingerprint）」となり、クラスタリング、異常検知、少数ラベル学習、逆設計の条件ベクトルなどに使われる。

3. Autoencoder（AE）系

3.1 基本AE（決定論）

再構成誤差を最小化する。

• 連続値（スペクトル・組成ベクトル）：$${\mathcal{L}}_{rec}=\frac{1}{N}\sum _{i=1}^N\Vert x_i-{\hat{x}}_i{\Vert }_2^2$$
• ピーク列や離散トークンの場合はクロスエントロピーなどを用いる。

材料での典型例

• XRD/XAFS/XPSスペクトルを入力し、$z$ を相・局所構造・測定条件の圧縮表現として使う
• 顕微鏡像（組織・磁区）を畳み込みAEで圧縮し、類似組織検索やクラスタリングに使う

3.2 変種

• Denoising AE：入力にノイズを与えて復元し、頑健な表現を得る
  • スペクトル：加法ノイズ、ベースライン揺らぎ、微小シフトなど（物理的妥当な範囲に限る）
• Sparse AE：$z$ にスパース制約を入れ、解釈しやすい要因に寄せる
• Contractive AE：微小摂動に不変な表現を促す

注意点

• 再構成が上手いことと、材料的に有用なzであることは同値ではないため、下流タスク（相分類、物性回帰、外挿評価）で確認する必要がある。

4. Variational Autoencoder（VAE）系（確率モデル化）

4.1 基本VAE（連続潜在変数）

生成モデル $p_{\theta }(x|z)$ と事前分布 $p(z)$ を仮定し、近似事後 q_ϕ(z|x) を学習する。

$$\log p(x)\ge {\mathbb{E}}_{q_{\varphi }(z|x)}[\log p_{\theta }(x|z)]-\mathrm{KL}(q_{\varphi }(z|x)\parallel p(z))$$

右辺（ELBO）最大化が学習目標である。

材料での使い分け

• 不確かさ込みの低次元表現がほしい場合（測定ノイズ、複相、ラベル曖昧性）
• 条件付きVAE（cVAE）：組成・プロセス条件 c を与えて $z$ や $x$ を条件付きにし、逆設計の母体にする

よくある落とし穴

• posterior collapse（zが使われない）：デコーダが強すぎる、KL項が強すぎるなど
  • 対策：KL annealing、β-VAE（KL重み調整）、デコーダの容量調整など

5. 自己教師あり表現学習

5.1 目的：距離構造を学習

同一試料（または同一構造）から作った2つのビュー $v,v^{\prime }$ を正例、他試料を負例として埋め込みを学習する。 代表的な損失（InfoNCE型の一例）：

$$\mathcal{L}=-\log \frac{\exp (\mathrm{sim}(z,z^{+})/\tau )}{\exp (\mathrm{sim}(z,z^{+})/\tau )+\sum _k\exp (\mathrm{sim}(z,z_k^{-})/\tau )}$$

5.2 材料データでのビュー設計

• スペクトル：微小平行移動、平滑化、ノイズ注入、欠損マスクなど
• 結晶構造（グラフ）：原子座標の微小摂動、近接エッジのドロップ、部分サブグラフ化など
• 画像：観察条件に対応する幾何変換（ただし回転・反転が物理的に妥当かはデータに依存する）

材料ならではの注意

• 物理的に同一でない変換を正例としてしまうと、学習が破綻する（例：相変化と区別不能になる変換）
• 近縁系リーク（組成系列・同一母相の混入）で見かけの性能が上がりやすい

6. マスク復元型（Masked Modeling、Transformer/MAE系）

観測の一部をマスクし、残りから復元する自己教師あり学習である。

• テキスト：Masked Language Modeling（材料論文コーパスでMatSci系BERTが成立する）
• スペクトル：ランダム区間マスク→補間ではなく「物理的にもっともらしい復元」を学習
• 画像：パッチをマスクして復元（MAEの系譜）
• 結晶表現：局所環境トークンをマスクして復元する設計も可能である

材料分野での意義

• ラベル（物性値）が希少でも、未ラベルの測定・計算データから表現を鍛えられる
• 得られたzは、回帰・分類・クラスタリングすべての共通土台になる

7. グラフ表現学習（Graph Autoencoder, 事前学習GNN）

結晶は原子をノード、結合や近接関係をエッジとするグラフとして表せる。

• グラフAE/VGAE：グラフ構造（隣接）や属性を再構成することで埋め込みを学習する
• 事前学習GNN：大規模結晶データで自己教師あり学習し、物性予測へ転移する

材料での利点

• 並進・回転・原子順序入れ替え不変性を設計に組み込みやすい
• 局所環境の集約により、結晶の階層構造（配位→格子→欠陥）へ接続しやすい

8. 方法の比較

系統	代表例	目的（自己教師信号）	材料データの主戦場	長所	注意点
AE	AE/DAE/Sparse	再構成	スペクトル、画像、組成ベクトル	実装が単純、可視化に直結	再構成≠有用、過学習に注意
VAE	VAE/β-VAE/cVAE	ELBO（再構成+KL）	ノイズ・不確かさ込み解析、生成	確率的z、生成・補完に強い	collapse、ハイパラが効く
コントラスト	SimCLR系、Barlow系	ビュー一致	結晶グラフ、画像、スペクトル	少数ラベルに強い、外挿に効きやすい	ビュー設計が難所
マスク復元	MLM/MAE系	欠損復元	テキスト、スペクトル、画像	大規模事前学習と相性良い	マスク単位設計が重要
グラフAE/事前学習GNN	VGAE等	構造/属性再構成	結晶構造	不変性・局所環境に強い	表現設計（PBC等）が難所

9. ワークフロー

1. データを表現として定義する（組成、構造グラフ、スペクトルパッチ、画像パッチ、テキスト）
2. 自己教師ありでエンコーダ $f$ を学習し、埋め込み z を得る
3. z を用いて
   • 可視化：PCA/UMAP/t-SNEで2次元化
   • クラスタリング：HDBSCANなどで相・状態の群を得る
   • 下流学習：小さな回帰器/分類器で物性予測を微調整する
4. 評価は外挿分割（未知組成域、未知構造型、未知測定条件）で行う

まとめ

深層学習ベースの次元削減は、データの再構成・マスク復元・対比学習などの自己教師信号で低次元潜在表現 $z$ を学び、材料の探索・分類・予測を共通の埋め込み空間で扱う枠組みである。材料科学では、表現（トークン化／グラフ化／パッチ化）と物理制約（不変性、PBC、妥当な拡張）の設計、そして外挿評価が成否を決める要点である。