ファインマンLLM（LLM-Feynman）

ファインマンLLM（LLM-Feynman）は、大規模言語モデルを「数式候補の生成」と「式の意味付け」に組み込み、データから短く解釈しやすい法則（数式）を見いだすことを狙った枠組みである。記号回帰（symbolic regression）の探索空間に、言語モデルの事前知識と自己評価を持ち込む点が特徴である。

参考ドキュメント

1. LLM-Feynman: Leveraging Large Language Models for the Discovery of Physical Laws and Theories（arXiv:2503.06512）
2. ITmedia AI+（LLM-Feynmanに関する紹介記事、2025年3月頃の報道として参照）
3. AIBridge（LLM-Feynmanに関する紹介記事、2025年3月頃の報道として参照）

1. 何を「発見」したいのか

材料・固体の研究では、観測や計算で得られる量 y（例：磁気異方性、磁歪定数、転移温度、拡散係数、スペクトル強度など）を、組成・構造・外場・温度・圧力などの入力 x から説明したい。単なる予測精度だけでなく、

• 変数の組み合わせが人間の理解に耐えるか
• 係数や指数が物理量として筋が通るか
• 外挿に対して破綻しにくいか
• 既知理論（近似式・極限・対称性）と矛盾しないか

といった「意味のある形」での関係式が重要になる。そこで、ブラックボックス回帰よりも、解析式 $f(x)$ 自体を探索する記号回帰が有効となる。

2. 記号回帰の数理

観測データ ${(x_i,y_i)}_{i=1}^N$ に対し、数式 $f(x;\theta )$（$\theta$ は定数パラメータ）を見つける問題を考える。基本形は

$$\underset{f,\theta }{min}\mathcal{E}(f,\theta )\text{with}\mathcal{E}=\frac{1}{N}\sum _{i=1}^N\ell (y_i,f(x_i;\theta ))$$

である。損失 $\ell$ としては二乗誤差 $\ell (a,b)=(a-b{)}^2$、絶対誤差 $\ell (a,b)=|a-b|$ 等が選ばれる。

しかし記号回帰は、誤差だけ最小にすると式が際限なく複雑化しやすい。そこで「式の複雑さ」も同時に抑える。式 $f$ を演算子木（expression tree）とみなし、演算子数、木の深さ、項数などで複雑さ $C(f)$ を定義して、

$$\underset{f,\theta }{min}\mathcal{E}(f,\theta )+\lambda C(f)$$

のような正則化を入れる考え方が広い。

LLM-Feynmanはこの発想をさらに押し進め、誤差 $E$ と複雑さ $C$ に加えて、「解釈可能性」スコア $S$（言語モデルの自己評価）を組み合わせた目的関数を用いる。論文では正規化関数 $N(·)$ を介して

$$L=\alpha N(E)+\beta N(C)+\gamma S$$

の形で候補式を評価する、と記述されている。
ここで $S$ は、式がどれだけ人間にとって意味付けしやすいかを 0〜1 のような範囲で評価する概念であり、単なる「短い式」だけではない評価軸を導入している点が重要である。

3. LLM-Feynmanの全体像

LLM-Feynmanは、大きく分けて以下の3段で構成される枠組みとして整理されている。

3.1 前処理と特徴生成・選別

材料系データは、入力候補（組成比、格子定数、体積、バンド幅、DOS特徴量、局所環境指標など）が多くなりがちである。そこで、

• 既存の特徴生成（例：材料記述子の自動生成）
• 依存度の高い特徴を残す選別

を行い、探索空間を圧縮する。論文は、特徴生成に Automatminer、選別指標として相互情報量（mutual information）を用いる旨を述べている。

相互情報量の直感は「$x$ を知ることで $y$ の不確実性がどれだけ減るか」であり、離散化やカーネル推定など実装依存ではあるが、線形相関に限定されない依存度評価として利用できる。

3.2 数式候補の生成と多目的選別

ここが「ファインマンLLM」の核である。候補式の生成そのものにLLMを使い、候補式を数値的に当てはめ（係数推定）したうえで、誤差・複雑さ・解釈可能性の観点で評価する。

本質は、候補式の集合に対して単一の最小化ではなく、複数の目的が同時に成り立つ領域（Pareto frontier）を重視する態度である。誤差 $E$ と複雑さ $C$ を同時に考えると、一般に「これ以上単純にすると精度が落ちる」境界が現れる。そこに解釈スコア S を加えることで、「高精度だが説明しづらい式」より「やや精度が落ちても物理的に読みやすい式」を残す選択が可能になる。

3.3 MCTSによる式の意味付け

候補式が得られても、その式が何を表しているのか、どの項が主要因なのか、既存理論のどの近似に近いのか、という説明は別問題である。LLM-Feynmanはここにモンテカルロ木探索（Monte Carlo Tree Search, MCTS）を用い、説明文・解釈の探索を行うとされている。

MCTSの基本的な選択規則として、上限信頼境界（UCB）が用いられる。論文では

$$\mathrm{UCB}=v_i+c\sqrt{\frac{\ln N}{n_i}}$$

の形を記載している。
ここで $v_i$ はノード $i$ の価値（例：得られた説明の品質）、$N$ は親ノードの訪問回数、$n_i$ は子ノードの訪問回数、$c$ は探索と活用のバランス係数である。言い換えると、「過去に良かった説明を掘り下げつつ、まだ試していない説明も一定確率で試す」仕組みである。

この段により、単に式を出すのではなく、「式の構造を物理量やメカニズムの言葉へ写像する」ことを狙っている点が、従来の記号回帰との差分になる。

4. 数式発見で重要になる角度

LLM-Feynmanの枠組みを材料・固体現象へ適用する際、データ駆動であっても次の制約は強力な手がかりとなる。

4.1 次元解析

物理式は次元の整合性を満たす必要がある。量 $y$ の次元 $[y]$ と入力 $x_k$ の次元 $[x_k]$ が与えられるとき、候補式 $f(x)$ は

$$[f(x)]=[y]$$

を満たさねばならない。次元条件は探索空間を劇的に狭め、見かけの当てはまり式（単位系が変わると崩壊する式）を排除しやすい。

4.2 対称性と不変量

結晶対称性、時間反転、空間反転、磁化反転などにより、観測量が偶関数か奇関数かが決まる場面が多い。例えば磁化 M に対してエネルギーが偶であるなら

$$E(M)=E(-M)$$

が要請され、奇数次の項は排除される。こうした制約は「式の形」そのものを決める。

4.3 極限の整合性

T→0、T→∞、欠陥濃度 c→0、薄膜厚 t→∞ などの極限で既知の漸近形がある場合、候補式はその極限を再現すべきである。極限が再現されない高精度式は、内挿に強くても外挿で破綻しやすい。

5. 材料・固体への適用

LLM-Feynmanが狙う「短く、説明しやすい式」を得ることは、材料研究では次のような効用を持つ。

• 記述子（descriptor）の抽出
  例：多数の入力から、支配的な組合せ（有効変数）を $x_{eff}$ として提案し、$y\approx g(x_{eff})$ という形へ落とす。
• 競合機構の分離
  例：$y$ が2つ以上の寄与の和や積で表されるとき、$y\approx y_1+y_2$ や $y\approx y_1{y}_2$ といった分解が得られると、機構の分担が議論しやすい。
• 既知理論との接続
  例：得られた式が、摂動論の低次近似、平均場、拡散方程式の解、散乱理論の近似式などに近ければ、理論側の語彙で説明できる。
• 設計指針への変換
  例：$y$ を増やすために必要な変数の組合せが式として得られれば、材料設計の探索方向が明確になる。

6. 既存手法との比較

LLM-Feynmanは「記号回帰＋言語モデル＋説明生成」という位置づけになる。比較のために概念差を表にまとめる。

系統	出力	強み	限界になりやすい点
通常の回帰（線形・カーネル・NNなど）	予測器 $y\approx f(x)$	高精度になりやすい	式としての可読性が低い場合がある
従来の記号回帰	解析式 $f(x)$	短い式を得やすい	探索が局所最適に陥る、説明は別途必要
LLM-Feynman	解析式＋言語的説明	数式生成と意味付けを同時に狙う	言語モデルの評価が揺らぐ場合がある、説明の妥当性は検証が必要

7. 数式の信頼性を高めるための考え方

禁止語を避けつつ、研究現場で重要になりがちな観点を整理する。

7.1 データ分割と外挿の確認

同じ分布（同じ温度範囲、同じ組成域）での誤差が小さいことと、未観測領域で破綻しないことは別問題である。組成や温度など物理的に意味のある軸で領域を分け、片側を未知領域として評価するのが有効である。

7.2 単位系・規格化の影響

特徴量の規格化が式の形を変えることがある。次元付き変数をそのまま入れるのか、無次元化して入れるのかで、探索される表現が変わる。次元整合を保つ設計が重要である。

7.3 共線性と見かけの因果

材料データでは、格子定数と体積、組成と電子数など、強い従属性のある変数が多い。見かけ上当てはまる式が、別の変数の代用品になっている場合がある。候補式の変数を入れ替えても性能が変わらないなら、式の解釈は慎重にする必要がある。

7.4 物理拘束の導入

単調性（例：温度上昇で抵抗が増える）、非負性（散乱率は負にならない）、飽和（磁化の上限）など、問題固有の拘束は式の同定を助ける。拘束を入れた上でなお成立する式は、説明力が高まりやすい。

まとめ

ファインマンLLM（LLM-Feynman）は、記号回帰の「式探索」に言語モデルを組み合わせ、誤差と複雑さに加えて解釈可能性を評価軸として導入した枠組みである。特徴生成・式生成・説明生成を分担させ、特にMCTSを用いて説明候補を探索する点により、予測器ではなく理論の雛形としての数式を得ることを志向している。

関連研究

• LLM-SRBench: Benchmarking Large Language Models for Symbolic Regression in Scientific Discovery（arXiv:2504.10415）
• 記号回帰（symbolic regression）全般：表現木探索、進化計算、複雑さ正則化、多目的最適化（多分野で蓄積がある研究領域である）
• 物理法則発見の系譜：データから式を得る研究（Feynmanの名を冠した手法群を含む）と、説明可能性を重視する科学機械学習の流れ