直積とアダマール積（Hadamard 積）の基礎

このページでは、線形代数でよく現れる「直積（主にベクトル・行列のテンソル積 / クロネッカー積）」と「アダマール積（Hadamard 積：要素ごとの積）」の違いと使いどころを整理する。

参考にしたドキュメント

• Wikipedia（日本語）アダマール積
  https://ja.wikipedia.org/wiki/アダマール積
• Wikipedia（日本語）直積 (ベクトル) https://ja.wikipedia.org/wiki/直積_(ベクトル)

1. 用語の整理

文脈により「直積」は少し意味が変わるが、このページでは主に

• ベクトル空間の直積：
  $V\times W$ のように、2 つのベクトル空間を組にした新しい空間
• ベクトル・行列のテンソル積 / クロネッカー積：
  • ベクトル：$u\otimes v$
  • 行列：$A\otimes B$

を指すものとして説明する（特に行列については「クロネッカー積」と呼ばれることが多い）。

一方、

• アダマール積（Hadamard 積）：
  同じサイズの行列を、要素ごとに掛け合わせる積
  $ (A \circ B){ij} = A B_{ij} $

のことを指す。

2. ベクトルの直積（テンソル積）

2.1 定義（ベクトル）

長さ $m$ のベクトル $u$、長さ $n$ のベクトル $v$ を考える：

$$u=\left(\begin{array}{c}{u}_1\\ u_2\\ ⋮\\ u_m\end{array}\right),v=\left(\begin{array}{c}{v}_1\\ v_2\\ ⋮\\ v_n\end{array}\right)$$

このとき、テンソル積（直積） $u\otimes v$ は長さ $mn$ のベクトルで、

$$u\otimes v=\left(\begin{array}{c}{u}_1{v}_1\\ u_1{v}_2\\ \dots \\ u_1{v}_n\\ u_2{v}_1\\ u_2{v}_2\\ \dots \\ u_2{v}_n\\ ⋮\\ u_m{v}_1\\ \dots \\ u_m{v}_n\end{array}\right)$$

のように定義される（並び順は約束によるが、一般にこのような形）。

2.2 イメージ

• 次元を増やす操作：
  • $u\in {\mathbb{R}}^m,v\in {\mathbb{R}}^n$ から
    $u\otimes v\in {\mathbb{R}}^{mn}$ を作る。
• 量子力学の 2 体系（スピン系など）やテンソルネットワークでは、
  • 「2 つの自由度をまとめて 1 つの大きな状態として扱う」際の基本操作になる。

3. 行列の直積（クロネッカー積）

3.1 定義（行列）

$A$ を $m\times n$ 行列、$B$ を $p\times q$ 行列とするとき、
クロネッカー積（直積） $A\otimes B$ は $mp\times nq$ 行列で、

$$A\otimes B=\left(\begin{array}{cccc}{a}_{11}B& a_{12}B& \dots & a_{1n}B\\ a_{21}B& a_{22}B& \dots & a_{2n}B\\ ⋮& ⋮& & ⋮\\ a_{m1}B& a_{m2}B& \dots & a_{mn}B\end{array}\right)$$

と定義される。

3.2 簡単な例

$$A=\left(\begin{array}{cc}1& 2\\ 3& 4\end{array}\right),B=\left(\begin{array}{cc}0& 5\\ 6& 7\end{array}\right)$$

のとき、

$$A\otimes B=\left(\begin{array}{cc}1B& 2B\\ 3B& 4B\end{array}\right)=\left(\begin{array}{cccc}0& 5& 0& 10\\ 6& 7& 12& 14\\ 0& 15& 0& 20\\ 18& 21& 24& 28\end{array}\right)$$

となる。

3.3 性質（ごく一部）

• サイズ：
  • $A$ が $m\times n$、$B$ が $p\times q$ なら
    $A\otimes B$ は $mp\times nq$。
• 積との相性（よく使う性質）：
  • $(A\otimes B)(C\otimes D)=(AC)\otimes (BD)$
    （次元が合う場合）
• 固有値：
  • $A$ の固有値を ${\lambda }_i$、$B$ の固有値を ${\mu }_j$ とすると、
    $A\otimes B$ の固有値は ${\lambda }_i{\mu }_j$ になる。

4. アダマール積（Hadamard 積）

4.1 定義

同じサイズの行列 $A=(a_{ij}),B=(b_{ij})$ に対して、
アダマール積 $A\circ B$ は

$$(A\circ B{)}_{ij}=a_{ij}{b}_{ij}$$

と「要素ごと（成分ごと）」に掛け算した行列として定義される。

例として、どちらも $2\times 2$ 行列のとき：

$$A=\left(\begin{array}{cc}1& 2\\ 3& 4\end{array}\right),B=\left(\begin{array}{cc}5& 6\\ 7& 8\end{array}\right)$$

なら

$$A\circ B=\left(\begin{array}{cc}1\cdot 5& 2\cdot 6\\ 3\cdot 7& 4\cdot 8\end{array}\right)=\left(\begin{array}{cc}5& 12\\ 21& 32\end{array}\right)$$

となる。

4.2 性質

• サイズ：
  • $A$ と $B$ は同じサイズでなければならない。
• 対応する要素ごとの積なので、
  • $(A\circ B)\circ C=A\circ (B\circ C)$
  • $A\circ B=B\circ A$ が成り立つ（結合律・交換律）。
• スペクトル（固有値）やランクなどの性質は、通常の行列積・クロネッカー積と全く異なる。

5. 直積（クロネッカー積）とアダマール積の違い

5.1 操作としての違い

• 直積（テンソル / クロネッカー積）

  • 次元を増やす／ブロック構造を作る操作。
  • 行列サイズが大きく変わる（$A$ が $m\times n$、$B$ が $p\times q$ → $mp\times nq$）。
  • 多体系の状態や、線形写像の構造を表現するときに使う。

• アダマール積

  • 同じサイズの行列の「要素ごとの掛け算」。
  • サイズは変わらない。
  • 重み付きマスク、共分散行列からの操作、Hadamard 不等式など、確率・統計・信号処理・機械学習でよく使われる。

5.2 典型的な用途の違い

観点	直積（テンソル / クロネッカー）	アダマール積（Hadamard）
次元	増える（大きな行列になる）	変わらない
使う場面	多体系量子状態、テンソルネットワーク、離散化、線形写像の構成など	要素ごとの重み付け、マスク、共分散操作、カーネルの組み合わせなど
線形写像としての扱い	「別の空間への線形変換」として自然に解釈できる	通常はある空間上の「点ごとの操作」として解釈
名前	クロネッカー積、テンソル積	Hadamard 積、要素ごとの積

6. どちらをいつ使うか

6.1 直積を使う場面

• 「自由度を増やしたい」とき
  • 2 つのベクトル空間 $V$, $W$ から $V\otimes W$ を作る。
• 「2 つの行列の線形写像を組み合わせた新しい写像」を作るとき
  • 例：離散化された 2D 作用素を 1D 作用素のテンソル積として表現する。
• 量子力学・テンソルネットワーク
  • 多体波動関数、ゲート演算、MPS/PEPS などの構成要素。

6.2 アダマール積を使う場面

• 「同じ形のデータに対して、要素ごとに重みを掛けたい」とき
  • 画像にマスクをかける、行列要素ごとのスケール調整など。
• カーネル法やガウス過程
  • カーネル行列同士の Hadamard 積で、新しいカーネルを構成することがある。
• 統計・行列解析
  • 共分散行列を要素ごとに調整する、Hadamard 不等式に関する議論など。

7. まとめ

• 「直積（テンソル / クロネッカー積）」は、
  • 空間や行列のサイズを増やし、自由度を組み合わせるための積。
• 「アダマール積」は、
  • 同じサイズの行列の要素をそのまま掛け合わせるための積。

直積は「空間を作る／写像を構成する」操作、
アダマール積は「与えられた空間上でのローカルな操作」として使い分けるイメージを持つと整理しやすい。