暗記を「圧縮率（ビット）」で定義し、汎化と情報理論的に分離した。 GPT 系 Transformer の容量は 1 パラメータあたり約 3.6 ビット。 モデルは容量が埋まるまで暗記し、埋まると汎化に切り替わる（二重降下はこの点で始まる）。 メンバーシップ推論のシグモイド型スケーリング則を導き、 トークン/パラメータ比が 10² 以上の現代のモデルでは、 損失ベースのメンバーシップ推論が平均的なデータ点に対して成立しないと予測する。
二次情報によれば ICML 2026 の Outstanding Paper Honorable Mention。 受賞の事実そのものは本 Wiki で一次確認していない。
モデル軸・出力軸。サーベイ Ishihara 26 の 文献カットオフ（2025 年秋）以降の研究であり、サーベイには含まれない。
本 Wiki の複数の中心的な問いに同時に触れる。
| 本 Wiki の問い | 本論文の寄与 |
|---|---|
| 暗記と汎化を分離できるか | 情報理論的に分離する定義を与えた |
| モデルサイズと暗記の関係の機序 | 容量が線形にスケールするという説明 |
| メンバーシップ推論はなぜ効かないのか | 理論的に予測されると主張 |
| 反実仮想の計算コスト | 多数のモデルを学習しない代替 |
モデルが利用できるとき、入力がより短い符号に圧縮できるなら、その入力を暗記している。 Kolmogorov 情報理論と Shannon 情報理論に着想を得つつ、 情報量をモデルの尤度で推定することで実用化している。
さらに暗記を 2 つに分解する。
| 成分 | 内容 |
|---|---|
| 意図せぬ暗記（unintended memorization） | モデルが特定のデータセットについて保持する情報 |
| 汎化（generalization） | モデルが真のデータ生成過程について保持する情報 |
本論文の出発点は Carlini 23b 型の定義への異議である。
生成できることは暗記の証明にならない。言語モデルはほとんどどんな文字列でも 出力するよう誘導できる（Geiping et al. 2024）。
プロンプト長を制限したり、暗記文の直前の接頭辞に一致させたりする制約も導入されているが、 それらは「暗記による出力」と「良い汎化による出力」を区別できない。 論文が挙げる例: 2 つの数の加算を求められた言語モデルは、 その式を見たことがなくても答えを出力できる。
GPT 系 Transformer は 1 パラメータに 3.5〜4 ビットを格納でき、 アーキテクチャと精度に依存する。半精度の GPT 系で α = 3.64 ビット/パラメータ。
→ モデルサイズの対数線形関係に、容量という機序を与える。
モデルは容量が埋まるまで暗記し、そこから grokking が始まって 意図せぬ暗記が減少し、汎化が進む。
二重降下（double descent）はデータの情報量がモデル容量を超えた時点で正確に始まる。 論文の解釈: 個々のデータ点を個別に暗記できなくなると、 容量を節約するためにデータ点間で情報を共有せざるを得ず、それが汎化につながる。
重複排除されたデータセットが十分大きくなると、訓練データの抽出率は テストデータの抽出率とほぼ一致する。つまり 抽出できたこと自体が暗記の証拠にならなくなる。
損失ベースのメンバーシップ推論の F1 は、容量とデータセットサイズの比で決まる。
MembershipF1(θ, D) = ½ (1 + c₁ · σ(c₂ (Capacity(θ)/|D| + c₃)))
c₁ = 1.34, c₂ = −0.034, c₃ = −33.14
| D | → ∞ で F1 → 0.5（ランダムと同等）。観測値との誤差は 1〜2%。 |
現代の言語モデルはいずれもトークン/パラメータ比 10² 以上で学習されており、 本法則によればメンバーシップ推論のスコアは 0.5 になる。すなわち 統計的に有意な損失ベースのメンバーシップ推論は不可能である。
検証のため、期待 F1 が 0.55 / 0.75 / 0.95 になるモデルを GPT-2 small (125M) と GPT-2 XL (1.5B) で学習している。
すべての設定で、メンバーシップ推論の性能は抽出率を上回る。 抽出率 0 でメンバーシップ推論スコア 0.97 という場合もある。
主張の適用範囲は、見出しよりずっと狭い。 この Wiki が最も注意すべき点。