暗記と汎化をどう区別するか、という問い。 サーベイは「探究され続けている研究課題の一つ」と位置づける （Ishihara 26 3·2§3、[Hong 25b], [Zhang 24]）。
7·1 節では規範的な要請として再登場する—— 「暗記とは何か」を改めて問い直し、最終的な目的に応じて 懸念と性能のバランスを議論していくのが望ましい。
「暗記 ≠ 過学習」は決着したが、「暗記 vs 汎化」は決着していない。 この 2 つはしばしば混同されるが別の問いである。 前者は Tirumala 22（過学習前に暗記が起きる）と Carlini 23b（重複・規模・文脈長への依存）でほぼ決着した。 一方後者は、知識を問うタスクの系統で 段階的な測定が試みられている段階にとどまる。
分離の経路が 2 つに増えた（2026-07-31 更新）。 Morris 26 は、 振る舞いでも内部表現でもなく情報量で分離する。 モデルが利用できるとき入力がより短く圧縮できるかを見て、 「特定データセットについての情報（意図せぬ暗記）」と 「真のデータ生成過程についての情報（汎化）」に分解する。
この定義は既存の抽出ベースの定義への批判から出発している。
生成できることは暗記の証明にならない。言語モデルはほとんどどんな文字列でも 出力するよう誘導できる。プロンプト長の制限や接頭辞の一致といった制約も、 暗記による出力と良い汎化による出力を区別できない。
そして十分大きな（重複排除済みの）データセットでは、 抽出の成功はすべて汎化に帰属すると実証した。訓練データの抽出率が テストデータの抽出率に収束するためである。 これは文字列の類似度に基づく定義の 適用限界を、規模の側から画定するものである。
「暗記だけ減らして性能を保つ」への部分的な回答もある。 モデルは容量が埋まるまで暗記し、埋まると grokking が始まって 意図せぬ暗記が減少しながら汎化が進む。 二重降下はデータの情報量がモデル容量を超えた時点で始まる。 論文の解釈は「個々のデータ点を個別に暗記できなくなると、 容量を節約するためにデータ点間で情報を共有せざるを得ず、それが汎化につながる」。 つまり両者はトレードオフというより、容量制約下での相転移である。
振る舞いで測る系統では、汎化を測れるのは事実上 [Chang 25] の枠組みだけである。 文字列類似度の定義では、 言い換えられた知識は「暗記していない」と判定される——つまり 汎化と「暗記していない」が区別できない。 メンバーシップ推論 も訓練セットへの帰属を問うだけで汎化の度合いは測らない。 [Chang 25] の 3 段階（文字列一致 / 意味的汎化 / 構成的汎化）が、 暗記と汎化を連続体として扱う唯一の具体的な枠組みである。 → 知識を問うタスク
この問いが解けないと、抑制手法の評価が成立しない。 学習過程における抑制 のすべての手法は「暗記だけ減らして性能は保つ」ことを目指す。 しかし [Huang 24] が示唆するようにモデルサイズと暗記の相関が 性能一般の副産物なのだとすれば、暗記だけを選択的に減らせる保証はない。 暗記と汎化を分離できないなら、抑制はトレードオフでしかない。
局在の研究が、この問いへの新しい経路になりつつある。 [Hong 25b] は推論と暗記の相互作用が単一の方向に媒介されると報告し、 [Menta 25] は暗記や汎化に寄与するモデル構造を分析した （→ 知識編集）。画像生成でも [Hintersdorf 24] が 暗記を担うニューロンを特定している（→ 研究領域の拡張）。 「暗記と汎化は振る舞いで区別できないが、内部表現では分離できるかもしれない」 というのが現在最も有望な仮説である。もし分離できれば、 評価の枠組み が求める「許容可能な暗記と深刻度の高い暗記の区別」にも 機械的な足場が与えられる（推測）。