言語モデルが訓練データに含まれる情報を内部に保持し出力する現象 （Ishihara 26 3章）。
言語モデルは事前学習を通じて文字列の統計的規則性を学習した結果、 訓練セットに含まれるテキストを暗記し出力する性質を持つ。これは 知識獲得や文体模倣といった利点をもたらす一方、 セキュリティ・著作権・モデル評価の観点から懸念も指摘されている [Bender 21, Weidinger 22]。
「暗記」という単一の定義は存在しない。 既存研究は多様な考え方に依拠しており、 サーベイは着目する対象が学習時のモデルか推論時の出力かで大別する。
| 軸 | 定義の系統 | 節 |
|---|---|---|
| モデル | 反実仮想に基づく定義 | 3·1§1 |
| モデル | 差分プライバシ | 3·1§2 |
| 出力 | 文字列の類似度 | 3·2§1 |
| 出力 | メンバーシップ推論 | 3·2§2 |
| 出力 | 知識を問うタスク | 3·2§3 |
暗記は汎化ではない。対照実験がある。 Carlini 23b は Pile で学習した GPT-Neo と、同規模だが Pile を見ていない GPT-2 を同じ評価にかけた。 GPT-2 が正解できたのは約 6%、同規模の GPT-Neo 1.3B は 40%。 GPT-2 が当てられた例は数列や定型句などの「つまらない」系列だった。 「大きいモデルほど暗記する」を「大きいモデルは予測が上手いだけ」で説明することはできない。 この Wiki が扱う実証的知見の中で、最も直接的な因果の切り分けである。
暗記は過学習の副産物でもない。 Carlini 23b が重複・モデルサイズ・ 文脈長という 3 つの因子との強い関連を実証し、 Tirumala 22 は大規模言語モデルが 過学習に至る前に大半のデータを暗記し、その後も忘れにくいことを報告した。 過学習を抑える一般的手法である正則化が暗記の抑制にも有効とされる [Yeom 18, Zhang 21] のは 事実だが、それは「暗記＝過学習」を意味しない。
定義の選択は目的に従属する。 サーベイ 7·1 節の核心。同じ「暗記」でも:
したがって「暗記率が高い / 低い」という数値は、どの定義で測ったかを離れて比較できない。 異なる論文の数値を並べるときは必ず定義を確認すること。
暗記と汎化の境界は未解決である。 [Chang 25] は知識獲得の深さを、文字列一致で測る暗記に加え、 言い換えられる意味的汎化、複数の知識を組み合わせる構成的汎化の観点でも計測した。 [Hong 25b] は推論と暗記の相互作用が単一の方向（direction）に媒介されると報告し、 [Zhang 24] はグラフ推論がパターン暗記を超えて汎化するかを問うている。 サーベイはこれを「探究され続けている研究課題の一つ」と位置づける。 → 暗記と汎化
「暗記は排除すべき」という前提自体が疑われている。 サーベイ 7·1 節は、 実用上は一定の知識保持が有用に働く（公開事実の想起、ドメイン定型表現の再現）ため、 許容可能な暗記と深刻度の高い暗記を区別する必要があると述べる。 [Lee 20] は既存研究の多くがこの区別をしていないと指摘した。 この規範的論点は、定量化手法（3章）の議論からは自動的には出てこない。