暗記を初めて包括的に定量化し、モデルサイズ・文字列の重複・文脈長の 3 つと 対数線形関係があることを実証した。GPT-J 6B は The Pile の少なくとも 1% を暗記している。 ただし追試では 3 因子のうちモデルサイズしか綺麗に一般化せず、 重複の効果はデータセットの特異性に強く依存する。
3 軸すべてにまたがる。Ishihara 26 4 章の骨格を提供しており、 本 Wiki では軸論文に次いで参照が多い（11 概念ページが依存）。
先行研究 Carlini 21 が GPT-2 から 手作業で 600 例を特定し「データセットの 0.00000015% 以上が暗記されている」という 緩い下界を示したのに対し、本論文は桁違いに精密な下界を与えることを狙う。
文字列
sがモデルfから k トークンの文脈で抽出可能（extractable）であるとは、 長さ k の文字列pが存在して、[p || s]がfの訓練データに含まれ、 かつfがpをプロンプトとして貪欲デコーディングでsを生成することをいう。
他の定義を意図的に退けている点が重要である。 反実仮想暗記や差分プライバシの下界は 数百〜数千のモデルを学習する必要があり大規模言語モデルでは非現実的、 exposure [Carlini 19] は 1 系列あたり数千回の生成が必要、と述べている。 「実行可能（actionable）であること」を基準に定義を選んだ、という自覚的な選択である。
訓練セット全件の評価は非現実的（800GB を 6B モデルで走らせると 30 GPU 年）。そこで 2 種類:
| 抽出方法 | 内容 |
|---|---|
| 一様ランダム | 訓練セットから 50,000〜100,000 系列を一様サンプリング |
| 重複数・系列長で正規化 | 系列長 ℓ ∈ {50, 100, …, 500} と整数 n について、訓練セット中に 2^(n/4) 〜 2^((n+1)/4) 回出現する系列を各 1,000 本選ぶ。計約 500,000 系列 |
重複部分列の同定には Lee 22 の suffix array を用いる。
各系列について先頭 ℓ−50 トークンをプロンプトとし、 残り 50 トークンを完全一致で生成できたら「抽出可能」とする （50 トークン ≒ 127 文字 ≒ 25 単語）。
重複正規化サンプルは重複文字列を過剰代表しているため、暗記量の絶対値には意味がない。 論文自身が明記している。読めるのは傾向のみである。
ほぼ完全な対数線形関係（R² = 99.8%）。モデルサイズ 10 倍で暗記量が 19 パーセントポイント増加。 同一モデル族内で、大きいモデルは小さいモデルの 2〜5 倍暗記する。
GPT-2 ベースラインが決定的である。 「大きいモデルほど暗記する」が 単に予測性能が高いからではないことを示すため、同規模の GPT-2（Pile 未学習）で同じ評価をした。 GPT-2 は約 6% しか正解できないのに対し、同規模の GPT-Neo 1.3B は 40%。 GPT-2 が当てられる例は数列や定型句などの「つまらない」系列だった。 → 暗記であって汎化ではないことの直接的な証拠。→ モデルサイズ
2〜900 回のバケットで対数線形の傾向。ただし 数回しか出現しない文字列でも暗記は起きるため、重複排除で漏洩を完全には防げない。 → 文字列の重複
文脈長に対しても対数線形。6B モデルで 50 トークンの文脈では 33%、450 トークンでは 65% が抽出可能。
論文はこれを discoverability phenomenon と名付け、両義的だと論じる。
→ 文脈長
サーベイの記述に現れない、最も重要な留保。
We expected our results to cleanly generalize across settings, and this is indeed true for model scale. Yet, the situation is more complicated when considering data duplication, due to training set idiosyncrasies.
| 追試 | モデルサイズ | 重複 |
|---|---|---|
| T5 / C4（マスク型） | 再現する。ただし絶対量は因果型より 1 桁小さい（T5-XL 3B: 3.5% vs GPT-Neo 2.7B: 53.6%、100 回重複時） | 単調でない。 138〜158 回重複が 159〜196 回重複より暗記されやすい（3σ で有意）。原因は前者が空白トークン主体で予測しやすいこと |
| 重複排除済み C4 | — | 35 回未満の重複では暗記が 3 分の 1（1.2% vs 3.6%）。しかし約 100 回を超える重複には効かない。408 回以上は有意に高い。大規模な重複排除は原理的に不完全にならざるを得ないため |
| OPT（〜66B、整理済み Pile） | 傾向は同一だが効果の大きさが数桁小さい。66B OPT が 125M GPT-Neo より Pile の暗記が少ない | — |
OPT の結果について論文は 2 つの解釈を挙げ、区別できないとしている: (a) 丁寧なデータ整理と学習で暗記は緩和できる、 (b) わずかなデータ分布の差でも暗記される内容が大きく変わる。
貪欲デコーディングとビームサーチ（100 ビーム）を比較し、 差は平均 2 パーセントポイント未満（最大 5.6%）、出力が一致したのは 45%。
ランダムサンプリング（top-k / top-p）は実験していない。 理由は「本研究の目的は発見可能性の最大化であり、言語的新規性の最大化とは対極だから」。 → 対立の台帳 2 番の解消に直結する。
生成が「訓練セットのどこかに」含まれていればよいとすると、 100 回重複の例で 32.6%（正解の後続と一致するのは 15.8%）。