訓練セットの前処理による暗記の抑制（Ishihara 26 5·1）。 抑制手法の 3 段階（前処理 / 学習 / 後処理）のうち、訓練セット軸に対応する。 いずれも実証的知見の文字列の重複と関連していると解釈できる。
| 手法 | 内容 | 出典 |
|---|---|---|
| データの削除 | 個人情報を含むテキストの特定と削除 | [Continella 17], [Ren 16], [Vakili 22] |
| 重複排除 | 訓練セット内の重複を除去する | [Allamanis 19], Kandpal 22, Lee 22 |
上限は定性的な留保ではなく、定量的に測られている。 サーベイは「重複以外の要因でも暗記は発生し得るため、重複排除のみで完全に防ぐことはできない」と 書くにとどまるが、Carlini 23b の追試節は 重複排除済み C4 モデルでどこまで効いてどこから効かないかを測っている。
| 元 C4 での重複回数 | 重複排除の効果 |
|---|---|
| 35 回未満 | 暗記が 3 分の 1 に（3.6% → 1.2%、p < 10⁻¹⁵） |
| 〜100 回 | 効果あり |
| 100 回超 | 効かない |
| 408 回以上 | 他のどの区間より有意に高い |
理由は原理的である。大規模な重複排除はスケールさせるために必然的に不完全になる （数百 GB を効率的に処理するには近似が要り、重複の定義も一意でない）。 つまり「重複排除は薄い重複には効き、濃い重複には効かない」。 そして著作権や評価の正当性で問題になるのは まさに濃い重複の側である。
加えて、この上限は 4 章の 3 因子構造からも導かれる—— モデルサイズと文脈長は前処理では触れない。 前処理は 3 因子のうち 1 つしか動かせない。
さらに、学習順と忘却 の観点からは効果の説明が変わる。 [Leybzon 24] の解釈では、重複が暗記を保持させるのは 「忘却され続ける中で複数回の暗記が起こる」からである。だとすれば重複排除の効果は 「暗記を防ぐ」ではなく「忘却に任せる」ことである。 この読み替えが正しければ、重複排除の効果は学習の長さやバッチサイズに依存するはずである（推測）。
データの削除は、プライバシの文脈依存性という壁に当たる。 Brown 22 は、 サニタイズが個人情報は形式的に指定でき、容易に認識でき、効率的に除去できるという 仮定を置いていると名指しし、実際に認識できるのは テキスト中の個人情報のうちごく一部にすぎないと述べる。 プライバシは文脈依存的 [Dourish 04, Nissenbaum 09] であり、 文字列のみから一意に判定するのは困難である。
同論文が示す代替の基準は文脈的完全性である—— 「ユーザのデータが、本人が想定した文脈の外に現れない（また推論されない）」ことを保証すべきであり、 これは情報が生成・利用・共有される文脈の理解なしには達成できない。 さらに「公開されている」ことと「公開を意図された」ことは違うため、 Web スクレイプが安全という前提も成り立たない（ドキシング、意図より広く読まれる SNS 投稿など）。 論文の結論は、言語モデルは明示的に公開用途で作られたテキストだけで学習すべきだ、というものである。 この批判は 差分プライバシ の「テキストにおける 1 データ点の粒度が曖昧」という 批判と同じ著者・同じ論文から出ている。前処理と学習アルゴリズムという異なる段階の手法が、 同一の根本問題（言語データにおける秘密の単位が定義できない）に阻まれている。
この壁は 差分プライバシ の 2 段階学習を無効化しうる。 「公開データで事前学習 → 機密データに DP」という設計は公開データに個人情報が無いことを 仮定するが、前処理でそれを保証できないなら仮定は成立しない [Cummings 21, Tramèr 24]。抑制手法の階層は独立ではなく、 下の層（前処理）の限界が上の層（学習）の保証の上限を規定している。