言語モデルの暗記がモデルの性能評価の信頼性に影響を及ぼす問題 （Ishihara 26 6·3）。
広く用いられている評価ベンチマークが訓練セットに含まれていたことで、 モデルの汎化能力が過大評価されている可能性が指摘されている [Aiyappa 23, Dong 24, Jacovi 23, Magar 22, Uddin 25]。
この観点での議論の特徴は、個別の訓練データではなく データセットとしての塊の単位で暗記を評価することが多い点である [Cheng 25b, Dziedzic 24, Kaneko 25a, Puerto 25, Ravaut 25, Xu 24]。
この論点が、サーベイ 3·2 節の分類そのものを生んでいる。 Ishihara 26 は 3·2 節（出力に着目した定量化の 3 分類: 文字列の類似度 / メンバーシップ推論 / 知識を問うタスク）を、 汚染に関する総説論文 [Ravaut 25] をもとに整理したと明記している。 つまり暗記の定量化手法の分類体系は、汚染検出コミュニティの分類を輸入したものである。 これは 2 つの分野が方法論的に同じものを扱っていることの証左である。
「塊で測る」ことが、個別データの測定困難を回避している。 メンバーシップ推論 の最大の弱点は、個別テキストについて確実に判定できないことである （Zhang 25a、Das 25）。 しかし汚染検出は 10,000 件の集合について統計的に判定すればよい [Oyama 25]。 同じ手法でも、粒度を粗くすれば信頼できる結論が出る。 これは著作権における依拠性の立証（個別著作物の単位）が難しいことの裏返しでもある—— 権利者は塊ではなく自分の作品 1 点について問いたいのに、 技術が信頼できるのは塊の単位である。
測定器が汚染される再帰性。 知識を問うタスクは 暗記を測る手法であると同時に、汚染されうるベンチマークそのものである。 [Uddin 25] のような時間依存 QA や [Xie 24a] の論理パズルは、 この循環を断つ試みと読める。しかし 「訓練後に作られたデータ」で評価するという方針は、 WikiMIA が正例・負例を作成時期で分けて批判された構造と同じである。 時期による切り分けは、汚染回避には有効だが、分布差を導入する。 汚染検出と暗記の測定で、同じ設計判断が逆の評価を受けている。
対策は前処理と同型である。 [Jacovi 23] の「テストデータを平文でアップロードするな」は、 訓練セットからの削除と同じ発想を評価データ側に適用したものである。 ここでも「何を削除すべきか事前に同定する」という前処理の困難が形を変えて現れる。