訓練セット内で同じ文字列が出現する回数。3 つの実証的知見のうち、 訓練セット軸に対応するもの（Ishihara 26 4·1）。
Carlini 23b は訓練セット内の文字列の重複回数を 2 から 900 までの塊に分けて暗記量を測定し、重複が多いほど暗記されやすいと観測した。
後続研究で広く再現されている: [Chang 25, Huang 24, Ippolito 23, Ishihara 24, Kandpal 22, Kiyomaru 24, Lee 22, Lee 23, Lu 24, McCoy 23, Takahashi 25b, Tirumala 22]。
言語には頑健だが、データセットには頑健でない。 この非対称が本ページの核心である。 サーベイの記述だけを読むと重複は最も確立した因子に見えるが、 原典の追試節（Carlini 23b 5 章）は 重複の知見がモデル族・データセットを跨ぐと崩れると明示している。
We expected our results to cleanly generalize across settings, and this is indeed true for model scale. Yet, the situation is more complicated when considering data duplication, due to training set idiosyncrasies.
| 設定 | 重複の効果 |
|---|---|
| GPT-Neo / Pile（主実験） | 対数線形。2〜900 回で単調に増加 |
| T5 / C4（マスク型） | 単調でない。 138〜158 回重複が 159〜196 回重複より暗記されやすい（3σ で有意）。原因は前者が空白トークン主体で予測しやすいこと |
| OPT / 整理済み Pile | 傾向は同じだが効果の大きさが数桁小さい。66B OPT が 125M GPT-Neo より暗記が少ない |
T5 の非単調性は、重複回数が「暗記のされやすさ」の代理変数として不完全であることを示す。 実際に効いているのは重複そのものではなく予測の容易さであり、 重複はその相関物にすぎない可能性がある。この読みは [Leybzon 24] の忘却モデル（後述）とも整合する。
一方、言語を跨いでは再現している。 Kiyomaru 24・Ishihara 24・Takahashi 25b が 日本語で重複の知見を再現しており、文脈長のような逆転は報告されていない。
したがって、この Wiki がドメインや言語横断で 整理していた「普遍的要因 vs 文脈依存的要因」という軸は、 言語軸とデータセット軸で答えが違う。3 因子のうち 両方の軸で頑健なのはモデルサイズだけである。 → 対立の台帳 8 番
メンバーシップ推論の設定でも再現される。 サーベイは重複の知見が 「メンバーシップ推論の設定も含め」後続研究で再現されていると述べる。 定量化手法を変えても生き残る知見は 3 因子の中でこれが最も確かである。 逆に言えば、メンバーシップ推論 の評価セットが分布差で汚染 されていたという批判が正しくても、重複の知見そのものは 文字列類似度側の証拠で支えられている。
「重複が多い＝暗記される」は、暗記と忘却の同時進行として説明できる。 [Leybzon 24] の解釈: 一度しか出現しない文字列は、一度暗記された後は その後の学習ステップで忘却され続ける。重複が多く出現頻度が高い文字列は、 忘却され続ける中で複数回の暗記が起こり、結果的に学習終了後も暗記が保持されやすい。 この解釈は、重複の効果と学習順の効果を 同一のメカニズムから導く点で重要である。両者は独立した 2 つの現象ではない。
したがって重複排除は根本的な解決にならない。 サーベイ 5·1 節が明記するとおり、 重複以外の要因でも暗記は発生し得るため、重複排除のみで完全に防ぐことはできない。 重複排除 は最も費用対効果の高い緩和策だが、上限がある。