訓練データと生成された文字列の類似度で暗記を測る、最も広く採用されている定義 （Ishihara 26 3·2§1）。
議論の単位も一様ではない。トークン単位 [Tirumala 22]、文書単位 [Kandpal 22] がある。
類似度の指標:
| 指標 | 採用例 |
|---|---|
| トークン一致率 | Lee 22 |
| BLEU スコア | Ippolito 23 |
| 意味的類似度（表層に限らない） | [Riddell 24] |
| n グラム類似度（複数生成結果に対して） | SaMIA [Kaneko 25b] |
生成確率を用いずテキストのみを扱う、より厳しい設定の研究もある [Dong 24, Kaneko 25b]。 この場合もテキスト冒頭を入力として残りを生成させ、生成結果と元テキストの類似度を測る。
逐語一致だけを塞いでも暗記は消えない。 Ippolito 23 の 中心的主張であり、この Wiki で最も実務的な含意を持つ知見。 逐語暗記を証明可能に完全阻止する防御を実装してもなお、 言い換え・綴りの誤り・同義語置換を経た近似暗記は素通りする。
そして定義を緩めると暗記量そのものが大きく増える。 同論文が Carlini 23b の抽出実験を BLEU > 0.75 の近似定義で再実行したところ、逐語で数えた量よりはるかに多くが暗記されていた。 論文は「先行研究は暗記の漏洩を大幅に過小評価している」と結論する。 つまり「Pile の少なくとも 1%」という下界は、定義の選択に強く依存する下界である。
一方で近似の定義でも モデルサイズ との関係は再現される。 定義の緩さは実証的知見の骨格を壊さないが、暗記量の絶対値と防御の有効性は大きく変える。
ただし定義を緩めることは防御の改善を意味しない。 Ippolito 23 自身が、 BLEU 0.75 という閾値は過大にも過小にも数えうるとし、 「この定義に切り替えれば防御が良くなるとは限らない——偽陽性を大量に生みうる」と注意している。 測定用の定義と防御用の判定基準は、同じでなくてよい。
この定義は「訓練セットが既知」を前提としている。 図2 の手順は訓練データからプロンプトと 参照を切り出す。しかしサーベイ 3·2§2 が述べるとおり、セキュリティや著作権が実際に問題になる 場面では訓練セットが明らかでないことが多い。そこで メンバーシップ推論 が要る。 両者は競合する定義ではなく、知りうる情報の違いに対応した使い分けである。
抽出のバイアスが結果に効く。 全件評価が不可能なので必ず一部を抽出するが、 その抽出が重複や文脈長に対して偏っていないかは サーベイ 7·1 節が明示的に警告する論点である。図2・図3 の「冒頭の数トークンを抜粋」という 共通手順自体が、冒頭に定型表現が来やすいドメイン（新聞記事、特許など）で 系統的なバイアスを生む可能性がある（推測）。
著作権の文脈では表層一致に注目することが合理的な場合もある。 サーベイ 7·1 節。 暗記の定義を意味的類似度へ拡張することは常に「進歩」ではない。 目的が著作権侵害の類似性の判定なら、表層的な一致こそが法的に問われる。 → 暗記 の「定義の選択は目的に従属する」