さまざまな暗記の定量化手法（3章）や対応法（5章）が提案される中で、 信頼に足る実証的知見（4章）を積み重ねていくために、 現実の課題（6章）に即した評価の枠組みを設計する必要があるという論点 （Ishihara 26 7·1）。
サーベイ 7 章の 3 つの展望のうち、方法論に関わる第一の論点。 本 Wiki では他の概念ページから最も多くリンクが集まるハブになっている。
どのような状況を想定した研究なのかを明確にした上で、適切な実験設定を選ばなければならない。
| 目的 | 有力な手法 |
|---|---|
| 著作権・出力との類似性 | 文字列の類似度 |
| 著作権・訓練データへの依拠性 | メンバーシップ推論 |
| セキュリティ | 個人情報・機密情報が漏洩するか否か |
| 評価の正当性 | データセットの塊の単位での評価 |
訓練セットの正確な内容が分からない状況を踏まえると、 特殊なコーパスを用いた検証も選択肢に入る [Zhang 25a]。
暗記は常に排除すべき対象ではなく、実用上は一定の知識保持が有用に働く場合がある （公開事実の想起、特定ドメインの定型表現の再現など）。 特にセキュリティの観点では個人情報や機密情報が漏洩するか否かが本質的な問題であるため、 許容可能な暗記と深刻度の高い暗記を区別する必要がある。 [Lee 20] は既存研究の多くが暗記された文字列の危険性の程度を区別していないと指摘した。
一方で著作権の侵害の観点では、文字列の表層的な一致に注目するのが合理的な場合もある。 暗記と汎化を区別するなど 「暗記とは何か」を改めて問い直し、最終的な目的に応じて 懸念と性能のバランスを議論していくのが望ましい。
[Lee 20] の批判には留保が要る（2026-07-31 追記）。 分野の起点である Carlini 21 は、 危険度を定義に組み込んでいた。k-eidetic memorization は 「訓練データ中の高々 k 個の例に出現する」と定義され、 論文自身が「暗記が有害だと言える k の決定的な値は無いが、小さいほどその可能性が高い」 「同じ k なら長い文字列の暗記の方が悪い」と述べてスペクトラムとして扱っている。
つまり「区別していない」のは分野全体ではなく、その後に主流になった定義である。 Carlini 23b の 「抽出可能（extractable）」は k を持たず、危険度の情報を捨てている。 測定可能性を優先した結果、危険度の区別が失われたという経緯として読める。
大規模言語モデルの推論時間の制約から、評価セットを構築する上でのデータの抽出は 避けられない。しかし文字列の重複や文脈長など 暗記に影響する要因にバイアスがないかにも細心の注意が求められる。
この警告には具体的な前例がある。 Carlini 23b は 重複と系列長で正規化したサンプルを使っており、論文自身が 「重複文字列を過剰代表しているため、暗記量の絶対値には意味がない」と明記している。 読めるのは傾向だけである。にもかかわらず、この論文の数値が 絶対的な暗記率として引用されることは起こりうる。 バイアスの有無だけでなく、バイアスがあるとき何が読めて何が読めないかを明示する必要がある。
モデル評価の正当性に向けたデータ漏洩の観点では、 単一の訓練データだけでなく集合としての議論も重要となる。 → データセット汚染
監査は攻撃より難しい。 Carlini 23b の 発見可能性（discoverability）現象が生む非対称。 暗記の裾を同定するには長い文脈でプロンプトする必要があるが、 「大きな文脈を与えずに暗記の裾を同定する既知の手法は無い」。 つまり正しく監査するには訓練データそのものでプロンプトするしかない。
帰結は重い。訓練セットを知らない第三者——規制当局、権利者、外部監査人——は、 最も発見しやすい条件を作れないため、構造的に過小評価する。 著作権で依拠性の立証が困難なこと、 メンバーシップ推論が証明にならないこと （Zhang 25a）と同じ根を持つ。 モデル提供者だけが正しく測れる、という非対称が測定の前提にある。
「攻撃が効かなくなった」を成功指標にしてはならない。 この Wiki 全体を通じて 最も繰り返し現れる方法論的教訓であり、複数のページから独立に導かれる。
メンバーシップ推論の成功確率も低下させる
いずれも「メンバーシップ推論 の成功率低下」を報告するが、 それは暗記の減少・防御の成功・測定の不能化のいずれとも整合する。 抑制手法の評価には、抑制対象の測定手法とは独立の検証が要る。 これはサーベイ 7·1 節が明示していない、この Wiki 独自の総合である。
さらに悪い。 Das 25 は Panaitescu-Liess 25 を名指しで「分布シフトのある評価データセットを使っており信頼できない」と している。つまり上の 3 経路のうち少なくとも 1 つは、 成功率の低下という観測そのものが疑わしい。 測定手法が壊れているとき、その測定手法で防御を評価すれば 「何を測ったか不明な数値が下がった」以上のことは言えない。 独立の検証が要るという結論は、これによって弱まるどころか強まる。
測定器と攻撃ツールが同一であることが、この論点の根にある。 訓練データ抽出は候補生成 + メンバーシップ推論の 2 段階であり、 研究者の測定手続きそのものである。だから「何を測っているか」の宣言が、 そのまま「誰の脅威モデルを想定しているか」の宣言になる。
評価セットの分布差問題は、この論点の実例である。 Das 25 が示した WikiMIA の問題（正例・負例が作成時期で分かれており、 年の文字列を見るだけで高性能が出る）は、要請 3 の失敗例そのものである。 → 評価セットとライブラリ
評価指標の水準でも同じ問題が起きている。 Carlini 22 は AUC のような直接的な指標だけでは不十分で、 低い偽陽性率における真陽性率を評価すべきだと主張した。 これは「現実の攻撃者は少数を確実に当てたい」という脅威モデルからの逆算であり、 要請 1 を指標の設計に適用したものと読める。