暗記の定量化、特に メンバーシップ推論 の評価に用いられるデータセットと実装 （Ishihara 26 3·2§2）。
| 名前 | 構成 | 出典 |
|---|---|---|
| WikiMIA | Wikipedia ベース。2017 年以前に作成され訓練セットに含まれると期待される記事を正例、評価対象モデルの公開後（2023 年以降）に作成された記事を負例とする | Shi 24 |
| MIMIR | よりランダムな設定でデータセットを分割 | Duan 24 |
| OLMoMIA | 同上 | [Kim 26] |
メンバーシップ推論の手法を整備したライブラリが公開されている [Duan 24, Murakonda 20, Ravaut 25, Takahashi 25a]。
| 名前 | 出典 |
|---|---|
| MIMIR | Duan 24 |
| ML Privacy Meter | [Murakonda 20] |
| Fast-MIA | vLLM で約 5 倍、手法横断キャッシュで中間結果を共有 |
| （汚染検出手法の整理） | [Ravaut 25] |
言語モデルからの訓練データ抽出を題材にしたコンペティション （https://github.com/google-research/lm-extraction-benchmark）では、 適合率や再現率だけではなく攻撃速度を測定した。
問題は WikiMIA 1 つではなく、評価セットを事後的に構成するという方法そのものにある。 本 Wiki で最も影響範囲の広い方法論的問題であり、 サーベイの記述（WikiMIA の年号）より原論文の主張はずっと広い。
Das 25 は テキストと画像にまたがる 8 つの公開評価データセット （WikiMIA / BookMIA / Temporal Wiki / Temporal ArXiv / ArXiv 2 種 / LAION-MI / Gutenberg） で有意な分布シフトを同定し、対象モデルを一切見ない盲目的攻撃が 8 つすべてで 最先端手法を上回ることを示した。WikiMIA では TPR@5%FPR が 43.2% → 94.7%、 Gutenberg では TPR@1%FPR が 18.8% → 55.1%。
さらに重い指摘が 2 つある。
Chen 25 と [Kim 26] も 「非本質的な部分で高い性能が出ている」と指摘する。 WikiMIA は Shi 24 とともに提案され標準的な比較基盤になったため、 Min-K% Prob 以降の手法比較の多くが、暗記ではなく分布差を測っていた可能性がある。
推奨される代替は「事後的に非正例を作らない」ことである。 Das 25 は明確な train-test 分割を持つモデル （Pile、DataComp、DataComp-LM のランダム部分集合）での評価を推奨する。 MIMIR Duan 24 と OLMoMIA [Kim 26] の よりランダムな分割も同じ方向にある。
同じ設計判断が、汚染検出では推奨されている。 データセット汚染 では 「訓練後に作成されたデータで評価する」ことが汚染回避の正攻法とされる （[Uddin 25] の時間依存 QA など）。しかしメンバーシップ推論では、 まさにその時期による切り分けが分布差として批判される。 同一の設計が、目的によって長所にも欠陥にもなる。 サーベイ 7·1 節の「どのような状況を想定した研究なのかを明確にする」という要請の、 最も具体的な帰結である。→ 評価の枠組み
日本語の標準的な評価セットは、この Wiki には無い。 ドメインや言語横断 で整理したとおり日本語の実証研究は複数あるが、 WikiMIA / MIMIR に相当する共有ベンチマークは見当たらない。 文脈長 の日本語での挙動を切り分けるにも、この欠落が障害になっている。 明確な知識ギャップ。
評価指標の水準にも同種の批判がある。 Carlini 22 は AUC のような直接的な指標では不十分であり、低い偽陽性率における真陽性率を 評価すべきだと主張した。データセットの問題（分布差）と指標の問題（AUC）は 独立に存在し、両方を直さないと手法比較は信頼できない。