特定のデータが機械学習モデルの訓練セットに含まれるか否かを予測する手法 （Ishihara 26 3·2§2）。
文字列の類似度による定量化は訓練セットが既知であることを 前提とするが、セキュリティや著作権が実際に問題になる場面では訓練セットが明らかでない。 そこでメンバーシップ推論の考え方を暗記の定量化に用いる [Hisamoto 20, Shi 24]。
一般的な手法には分類器の構築 [Shokri 17, Song 19] や差分比較 [Hui 21] があるが [Hu 22b]、大規模な言語モデルでは分類器の学習が現実的でないため、 指標の算出に基づく手法が一般的である [Bentley 20, Choquette-Choo 21, Song 21]。
訓練データに対してはモデルの生成確率が大きくなる
系列の生成確率は直接計算すると非常に小さい値になるため、対数尤度（損失）を用いることが多い。
| 手法 | 発想 | 出典 |
|---|---|---|
| LOSS | 損失が閾値より小さければ訓練セットに含まれると判定。最も素朴 | [Yeom 18] |
| PPL/zlib | zlib 圧縮で計算される情報量で PPL を割る。訓練セット外のテキストは生成確率が低く冗長で圧縮されやすい、という仮説 | Carlini 21 |
| Lowercase | 入力を全て小文字化する前後で PPL を比較。大文字・小文字という表層的な特徴の暗記を利用 | Carlini 21 |
| Min-K% Prob | 生成確率の低い K% のトークンのみに着目して平均対数尤度を計算 | Shi 24 |
| Min-K%++ | Min-K% Prob に生成確率の正規化と標準化を加えた改良版 | [Zhang 25b] |
| PAC | ランダムに選んだ 2 トークンを入れ替えたときの対数尤度の変化を観察 | [Ye 24] |
| ReCaLL | 訓練セット外のテキストをプロンプトに追加した場合の対数尤度の変化の比率 | [Xie 24b] |
| Con-ReCall | 訓練データと訓練セット外テキストの両方をプロンプトに追加し、変化をより明確に捉える | [Wang 25a] |
| SaMIA | 生成確率を使わず、複数の生成結果に対して n グラム類似度を測定 | [Kaneko 25b] |
PPL/zlib は基礎的な手法としてよく用いられる [Chen 25]。
| 名前 | 位置づけ |
|---|---|
| WikiMIA [Shi 24] | 著名だが正例・負例の分布の違いが批判されている（後述） |
| MIMIR [Duan 24] | よりランダムな設定でデータセットを分割 |
| OLMoMIA [Kim 26] | 同上 |
| Fast-MIA [Takahashi 25a] | 手法を整備したライブラリ |
| ML Privacy Meter [Murakonda 20] | 同上 |
「効かない」の説明が 2 つある（2026-07-31 追記）。 この Wiki は当初、否定的な結果を評価セットの欠陥として整理していた。 Morris 26 は理論的な説明を与える。
損失ベースのメンバーシップ推論の F1 は、モデル容量とデータセットサイズの比で決まる シグモイド型のスケーリング則に従い、|D| → ∞ で 0.5（ランダム）に収束する。 そして現代のモデルはいずれもトークン/パラメータ比 10² 以上で学習されているため、 法則の予測では 統計的に有意な損失ベースのメンバーシップ推論は成立しない。
ただし適用範囲は見出しより狭い。 3 つの限定が付く。
| 限定 | 含意 |
|---|---|
| 平均的なデータ点について | 外れ値への高精度攻撃は否定されていない。Carlini 22 が求める低偽陽性率領域はまさにここ |
| 損失ベースの手法について | ReCaLL・Con-ReCall・SaMIA など他系統には直接及ばない |
| 完全な重複排除を前提 | 実コーパスの重複データ、とくに著作権で問題になる著作物には適用できない |
つまり「メンバーシップ推論は原理的に無理」ではなく、 「重複排除された平均的データ点に対する損失ベースの攻撃は無理」である。 守りたい／立証したい対象は、たいていこの範囲の外にある。 → 対立の台帳 4 番
評価セットが壊れていた、という指摘も積み上がっている。 この Wiki で最も強い 「方法論への疑義」の集積点である。WikiMIA [Shi 24] は Wikipedia を元に、 2017 年以前に作成され訓練セットに含まれると期待される記事を正例、 評価対象モデルの公開後（2023 年以降）に作成された記事を負例とした。 結果として、正例・負例の分布が時期で分かれているため、 Das 25 は年の文字列に着目するといった素朴な手法でも 高度なメンバーシップ推論手法より高い性能が出ると報告した。 Chen 25 と [Kim 26] も「非本質的な部分で高い性能が出ている」と指摘する。 つまり過去の手法比較の多くは、暗記ではなく分布差を測っていた可能性がある。 これに対する応答が MIMIR Duan 24 や OLMoMIA [Kim 26] の よりランダムな分割である。
評価指標そのものにも異議がある。 Carlini 22 は、 AUC のような正確性に関する直接的な指標だけでは不十分であり、 低い偽陽性率における真陽性率を評価すべきだと主張した。 理由は、現実の攻撃者は「多くのデータについてそこそこ当たる」ことではなく 「少数のデータについて確実に当てる」ことを狙うからである。 訓練データ抽出のコンペティションでは、適合率・再現率だけでなく 攻撃速度を測定した例もある。 → 精度指標の議論は 評価の枠組み へ接続する
著作権の「依拠性」に対応するが、法的証明には足りない。 サーベイ 6·2 節は、 著作権侵害の依拠性（訓練セットに特定の著作物が含まれているか）が メンバーシップ推論に、類似性が文字列の類似度に 対応すると整理する。しかし Zhang 25a は、 メンバーシップ推論は「モデルがあなたのデータで訓練された」ことを証明できないと 立場を明確にしている。サーベイの対応関係は概念的な写像であって、 法廷で使える証拠能力を意味しない。
「日本語では文脈長の効果が逆」という反例がここに現れる。 [小柳 24] は 日本語を対象としたメンバーシップ推論で、文脈長が小さいほど性能が高いという 英語と逆の関係を報告した。類似の結果は Takahashi 25b でも 一部の実験で報告されている。→ 文脈長 / ドメインや言語横断