Q. 「メンバーシップ推論が効かなくなった」を抑制手法の成功指標にしてよいか

A. よくない。3 つの独立した経路が同じ落とし穴を示している

メンバーシップ推論 の成功率低下は、次の 3 つのいずれとも整合する。 指標としては識別力が無い

根拠

2026-07-31 更新: Das 25 の原論文を読み、 根拠 1 の信頼性に問題が判明した。結論は変わらないが、論拠が移動した(後述)。

経路 報告 出典
電子透かし 著作物の生成確率が格段に小さくなる一方、メンバーシップ推論の成功確率も低下する [Panaitescu-Liess 25]
逆学習 利用するトークンの絞り込みがメンバーシップ推論への防御に役立つ [Tran 25]
逆学習 生成を抑えているのかパラメータから情報を除去したのか、この Wiki では区別できない

根拠 1 の信頼性について(2026-07-31 追記)

Das 25 は [Panaitescu-Liess 25] を名指しで 「明確な分布シフトのある評価データセットを使っているため信頼できない」としている。 つまり「電子透かしがメンバーシップ推論の成功率を下げた」という測定自体が疑わしい

それでも結論は変わらない。むしろ強まる。 論拠が次のように移動する。

  変更前 変更後
問題 成功率低下の解釈が多義的 そもそも何を測っていたか不明
含意 独立の検証が望ましい 独立の検証が必須

評価セットが分布差を測っていたのなら、「メンバーシップ推論の成功率が下がった」は 暗記の減少をますます意味しない。→ 評価セットとライブラリ

なぜこの問いをファイリングしたか

この結論は Ishihara 26 のどの節にも明示されていない。 5·3 節(電子透かし)、5·2 節(逆学習)、7·1 節(評価の枠組み)に分散した記述を 突き合わせて初めて立つ。Wiki を作ったことで見えた繋がりである。

評価の枠組み## 横断的知見 に還元済み。

より深い含意:著作権

[Panaitescu-Liess 25] の結果は、権利者にとって不利に働く。 サーベイ 6·2 節によれば、著作権侵害の依拠性メンバーシップ推論 に対応する。 つまりモデル提供者が電子透かしを導入すると、 著作物の生成(類似性)を抑えると同時に、 「あなたのデータで学習した」ことの立証(依拠性)も困難になる

Zhang 25a の「証明にならない」という立場と、 Das 25 の評価セット批判を合わせると、 依拠性の立証経路は方法論・防御策の両側から狭められている。 → 著作権## 横断的知見 に還元済み。

では何を成功指標にすべきか

Wiki は明確な答えを持たない。知識ギャップとして 評価の枠組み## 未解決の問い に登録した。方向性として言えるのは:

Wiki 内の接点

評価の枠組み / 逆学習 / 出力の制御と電子透かし / 著作権 / 反実仮想に基づく定義 / メンバーシップ推論