軸: 出力
ACL 2025 (Volume 1: Long Papers), pp. 22854–22874
| stub(原論文未読)
A statistical and multi-perspective revisiting of the membership inference attack in LLMs
TL;DR
メンバーシップ推論手法に対する包括的な実証実験を通じて、
既存の評価が非本質的な部分で高い性能を出していると指摘。
あわせて モデルサイズ と 文脈長 の知見を再確認した。
位置づけ
出力軸。メンバーシップ推論 の包括的評価に取り組んだ研究
(サーベイ 3·2§2 が [Ravaut 25] と並べて挙げる)。
手法・実験
統計的・多角的な観点からのメンバーシップ推論手法の再検討。
サーベイからは実験設定の詳細は判明しない(原論文未読)。
主要な知見
- WikiMIA Shi 24 は正例・負例の分布の違いにより、
非本質的な部分で高い性能が出ている [Chen 25, Kim 26]
- PPL/zlib Carlini 21 は基礎的な手法として
よく用いられる
- モデルサイズ: モデルサイズが大きいほど暗記されやすいという知見を支持
- 文脈長: 文脈長が大きいほど暗記量が増えるという知見を、
メンバーシップ推論手法に対する包括的な実証実験を通じて確認
限界・批判
Wiki 内の接点