軸: 出力
IEEE Symposium on Security and Privacy (SP) 2022, pp. 1897–1914
｜ stub（原論文未読）
Membership inference attacks from first principles
TL;DR
メンバーシップ推論の評価指標は現実的な攻撃シナリオを反映すべきだと主張し、
AUC などの正確性に関する直接的な指標だけでは不十分で、
低い偽陽性率における真陽性率を評価すべきだと提案した。
位置づけ
出力軸。メンバーシップ推論 の手法そのものではなく、
手法の評価のしかたを問い直した論文。評価の枠組み の指標水準での実践例。
手法・実験
サーベイからは実験の詳細は判明しない（原論文未読）。
主張の構造は、現実の攻撃者のインセンティブから逆算して指標を選ぶ、というもの。
主要な知見
- 平均的な精度（AUC）は、現実の攻撃者が求めるもの——少数のデータについて確実に当てる——を
反映していない
- したがって低い偽陽性率における真陽性率（TPR@low FPR）で評価すべきである
サーベイは関連して、訓練データ抽出のコンペティション
（lm-extraction-benchmark）が適合率・再現率だけでなく
攻撃速度を測定した例も挙げている。
限界・批判
- 指標を変えると手法のランキングがどう変わるかを、その後の言語モデル研究が
体系的に再評価したかは、この Wiki では未確認
- 評価セットの分布差問題（Das 25）は別の軸の問題であり、
指標を直しても解決しない。両方を直す必要がある → 評価セットとライブラリ
Wiki 内の接点