学習アルゴリズムに着目した考え方。任意の 1 データ点の有無に対して、 学習アルゴリズムの出力の分布がどの程度変化するかを捉える （Ishihara 26 3·1§2）。
暗記の定義（3·1§2）としても、暗記の抑制手法（5·2）としても登場する、 この Wiki で数少ない両義的な概念である。
具体的な学習アルゴリズム: DP-SGD [Abadi 16]、DP-FedAvg [Ramaswamy 20]。
大規模なモデルへの適用は性能劣化や計算資源の増大が課題。これに対し、 大規模な公開データセットで学習した後、機密性の高いデータに対して 差分プライバシに基づく学習アルゴリズムを用いる2 段階の学習が検討されている [He 23, Li 22, Yu 21, Yu 22]。
2 段階学習は課題を解消していない。前提を移動させただけである。 「公開データで事前学習 → 機密データに DP」という設計は、 公開データセットには非意図的な個人情報が含まれない、という仮定に依存する。 [Cummings 21], [Tramèr 24] はこの限界を指摘する。 そしてデータの削除（5·1）の側でも、 プライバシは文脈依存的 [Dourish 04, Nissenbaum 09] であり 文字列のみから一意に判定するのは困難とされている。 つまり「公開データに個人情報は無い」は、5·1 節の知見によって否定される。 2 段階学習の安全性は、前処理の限界に上限を規定されている。
重複したデータには効かない、という原理的な穴がある。 Carlini 23b の指摘: 差分プライバシは単一ユーザの秘密情報は守るが、高度に重複したデータの暗記を防ぐには無効である。 「1 データ点の有無」を保証の単位にする以上、同じ文字列が 100 箇所に現れれば 1 箇所を除いても分布はほとんど変わらないためである。
これは文字列の重複が最も強い暗記要因であることと合わせると深刻で、 差分プライバシは最も暗記されやすいデータをまさに守れない。 重複排除が「濃い重複には効かない」（100 回超）ことと合わせると、 訓練セット軸・モデル軸の主要な防御がどちらも高重複データに対して穴を持つ。
形式的定義とテキストの相性の悪さ。 Brown 22 は 「複雑さを捉えられない」という漠然とした批判ではなく、特定の仮定を名指ししている。
差分プライバシの意味論的保証は「任意の 1 レコードが学習に使われたか敵対者が識別できない」ことである。 これはそのレコードが明確に定義され、保護すべき個々の秘密情報に論理的に対応することを 暗黙に仮定している。
この仮定が破れる理由も具体的である。機微な情報は複数人によって書かれ、 集団で共有されるのが常であり、秘密の境界がぼやける。 差分プライバシが意味のある保証を与えられるのは境界が明確に定義できる情報だけである。
だからトークン・文書・ユーザなど多様なレベルでの秘密境界設定が検討されている [Charles 25, Levy 21, McMahan 18] が、どれを選んでも「1 データ点」の外に 同じ秘密が漏れる経路が残る。文書単位の DP は、同じ個人情報が複数文書に現れれば守れない。 これは重複の問題と表裏である。 Carlini 21 が 差分プライバシを「適切なレコード単位で適用すれば保証する」と条件付きで評価しているのも、 この「適切な単位」が言語データでは定まらないためである。
同じ問題は同意の側にも現れる。Brown 22 は あるユーザの個人情報は他の多くのユーザのテキストに含まれるため、 個別ユーザがインフォームド・コンセントを与えることは原理的にできないと論じている。
反実仮想に基づく定義 と発想を共有する。 「任意の 1 データ点の有無」は 反実仮想そのものである。差分プライバシはそれを学習アルゴリズム側で事前に保証する アプローチ、反実仮想暗記は学習後のモデルで事後に測定するアプローチと読める。 モデル軸の 2 定義が並置されているのは偶然ではない。
正則化に負けることがある。 [Mireshghallah 21] は 暗記を考慮した正則化手法を提案し、差分プライバシに基づく手法よりも有用と主張した。 形式的保証の強さと実用上の有効性は一致しない。