推論時、出力に対する後処理による暗記の抑制 (Ishihara 26 5·3)。抑制手法の 3 段階のうち出力軸。
最も安価な緩和策は、フィルタリングではなくプロンプト長の制限である。 Carlini 23b の 発見可能性(discoverability)現象から直接導かれる。文脈長が長いほど暗記は抽出されやすく (6B で 50 トークン 33% → 450 トークン 65%)、逆に言えば 提供者が利用者に許すプロンプト長の上限を制限すれば抽出リスクは大きく下がる。 論文自身が「より強い攻撃が開発されるまでは」という留保つきで実務的な推奨としている。
この手法は本ページの他の手法と性質が違う。フィルタリングや電子透かしが 出力を検査・改変するのに対し、これは攻撃者の入力能力を削る。 Ippolito 23 の 「逐語フィルタは近似暗記に素通りされる」という批判は、 入力を絞る方策には当てはまらない。→ 文脈長
それ以外の後処理はこの Wiki で最も懐疑的に扱われている層である。 Ippolito 23 は逐語暗記を 証明可能に完全阻止する防御(MemFree)を実装したうえで、それでも漏洩が止まらないと示した。 既存防御への批判ではなく、理想的な防御の失敗を示している点が重要である。
失敗経路は 2 つある。
and → &)で
人間にはほぼ同一に見えるテキストを作るつまり後処理は「観測可能な出力の表層」しか見ておらず、 攻撃者だけでなくモデル自身が回避主体になる。 これは入力を絞る方策との決定的な違いである。
電子透かしの副作用が、防御と測定の対立を露呈させる。 [Panaitescu-Liess 25] は電子透かしによって著作物の生成確率が格段に小さくなる一方、 メンバーシップ推論の成功確率も低下すると観測した。同様に [Tran 25] も トークンの絞り込みがメンバーシップ推論への防御に役立つと報告する。
⚠ この根拠には留保が必要である(2026-07-31 追記)。 Das 25 は [Panaitescu-Liess 25] を名指しで「明確な分布シフトのある評価データセットを 使っているため信頼できない」としている。 したがって「電子透かしがメンバーシップ推論の成功率を下げた」という測定自体が疑わしい。
ただし結論は弱まるどころか強まる。評価セットが分布差を測っていたのなら、 「メンバーシップ推論の成功率が下がった」は暗記の減少をますます意味しない。 論拠は「効果の解釈が多義的」から「そもそも何を測っていたか不明」へ移る。
これは深刻な含意を持つ。著作権 における依拠性の立証は メンバーシップ推論 に対応する(サーベイ 6·2)。 つまり電子透かしは、著作物の生成(類似性)を抑えると同時に、 「あなたのデータで学習した」ことの立証(依拠性)も困難にする。 権利者から見れば、モデル提供者による防御策が同時に立証妨害として働きうる。 Zhang 25a の「メンバーシップ推論は証明にならない」という 立場と合わせると、著作権の立証経路は両側から狭められている。
「攻撃が効かなくなった」を成功指標にできない。 上記と 逆学習 の議論から導かれる、この Wiki 全体で最も一般的な教訓。 メンバーシップ推論の成功率低下は、暗記の減少・防御の成功・測定の不能化の いずれとも整合する。抑制手法の評価には、 測定手法とは独立の検証が要る → 評価の枠組み
フィルタリングの困難は、前処理の困難と同型である。 「何をフィルタリングすべきか自動同定できない」(5·3)は、 「個人情報を文字列のみから一意に判定できない」(5·1、重複排除)と同じ問題である。 プライバシの文脈依存性 [Dourish 04, Nissenbaum 09] は、 入口(前処理)と出口(後処理)の両方で同じ壁として現れる。