軸: モデル | サーベイ 5·2 節

知識編集(Knowledge Editing)

定義

学習済みモデルのパラメータに対する編集 [Wang 24a] を暗記の抑制に活用する手法 (Ishihara 26 5·2)。 [Hartvigsen 23], [Kassem 25], [Meng 23], [Ruzzetti 25] が該当する。

再学習せずに特定の知識だけを書き換える点で、逆学習より 局所的な介入である。

主要な論文

横断的知見

この系統だけが「暗記がどこに宿るか」を問うている。 サーベイの他の抑制手法は 暗記量をブラックボックス的に増減させるが、[Menta 25] は 暗記や汎化に寄与しているモデル構造そのものを分析する。 これは 暗記と汎化の区別という 7·1 節の問いに、 モデル内部の局在という形で答えを与えうる数少ない経路である。 [Hong 25b] が推論と暗記の相互作用を単一の方向(direction)が媒介すると報告したのも同じ路線にある。 → 画像生成では [Hintersdorf 24] が暗記を担うニューロンの局在を報告しており (研究領域の拡張)、モダリティ横断で同じ問いが立っている。

「暗記を防御に転じる」という反転がある。 [Ruzzetti 25] の Private Memorization Editing は、 暗記を除去すべき欠陥としてではなく、編集の足がかりとして使う。 これは 暗記 の「暗記は常に排除すべき対象ではない」という サーベイ 7·1 節の規範的主張と方向を同じくする、数少ない具体的手法である。

局所編集は、暗記の分散性という前提と衝突しうる。 知識編集は「特定の知識が特定のパラメータに局在する」ことを暗黙に前提とする。 しかし Carlini 23b が示した重複の効果や モデルサイズとの対数線形関係は、 暗記が規模に比例して分散的に蓄積される像を示唆する。 局所編集が有効な範囲(事実的知識)と、逐語的な長文の暗記が同じ機構かは、 この Wiki では未確認である(推測)。

未解決の問い