軸: モデル / 出力
1st Workshop on Large Language Model Memorization (L2M2), pp. 106–126
｜ stub（原論文未読）
Memorization is language-sensitive
TL;DR
オランダ語・スロベニア語・ポーランド語・チェコ語での暗記を、
文字列の類似度とメンバーシップ推論の両方で分析した。
モデルサイズ の知見が再現された上、低資源言語ほどメンバーシップ推論の性能が高まると報告。
位置づけ
モデル軸・出力軸。Ishihara 26 4·4 節と 7·2 節で引用される。
英語以外の言語を複数扱った数少ない研究。
手法・実験
オランダ語・スロベニア語・ポーランド語・チェコ語を対象に、
文字列の類似度とメンバーシップ推論の 2 系統で暗記を分析する。
主要な知見
- モデルサイズ: モデルサイズに関する知見が再現された
→ 言語横断で頑健な因子であるという本 Wiki の整理を支持
- 低資源言語ほどメンバーシップ推論の性能が高まる
- 学習順と忘却: 学習の後半に用いられたテキストの方が
暗記されやすいという学習順の影響も観測
限界・批判
- 対象言語はいずれもヨーロッパ言語であり、語境界の無い日本語・中国語などとは
言語特性が異なる。文脈長 の日本語での逆転を説明する材料にはならない
- 「低資源ほどメンバーシップ推論の性能が高まる」は、
低資源言語のデータ自体が分布として識別しやすいことを
反映している可能性が排除されていない（推測）
Wiki 内の接点