Is Persona Generalization Predictable?

人设泛化发生时，微调语言模型在一个领域会引发其他领域的行为变化——例如，观察到的普遍不安全行为。我们发现人设泛化中存在一种“在一条线上”的现象：在不同微调超参数下，内域和外域人设的比率遵循近似线性关系，且具体的线性关系在模型家族和模型规模中意外地一致，包括Qwen和Llama。训练选择使可训练参数集保持不变，如学习率、权重衰减和训练时长，主要通过削弱内域学习来减少迁移。