Evaluating the Evaluators: Investigating LLM Judges for Personalized Writing Style Assessment

本文在NeurIPS 2026 上获得接受，评估大语言模型（LLM）在个性化写作任务中的判断能力。当用户偏好写作风格已知（如‘欢快’）时，LLM判断是否符合该偏好具有重要意义。我们研究写作任务、生成器与判断器LLM的组合、评估目标以及通用常识与推理能力对LLM判断性能的影响。为此，我们为三种长文本任务生成文本，使用四种LLM进行评估。