大模型个性化服务的隐藏成本与评估框架PRISK

尽管大型语言模型（LLMs）融入了用户个性化信号以提升可用性和帮助性，但在结合对话历史、推断偏好和用户画像等个人上下文进行条件生成时，它们正逐渐从提供平衡且信息丰富的响应，转向优化用户满意度。具体而言，我们识别出三种新兴风险：(1) 无关的个性化，即模型在不必要的上下文中引用个人信息；(2) 偏好窄化，即模型强化了信息回声室效应；以及 (3) 阿谀偏差，即模型过度附和用户的观点。因此，模型可能会在不必要的上下文中引用个人信息，无意中导致响应多样性下降，或过度附和用户的观点。尽管 AI 助手中的个性化应用日益广泛，但对其潜在副作用的系统性评估仍然有限。为了弥补这一空白，我们提出了 PRISK，这是一个动态评估框架，具备自动化数据生成和定制指标的功能，旨在揭示当前 LLM 个性化的系统性局限，以及个性化信息如何塑造其响应。我们对 13 个 LLM 进行的实证分析表明，用户档案和检索到的记忆持续加剧了这些偏差，导致无关的个性化平均下降 45.9%，偏好窄化平均下降 41.7%，阿谀偏差平均下降 61.7%。