Agentic AI 系统认知引发风险的系统性分析

由大型语言模型（LLMs）驱动的前沿代理系统展现出类似人类的认知模式。随着这些系统在不同领域的深度整合，其认知参与给人类社会带来了尚未充分研究的重大关切。为弥补这一空白，我们按照认知范围定义的三层框架，从物理认知到社会认知，再到自我参照认知，系统分析了认知能力扩展所引发的风险。我们研究了这些风险对人类能动性、自主性和控制能力的潜在影响，对应每个认知层面。最后，我们提出了缓解这些风险并增强代理AI系统可控性的策略，确保其长期安全发展。