關注全球時事|洞察國際風雲
2025-03-18 17:24 星期二

AI幻觉频现 风险挑战几何

时间:2025-08-19 10:04 来源:快讯社

  当前,人工智能技术快速发展,但大模型“自说自话”、一本正经“胡说八道”、生成偏离事实内容的问题日益凸显,这一现象被称为“AI幻觉”。不少业内人士提醒,由于大模型主要基于概率生成文本而非逻辑推理,在短期内难以完全避免此类问题。

  《瞭望》新闻周刊记者观察到,AI虚构事实或逻辑混乱的“幻觉”已在法律、内容创作、专业咨询等多个领域造成实际影响。

  AI技术的发展方兴未艾,但确保其生成内容的真实性和可靠性,尤其需要技术开发者、监管机构共同努力。针对“AI幻觉”问题,业界建议,在技术层面,要持续优化模型架构,增强事实核查能力;在监管层面,需完善相关规范,明确责任边界。

AI幻觉 AI辅助设计

  幻觉频现

  “AI幻觉”已经成为当前AI技术发展中最突出的技术瓶颈之一。从技术层面来看,AI幻觉的产生主要源于三个方面的原因:首先是训练数据的不足或偏差,导致模型对某些领域的认知存在缺陷;其次是算法架构的局限性,当前主流大模型主要基于概率预测而非逻辑推理;最后是训练目标的设定问题,模型往往更倾向于生成“流畅”而非“准确”的内容。

  “AI幻觉主要表现为事实性幻觉和逻辑性幻觉两种。”业内人士介绍,事实性幻觉,表现为模型会编造完全不存在的事实或信息。这种情况在专业领域尤为突出,如在法律咨询中虚构判例,在医疗诊断中给出错误结论,或杜撰历史事件。逻辑性幻觉,表现为模型在长文本生成或连续对话中出现前后矛盾、逻辑混乱的情况,这主要是因为当前大模型的注意力机制在处理复杂语境时存在局限性。

  多项研究证实了AI幻觉问题的严重性。今年3月,哥伦比亚大学数字新闻研究中心针对主流AI搜索工具进行的专项测试发现,这些工具在新闻引用方面的平均错误率达到60%。一些研究显示,AI并不擅长辨别“新闻事实来自哪里”,会出现混淆信息来源、提供失效链接等问题。更令人担忧的是,随着模型规模的扩大,某些类型的幻觉问题不仅没有改善,反而呈现加剧趋势。

  多位业内专家认为,AI幻觉问题在现有技术框架下难以彻底解决。思谋科技联合创始人刘枢表示,当前的大模型架构决定了其本质上是一个“黑箱”系统,优化结构等方式只能缓解模型幻觉问题,很难完全避免幻觉的产生。

  有受访者从认知科学的角度分析,当前的大模型处于“我不知道我知道什么”的状态,缺乏对自身知识边界的准确判断能力。这些技术特性决定了AI幻觉问题的存在,需通过多方面的技术改进来逐步缓解。

  警惕风险

  业界普遍认为,在AI幻觉短期内难以完全消除的背景下,其潜在风险已从信息领域蔓延至现实世界,可能带来较大风险。

  世界经济论坛《2025年全球风险报告》已将“错误和虚假信息”列为全球五大风险之一,其中AI生成的幻觉内容被视作关键诱因之一。

  AI幻觉最直接的危害是造成“信息污染”。在法律领域,美国纽约南区联邦法院在审理一起航空事故诉讼时发现,原告律师提交的法律文书中引用了ChatGPT生成的6个虚假判例,这些虚构案例包括完整的案件名称、案卷号及法官意见,甚至模仿了美国联邦最高法院的判例风格,其虚构能力干扰了司法程序。

  金融咨询领域,AI可能给出错误投资建议,如误读财报数据或虚构企业信息。

  更令人担忧的是,这些错误信息可能被其他AI系统吸收,形成“幻觉循环”——错误数据不断被强化,最终污染整个信息生态。

  随着AI技术向实体设备领域渗透,幻觉问题的影响已超越虚拟范畴,可能对人身安全构成威胁。在自动驾驶领域,生成式AI被用于实时路况分析和决策制定。业内人士表示,在复杂路况中,自动驾驶若产生“感知幻觉”,可能导致系统误判环境,触发错误决策,直接威胁行车安全。

  人形机器人领域风险更值得关注。优必选副总裁庞建新说:“当机器人因幻觉做出错误动作时,后果远超文本错误。”例如,护理机器人可能误解指令给患者错误用药,工业机器人可能误判操作参数造成生产事故。这些场景中,AI幻觉甚至可能威胁人身安全。

  协同治理

  对于AI幻觉问题带来的挑战,业内人士建议从技术创新、制度监管等多个维度构建综合治理体系。

  技术创新是解决AI幻觉问题的根本途径。近年来,业界已提出多种技术方案来应对这一挑战。刘枢等介绍,检索增强生成(Retrieval-augmented Generation,RAG)技术融合了检索与生成模型优势,是当前重要的发展方向之一。其通过将大模型与权威知识库实时对接,能显著提升生成内容准确性。

  全国政协委员、360集团创始人周鸿祎提出“以模制模”,构建专业知识库,实施合理的矫正机制,构建更完善的安全防护体系,降低“幻觉”带来的负面影响。例如,研发专用的安全大模型来监督知识库使用和智能体调用,并采用多模型交叉验证、搜索矫正等技术手段来识别和纠正幻觉。

  制度监管方面需要建立多层次的治理体系。云天励飞品牌运营中心总经理胡思幸认为,要完善监管治理,研究AI生成内容“数字水印+风险提示”双重标识,为AI生成内容提供有效的溯源和警示机制。针对日益突出的AI造谣问题,法律界人士建议,要持续完善相关规定,明确利用AI造谣的法律责任,加大对违法行为的惩处力度。

  治理体系之外,当前阶段,在用户使用AI开展工作时,亦需要建立对AI能力的理性认知,了解其局限性。培养多渠道验证信息的习惯,优先选择权威、可信赖的媒体或机构作为信息来源,这些基本素养的提升将有效降低AI幻觉的社会影响。同时,在与AI系统交互时应保持必要的怀疑态度和批判思维,多渠道核查验证信息的准确性。

外交部:将本着科学原则研究日方关于恢复水产品输华请求
外交部:坚决反对美国向中国台湾地区出售武器
测试视频
综合看点 查看更多>>
美伊远程签署谅解备忘录,60天谈判窗口期开启
中方敦促也门冲突方重启和平进程
美官员:美伊协议已电子签署 19日将正式签署
日本拟改编航空自卫队 “安保”范围扩至宇宙
频繁战事下以色列战时动员体系承受高压
纵横天下 查看更多>>
乌克兰首都基辅遭空袭 多次传出爆炸声
伊朗武装部队称以军仍继续屠杀黎巴嫩民众
七国集团峰会在抗议声中开幕
美伊确认达成协议 19日在瑞士正式签署
为全球人权治理贡献中国力量
卢浮宫馆长称该博物馆已“不堪重负”
俄军舰在英吉利海峡遭一游艇逼近 开火示警
韩国最大在野党支持率反超执政党
英国举行皇家阅兵式庆祝国王官方生日
白宫计划再促防务巨头加速生产
以媒:在美施压下以色列将与叙利亚恢复谈判
美伊谅解备忘录14点内容披露 官方尚未证实
特朗普否认美国向伊朗支付资金
何时收回战时指挥权?韩国或在年底前“定目标”
联合国难民署:全球被迫流离失所者超过1.17亿
中国政府发布关于全球治理的白皮书
习近平同缅甸总统敏昂莱举行会谈
中华人民共和国和蒙古国外交部长会谈联合新闻公报
习近平总书记重要论述引领中国特色的向海图强之路
习近平出席金正恩举行的欢迎宴会
我国成功发射卫星互联网低轨22组卫星
我国夏粮小麦收获已近九成
南博架通途,中国与南亚共绘互利共赢新图景
外交部:日本自己摘下了所谓“和平国家”的面具
人民的选择:抗日民主根据地的建设之路
香港教育局公布《中小学数字教育发展蓝图》
以文化根脉涵养多元气象——访澳门特区政府社会文化司司长柯岚
厚植情谊 携手共创更美好未来——第十八届海峡论坛综述
国务院任命澳门特别行政区政府经济财政司司长
守护五年,香港机场保安犬只行动小组的成长之路
风沙渐远 生机绵长——“三北”工程攻坚一线观察
三江源:护万里清流 守中华水塔
落实《新城市议程》 中国推动城市可持续发展实践成果发布
“蓝色本草”能给百姓带来什么
北京城市副中心十年发展成效观察
最高法发布4件依法惩治渎职犯罪典型案例
国务院举行宪法宣誓仪式 李强总理监誓
最高法发布典型案例惩治利用无人机非法狩猎
国家版权局等四部门启动 “剑网2026”专项行动
美国法官裁定将特朗普名字从肯尼迪中心移除
“三农”记者的三夏日记丨藏在麦田里的新“种子”
河润良田千畴绿 初夏乡野尽风光
现代化农机装备驰骋“北大仓”
贺兰山下枸杞红 头茬采摘迎丰收
千亩蓝莓铺就增收“甜蜜路”
国家卫生健康委关于修改和废止部分部门规章的决定(附解读)
发现甲状腺结节该怎么办?中医教您整体调理,改善结节状况
从中年“一身病”到74岁无“三高”,他坚持了这3件事!
国家卫生健康委就介绍“食品安全与营养健康 ”有关情况举行新闻发布会(文字实录)
国务院关于推行常住地提供基本公共服务的实施意见
前沿科技 查看更多>>
人工智能全面赋能电商大促
算力普惠浪潮奔涌 赋能产业民生双升级
内蒙古和林格尔新区:算力驱动新发展
打通AI赋能实体经济“最后一公里”
工信部、国资委启动2026年度人形机器人与具身智能实景实训专项行动
健康生活 查看更多>>
高铁为何“日出而作,日落而息”
防范词元概念炒作风险
AI便携诊疗设备护航用电安全
为人工智能“喂饭”的数据工程师
工信部印发“人工智能+信息通信”创新发展实施意见
实用技术 查看更多>>
多部门推动新能源重卡应用 利好动力电池与氢能产业链
推动太空算力发展 重构先进制造业竞争力
探馆南博会:科技赋能服务升级
AI加速走向物理世界
开启人形机器人作业模式
科普博览 查看更多>>
中国正加紧筹建世界人工智能合作组织
产城融合牵引AI规模化应用
科技自立自强之院士说|傅向东——稻田里的基因“解码者”
人工智能加速从云端走向终端
两部门推动人工智能计量体系和能力建设
临泉面塑:百年技艺的传承与新生
广东揭阳:“天下美石 阳美成器”
希腊珍贵文物西安亮相
“汉语桥”比赛在多国举行 增进文化理解与民心相通
四件美洲文物亮相上海博物馆
北京师范大学:王牌新专业亮相 人工智能教育、碳中和等紧扣国家战略
中央财经大学:“中国财经管理专家的摇篮” 构建复合型财经人才培养新模式
吉林大学:八十年综合性办学积淀 打造AI时代复合型人才培养新范式
高等教育展吸引印尼学子“去中国上大学”
四川农业大学:优化招生专业组 多元培养赋能人才成长
世界杯小组赛:英格兰队战胜克罗地亚队
世界杯|梅西“帽子戏法” 阿根廷3:0击败阿尔及利亚
世界杯小组赛:沙特阿拉伯队战平乌拉圭队
世界杯小组赛:科特迪瓦队战胜厄瓜多尔队
美加墨世界杯墨西哥城揭幕 墨西哥队力克南非队
陕西汉中:龙舟竞渡迎端午
走进G7峰会举办地:法国湖畔小城埃维昂莱班
甘肃平凉:文旅康养消费体验点亮“夏日经济”
内蒙古:老工业区焕新颜
武夷山:守碧水丹山 建美好家园