關注全球時事|洞察國際風雲
2025-03-18 17:24 星期二

AI幻觉频现 风险挑战几何

时间:2025-08-19 10:04 来源:快讯社

  当前,人工智能技术快速发展,但大模型“自说自话”、一本正经“胡说八道”、生成偏离事实内容的问题日益凸显,这一现象被称为“AI幻觉”。不少业内人士提醒,由于大模型主要基于概率生成文本而非逻辑推理,在短期内难以完全避免此类问题。

  《瞭望》新闻周刊记者观察到,AI虚构事实或逻辑混乱的“幻觉”已在法律、内容创作、专业咨询等多个领域造成实际影响。

  AI技术的发展方兴未艾,但确保其生成内容的真实性和可靠性,尤其需要技术开发者、监管机构共同努力。针对“AI幻觉”问题,业界建议,在技术层面,要持续优化模型架构,增强事实核查能力;在监管层面,需完善相关规范,明确责任边界。

AI幻觉 AI辅助设计

  幻觉频现

  “AI幻觉”已经成为当前AI技术发展中最突出的技术瓶颈之一。从技术层面来看,AI幻觉的产生主要源于三个方面的原因:首先是训练数据的不足或偏差,导致模型对某些领域的认知存在缺陷;其次是算法架构的局限性,当前主流大模型主要基于概率预测而非逻辑推理;最后是训练目标的设定问题,模型往往更倾向于生成“流畅”而非“准确”的内容。

  “AI幻觉主要表现为事实性幻觉和逻辑性幻觉两种。”业内人士介绍,事实性幻觉,表现为模型会编造完全不存在的事实或信息。这种情况在专业领域尤为突出,如在法律咨询中虚构判例,在医疗诊断中给出错误结论,或杜撰历史事件。逻辑性幻觉,表现为模型在长文本生成或连续对话中出现前后矛盾、逻辑混乱的情况,这主要是因为当前大模型的注意力机制在处理复杂语境时存在局限性。

  多项研究证实了AI幻觉问题的严重性。今年3月,哥伦比亚大学数字新闻研究中心针对主流AI搜索工具进行的专项测试发现,这些工具在新闻引用方面的平均错误率达到60%。一些研究显示,AI并不擅长辨别“新闻事实来自哪里”,会出现混淆信息来源、提供失效链接等问题。更令人担忧的是,随着模型规模的扩大,某些类型的幻觉问题不仅没有改善,反而呈现加剧趋势。

  多位业内专家认为,AI幻觉问题在现有技术框架下难以彻底解决。思谋科技联合创始人刘枢表示,当前的大模型架构决定了其本质上是一个“黑箱”系统,优化结构等方式只能缓解模型幻觉问题,很难完全避免幻觉的产生。

  有受访者从认知科学的角度分析,当前的大模型处于“我不知道我知道什么”的状态,缺乏对自身知识边界的准确判断能力。这些技术特性决定了AI幻觉问题的存在,需通过多方面的技术改进来逐步缓解。

  警惕风险

  业界普遍认为,在AI幻觉短期内难以完全消除的背景下,其潜在风险已从信息领域蔓延至现实世界,可能带来较大风险。

  世界经济论坛《2025年全球风险报告》已将“错误和虚假信息”列为全球五大风险之一,其中AI生成的幻觉内容被视作关键诱因之一。

  AI幻觉最直接的危害是造成“信息污染”。在法律领域,美国纽约南区联邦法院在审理一起航空事故诉讼时发现,原告律师提交的法律文书中引用了ChatGPT生成的6个虚假判例,这些虚构案例包括完整的案件名称、案卷号及法官意见,甚至模仿了美国联邦最高法院的判例风格,其虚构能力干扰了司法程序。

  金融咨询领域,AI可能给出错误投资建议,如误读财报数据或虚构企业信息。

  更令人担忧的是,这些错误信息可能被其他AI系统吸收,形成“幻觉循环”——错误数据不断被强化,最终污染整个信息生态。

  随着AI技术向实体设备领域渗透,幻觉问题的影响已超越虚拟范畴,可能对人身安全构成威胁。在自动驾驶领域,生成式AI被用于实时路况分析和决策制定。业内人士表示,在复杂路况中,自动驾驶若产生“感知幻觉”,可能导致系统误判环境,触发错误决策,直接威胁行车安全。

  人形机器人领域风险更值得关注。优必选副总裁庞建新说:“当机器人因幻觉做出错误动作时,后果远超文本错误。”例如,护理机器人可能误解指令给患者错误用药,工业机器人可能误判操作参数造成生产事故。这些场景中,AI幻觉甚至可能威胁人身安全。

  协同治理

  对于AI幻觉问题带来的挑战,业内人士建议从技术创新、制度监管等多个维度构建综合治理体系。

  技术创新是解决AI幻觉问题的根本途径。近年来,业界已提出多种技术方案来应对这一挑战。刘枢等介绍,检索增强生成(Retrieval-augmented Generation,RAG)技术融合了检索与生成模型优势,是当前重要的发展方向之一。其通过将大模型与权威知识库实时对接,能显著提升生成内容准确性。

  全国政协委员、360集团创始人周鸿祎提出“以模制模”,构建专业知识库,实施合理的矫正机制,构建更完善的安全防护体系,降低“幻觉”带来的负面影响。例如,研发专用的安全大模型来监督知识库使用和智能体调用,并采用多模型交叉验证、搜索矫正等技术手段来识别和纠正幻觉。

  制度监管方面需要建立多层次的治理体系。云天励飞品牌运营中心总经理胡思幸认为,要完善监管治理,研究AI生成内容“数字水印+风险提示”双重标识,为AI生成内容提供有效的溯源和警示机制。针对日益突出的AI造谣问题,法律界人士建议,要持续完善相关规定,明确利用AI造谣的法律责任,加大对违法行为的惩处力度。

  治理体系之外,当前阶段,在用户使用AI开展工作时,亦需要建立对AI能力的理性认知,了解其局限性。培养多渠道验证信息的习惯,优先选择权威、可信赖的媒体或机构作为信息来源,这些基本素养的提升将有效降低AI幻觉的社会影响。同时,在与AI系统交互时应保持必要的怀疑态度和批判思维,多渠道核查验证信息的准确性。

外交部:将本着科学原则研究日方关于恢复水产品输华请求
外交部:坚决反对美国向中国台湾地区出售武器
测试视频
综合看点 查看更多>>
“清华火神队”为何能斩获机器人足球赛世界冠军?
首都“争夺战” 共和党主政多州将向华盛顿派国民警卫队
全球首个人形机器人运动会开幕
美“金穹”系统细节曝光 资金技术难题不少
调兵“夺回”首都 特朗普为何这样做
纵横天下 查看更多>>
美乌欧白宫系列会晤:泽连斯基放软身段,美欧分歧凸显
佩通坦呼吁恢复其总理职务 本人或亲自出庭作证
俄美总统会晤即将在安克雷奇举行
特朗普:俄若不同意停火将面临“非常严重后果”
对于“普特会”,欧洲尽显焦虑与无力
南共体国家强调团结合作共同应对贸易挑战
印度尼西亚庆祝独立80周年
联合国报告显示全球冲突地区的性暴力事件显著增长
威胁“重施制裁” 英法德致函联合国催伊朗恢复核谈判
缅甸勃固省的大象营地
第三届俄罗斯-中国互利合作“萌芽”论坛开幕
约旦联合多国向加沙空投物资
英国首相斯塔默会见乌克兰总统泽连斯基
为何西方“承认潮”难阻以色列一意孤行
普京与金正恩通电话
王毅同印度外长苏杰生会谈
前沿赛道竞相破土 未来产业拔节生长
澜沧江-湄公河合作第十次外长会在云南举行
我国科学家将锂电池能量密度和续航能力提高了2-3倍
中国代表驳斥美方在巴拿马运河问题上对中国无理指责
我国将全面推行医保按病种付费改革
国台办发言人就赖清德散播错误二战史观答记者问
世界机器人大会售出机器人及相关产品超2亿元
7月快递发展指数同比提升5.2% 以旧换新政策为市场带来增量
我国首次完成载人月球探测任务揽月月面着陆器着陆起飞综合验证试验
香港保险密度亚洲第一
世界华人书画艺术大展在港开幕
澳门将举办纪念抗战胜利80周年主题展览
香港2025年年中人口较去年中维持不变
香港故宫文化博物馆将举办全运会主题击剑表演赛
筑牢智能体发展安全根基
产业深观察|中国创新药:从基础研究到临床应用 不断增强的全球竞争力
夏季空调这样用,省电还省心!
“购在中国”激活消费新引擎
“千年本草”中药新质生产力行动在京启动
最高法发布人民法院依法严惩医保骗保犯罪典型案例
护工骑手受伤谁买单 劳务关系赔偿有规则
公安部印发实施《关于依法打击知识产权犯罪服务高质量发展的意见》
美最高法院为特朗普拆解教育部开绿灯
2024年吉林法院依法惩处毒品犯罪分子478人
道地药材连起“生态美”与“百姓富” 中药材乡村振兴示范行动走进隆回
一颗老汉瓜里的新疆故事:从 “带不出新疆” 到 “香飘千万家”
宁夏银川:“农光互补”助力绿色发展
一产“焕新”:黑土地上 田间满满硬科技
山东枣庄:甜蜜水果赋能乡村振兴
玉皇大帝与王母娘娘是何关系
你不知道的真相
中国古代十大“情书”
榜下捉婿的由来
“一日三餐”的来历
前沿科技 查看更多>>
中国空间站舱外航天服B累计保障20次出舱任务 实现“4年20次”延寿目标
首个人形机器人“百米飞人”诞生
农机装备产业加速升级 企业抢滩高端智能市场
“智”造科技生活 共享美好未来
走近全球首台兆瓦级漂浮式波浪能发电装置 海浪变身“移动充电宝”
健康生活 查看更多>>
人形机器人:从“跑起来”到“用得上”还要多久?
国家数据局:今年将推出数据产权等10余项制度
促进机器人产业实现更多创新突破
在世界机器人大会上,我解锁了47号智能助手2.0
AI眼镜,可以戴上的“随身视界”
实用技术 查看更多>>
在“冰丝带”见证机器人“超越自我”
能拆会跳!安徽自研机器人斩获金银奖牌
参赛之前先去打个卡 机器人“爱宝”探店北京麦麦岛
浙大四足机器人打破百米冲刺吉尼斯世界纪录
人形机器人:从“跑起来”到“用得上”还要多久?
科普博览 查看更多>>
AI幻觉频现 风险挑战几何
我国成功发射试验二十八号B星02星
先睹为快!首届世界人形机器人运动会在京开幕
我国成功发射卫星互联网低轨08组卫星
智能机器人的八大应用场景
中华文明瑰宝 民族交融画卷——布达拉宫保护见证文化传承之路
重庆:川江航运文化园开园
从文化传承到友谊桥梁——一所马达加斯加侨校的历史变迁
博物馆不眠夜:上博古埃及文明大展开启168小时嘉年华
北京:“古都之脊”绽新彩 老城发展添活力
暑期托管:从单纯“看护”走向“托育结合”
职场转向,年轻人如何“稳稳落地”
AI时代,当少年与诗词相遇——从“词穷”到“开口皆诗词,出口即成章”
多所高校宣布延长研究生学制
高等教育择校新风向:考生为何青睐广东新设大学?
篮球名宿陈道宏:中国男篮的表现让我们感觉像“过节”
成都世运会丨第12届世界运动会在成都圆满闭幕
男篮亚洲杯:中国男篮时隔十年再进四强
这个英国人发明的体育项目,非洲兄弟竟然这么强?
从边缘球员到女篮国手,罗欣棫的进阶之路
内蒙古:在山水田园中邂逅诗与远方
让国企焕发“数字生命力”——张家界市人民政府游客中心“双线联动”改革实践
从生态“含绿量”看见县域发展“含金量”
创新消费场景 千年古城焕新生
《四库全书》里的鄱阳