關注全球時事|洞察國際風雲
2025-03-18 17:24 星期二

AI幻觉频现 风险挑战几何

时间:2025-08-19 10:04 来源:快讯社

  当前,人工智能技术快速发展,但大模型“自说自话”、一本正经“胡说八道”、生成偏离事实内容的问题日益凸显,这一现象被称为“AI幻觉”。不少业内人士提醒,由于大模型主要基于概率生成文本而非逻辑推理,在短期内难以完全避免此类问题。

  《瞭望》新闻周刊记者观察到,AI虚构事实或逻辑混乱的“幻觉”已在法律、内容创作、专业咨询等多个领域造成实际影响。

  AI技术的发展方兴未艾,但确保其生成内容的真实性和可靠性,尤其需要技术开发者、监管机构共同努力。针对“AI幻觉”问题,业界建议,在技术层面,要持续优化模型架构,增强事实核查能力;在监管层面,需完善相关规范,明确责任边界。

AI幻觉 AI辅助设计

  幻觉频现

  “AI幻觉”已经成为当前AI技术发展中最突出的技术瓶颈之一。从技术层面来看,AI幻觉的产生主要源于三个方面的原因:首先是训练数据的不足或偏差,导致模型对某些领域的认知存在缺陷;其次是算法架构的局限性,当前主流大模型主要基于概率预测而非逻辑推理;最后是训练目标的设定问题,模型往往更倾向于生成“流畅”而非“准确”的内容。

  “AI幻觉主要表现为事实性幻觉和逻辑性幻觉两种。”业内人士介绍,事实性幻觉,表现为模型会编造完全不存在的事实或信息。这种情况在专业领域尤为突出,如在法律咨询中虚构判例,在医疗诊断中给出错误结论,或杜撰历史事件。逻辑性幻觉,表现为模型在长文本生成或连续对话中出现前后矛盾、逻辑混乱的情况,这主要是因为当前大模型的注意力机制在处理复杂语境时存在局限性。

  多项研究证实了AI幻觉问题的严重性。今年3月,哥伦比亚大学数字新闻研究中心针对主流AI搜索工具进行的专项测试发现,这些工具在新闻引用方面的平均错误率达到60%。一些研究显示,AI并不擅长辨别“新闻事实来自哪里”,会出现混淆信息来源、提供失效链接等问题。更令人担忧的是,随着模型规模的扩大,某些类型的幻觉问题不仅没有改善,反而呈现加剧趋势。

  多位业内专家认为,AI幻觉问题在现有技术框架下难以彻底解决。思谋科技联合创始人刘枢表示,当前的大模型架构决定了其本质上是一个“黑箱”系统,优化结构等方式只能缓解模型幻觉问题,很难完全避免幻觉的产生。

  有受访者从认知科学的角度分析,当前的大模型处于“我不知道我知道什么”的状态,缺乏对自身知识边界的准确判断能力。这些技术特性决定了AI幻觉问题的存在,需通过多方面的技术改进来逐步缓解。

  警惕风险

  业界普遍认为,在AI幻觉短期内难以完全消除的背景下,其潜在风险已从信息领域蔓延至现实世界,可能带来较大风险。

  世界经济论坛《2025年全球风险报告》已将“错误和虚假信息”列为全球五大风险之一,其中AI生成的幻觉内容被视作关键诱因之一。

  AI幻觉最直接的危害是造成“信息污染”。在法律领域,美国纽约南区联邦法院在审理一起航空事故诉讼时发现,原告律师提交的法律文书中引用了ChatGPT生成的6个虚假判例,这些虚构案例包括完整的案件名称、案卷号及法官意见,甚至模仿了美国联邦最高法院的判例风格,其虚构能力干扰了司法程序。

  金融咨询领域,AI可能给出错误投资建议,如误读财报数据或虚构企业信息。

  更令人担忧的是,这些错误信息可能被其他AI系统吸收,形成“幻觉循环”——错误数据不断被强化,最终污染整个信息生态。

  随着AI技术向实体设备领域渗透,幻觉问题的影响已超越虚拟范畴,可能对人身安全构成威胁。在自动驾驶领域,生成式AI被用于实时路况分析和决策制定。业内人士表示,在复杂路况中,自动驾驶若产生“感知幻觉”,可能导致系统误判环境,触发错误决策,直接威胁行车安全。

  人形机器人领域风险更值得关注。优必选副总裁庞建新说:“当机器人因幻觉做出错误动作时,后果远超文本错误。”例如,护理机器人可能误解指令给患者错误用药,工业机器人可能误判操作参数造成生产事故。这些场景中,AI幻觉甚至可能威胁人身安全。

  协同治理

  对于AI幻觉问题带来的挑战,业内人士建议从技术创新、制度监管等多个维度构建综合治理体系。

  技术创新是解决AI幻觉问题的根本途径。近年来,业界已提出多种技术方案来应对这一挑战。刘枢等介绍,检索增强生成(Retrieval-augmented Generation,RAG)技术融合了检索与生成模型优势,是当前重要的发展方向之一。其通过将大模型与权威知识库实时对接,能显著提升生成内容准确性。

  全国政协委员、360集团创始人周鸿祎提出“以模制模”,构建专业知识库,实施合理的矫正机制,构建更完善的安全防护体系,降低“幻觉”带来的负面影响。例如,研发专用的安全大模型来监督知识库使用和智能体调用,并采用多模型交叉验证、搜索矫正等技术手段来识别和纠正幻觉。

  制度监管方面需要建立多层次的治理体系。云天励飞品牌运营中心总经理胡思幸认为,要完善监管治理,研究AI生成内容“数字水印+风险提示”双重标识,为AI生成内容提供有效的溯源和警示机制。针对日益突出的AI造谣问题,法律界人士建议,要持续完善相关规定,明确利用AI造谣的法律责任,加大对违法行为的惩处力度。

  治理体系之外,当前阶段,在用户使用AI开展工作时,亦需要建立对AI能力的理性认知,了解其局限性。培养多渠道验证信息的习惯,优先选择权威、可信赖的媒体或机构作为信息来源,这些基本素养的提升将有效降低AI幻觉的社会影响。同时,在与AI系统交互时应保持必要的怀疑态度和批判思维,多渠道核查验证信息的准确性。

外交部:将本着科学原则研究日方关于恢复水产品输华请求
外交部:坚决反对美国向中国台湾地区出售武器
测试视频
综合看点 查看更多>>
利库德集团称以色列阿拉伯裔政党选举舞弊
美联储宣布维持利率不变
刚果(金)埃博拉病例过万 疫情有何焦点
纪念东京审判开庭80周年图片展在纽约联合国总部开展
武契奇承认前进党在塞尔维亚议会选举中败选
纵横天下 查看更多>>
欧盟多国承诺加快释放4260万桶储油以稳定市场
美媒:万斯致信伊朗安全高官试图重启谈判
沙土巴三国高官为何此时突访伊朗
中东战地手记丨橄榄成熟时,巴勒斯坦人坚守土地
以色列议会选举在即 以军在约旦河西岸大举行动
西班牙列车相撞事故死亡人数升至69人
日本自民党副总裁被曝政治资金丑闻
美方坐不住了?卡尼称加美贸易谈判“小幅回暖”
胜选后,卢拉将如何开启第四任期
埃里温观察:在世界遗产地感悟生物多样性保护的意义
加拿大发布20多年来首份国家安全战略
紧急救援中,一场猝不及防的列车相撞惨剧
出口民调:以议会两大阵营均未获过半数席位
美国中期选举将于11月3日举行
日本鹿儿岛县火山喷发 烟雾最高至1800米
中国共产党第二十届中央委员会第五次全体会议公报
中国搜救力量驰援肯尼亚 外国网友点赞“谢谢中国”
牦牛、青稞与镰刀——风雪长征的民族团结印记
中国裁军大使呼吁防止外空军备竞赛和武器化
北京雨燕的三万公里——在COP17中国角读懂候鸟保护的跨国属性
智能消费乘势而上
走近“国家的孩子”丨草原:从他乡到故土
沙海生绿 荒漠精灵重现腾格里沙漠东南缘
外交部:以冷战思维划分阵营不利于北极地区和平稳定发展
中国人民银行发行中国工农红军长征胜利90周年金银纪念币
文脉连两岸 匠心话传承——第十七届海峡两岸文博会启幕
外国驻港领团参访北部都会区 近距离感受北都发展新机遇
香港举办多项活动巩固国际绿色科技及金融枢纽地位
宣讲劳模精神 弘扬劳动价值——全国劳动模范和大国工匠在港交流分享
铭记光复历史 共盼统一梦圆——两岸同胞纪念台湾光复81周年
铁路12306上线新功能 买团体票更方便
西藏巴青:架设安置板房供电线路
台风“蔷琵”向我国靠近 中国气象局启动四级应急响应
熙攘国门“你来我往” 三季度1.92亿人次出入境
西藏山南萨热路跨江大桥全线合龙
推动新能源车险从“政策驱动”走向“法治定型”
全国人大常委会开展海南自由贸易港法执法检查 法治护航海南自由贸易港建设
公安部网安局发布拒不履行信息网络安全管理义务案例
最高人民法院发布《关于审理涉及刑事犯罪的民事纠纷案件若干问题的规定》
司法部:加快推进“AI+普法”建设
河南灵宝:苹果丰收采摘忙
湖南:秋粮收获金秋时
杨凌农高会:果园来了“新帮手” 能摘果 能巡园
“稻乡”黑龙江五常:一粒好米背后的丰收故事
黑龙江垦区推进秋整地 力保耕地“黑色越冬”
河南这三味药,凭什么“出圈”?
优质医疗服务来到家门口
桑拿天比暴晒天更易中暑:藿香正气水、退烧药、掐人中不管用,还会加重病情
“超慢跑”火了,不累还能“暴击”内脏脂肪!还没试过就亏大了
国家卫生健康委关于修改和废止部分部门规章的决定(附解读)
前沿科技 查看更多>>
真实场景“上岗”后 机器人还要过几关
我国再次刷新光通信传输领域世界纪录
民用遥感卫星年均增百颗
天文学家发现三颗“本不该存在”的行星
我国成功发射卫星互联网低轨28组卫星
健康生活 查看更多>>
60秒看国产新一代医用重离子加速器首台示范装置
与AI互动或加重初发精神病患者症状
我国首个智慧货运枢纽领域 国标发布
患者“不用额外付费” 北京“AI医疗产品”临床用量增多
AI赋能 基层医疗数字化提速
实用技术 查看更多>>
一个万卡智算集群构建“超级大脑”
中国科学家创制新的碳纳米带实现高效电子输运
新平台实现电化学反应精准计算机模拟
我国拟新增34家领航级智能工厂
前三季度新动能行业发展加快
科普博览 查看更多>>
坚持AI自主可控与开放合作并举
“蛟龙”号下潜的背后
DREAMS巡梦计划首批巡天数据向全球开放
“人造太阳”离我们有多远
八部门印发规划 推动综合交通枢纽融合发展
第十六届中国摄影艺术节开幕
2026年全国优秀青年杂技人才展演在京亮相
第18届上海国际摄影艺术展览开幕
中国陶瓷工艺出海马来西亚焕新姿
中国舞剧《大湖之灵》在墨西哥城上演
青岛实行“招生考试服务一件事”数字化改革 数据多跑路,考生少跑腿
事关孩子健康 4项新规11月起将正式实施
中国教育学话语传播体系构建推进会召开
2026基础教育创新大会在河南开封举行
神秘古人类丹尼索瓦人有了“形态标识”
绝处逢生 孙心然首进WTA巡回赛八强
2028年洛杉矶奥运会和残奥会口号公布:“群星共耀”
刷新四项亚洲纪录 短池全锦赛又迎突破之夜
这届网球“中国赛季”,凭啥“圈粉”又“吸金”
亚锦赛国乒4金收官 陈熠横扫张本美和女单夺冠
天津中河头村:红色资源赋能乡村振兴
秋日泸沽湖晨韵:云纱轻掩 山水如画
2026年前三季度国内居民出游人次53.07亿
内蒙古:层林铺锦色 秋韵满松山
山西平陆:万亩红叶层林尽染