關注全球時事|洞察國際風雲
2025-03-18 17:24 星期二

AI幻觉频现 风险挑战几何

时间:2025-08-19 10:04 来源:快讯社

  当前,人工智能技术快速发展,但大模型“自说自话”、一本正经“胡说八道”、生成偏离事实内容的问题日益凸显,这一现象被称为“AI幻觉”。不少业内人士提醒,由于大模型主要基于概率生成文本而非逻辑推理,在短期内难以完全避免此类问题。

  《瞭望》新闻周刊记者观察到,AI虚构事实或逻辑混乱的“幻觉”已在法律、内容创作、专业咨询等多个领域造成实际影响。

  AI技术的发展方兴未艾,但确保其生成内容的真实性和可靠性,尤其需要技术开发者、监管机构共同努力。针对“AI幻觉”问题,业界建议,在技术层面,要持续优化模型架构,增强事实核查能力;在监管层面,需完善相关规范,明确责任边界。

AI幻觉 AI辅助设计

  幻觉频现

  “AI幻觉”已经成为当前AI技术发展中最突出的技术瓶颈之一。从技术层面来看,AI幻觉的产生主要源于三个方面的原因:首先是训练数据的不足或偏差,导致模型对某些领域的认知存在缺陷;其次是算法架构的局限性,当前主流大模型主要基于概率预测而非逻辑推理;最后是训练目标的设定问题,模型往往更倾向于生成“流畅”而非“准确”的内容。

  “AI幻觉主要表现为事实性幻觉和逻辑性幻觉两种。”业内人士介绍,事实性幻觉,表现为模型会编造完全不存在的事实或信息。这种情况在专业领域尤为突出,如在法律咨询中虚构判例,在医疗诊断中给出错误结论,或杜撰历史事件。逻辑性幻觉,表现为模型在长文本生成或连续对话中出现前后矛盾、逻辑混乱的情况,这主要是因为当前大模型的注意力机制在处理复杂语境时存在局限性。

  多项研究证实了AI幻觉问题的严重性。今年3月,哥伦比亚大学数字新闻研究中心针对主流AI搜索工具进行的专项测试发现,这些工具在新闻引用方面的平均错误率达到60%。一些研究显示,AI并不擅长辨别“新闻事实来自哪里”,会出现混淆信息来源、提供失效链接等问题。更令人担忧的是,随着模型规模的扩大,某些类型的幻觉问题不仅没有改善,反而呈现加剧趋势。

  多位业内专家认为,AI幻觉问题在现有技术框架下难以彻底解决。思谋科技联合创始人刘枢表示,当前的大模型架构决定了其本质上是一个“黑箱”系统,优化结构等方式只能缓解模型幻觉问题,很难完全避免幻觉的产生。

  有受访者从认知科学的角度分析,当前的大模型处于“我不知道我知道什么”的状态,缺乏对自身知识边界的准确判断能力。这些技术特性决定了AI幻觉问题的存在,需通过多方面的技术改进来逐步缓解。

  警惕风险

  业界普遍认为,在AI幻觉短期内难以完全消除的背景下,其潜在风险已从信息领域蔓延至现实世界,可能带来较大风险。

  世界经济论坛《2025年全球风险报告》已将“错误和虚假信息”列为全球五大风险之一,其中AI生成的幻觉内容被视作关键诱因之一。

  AI幻觉最直接的危害是造成“信息污染”。在法律领域,美国纽约南区联邦法院在审理一起航空事故诉讼时发现,原告律师提交的法律文书中引用了ChatGPT生成的6个虚假判例,这些虚构案例包括完整的案件名称、案卷号及法官意见,甚至模仿了美国联邦最高法院的判例风格,其虚构能力干扰了司法程序。

  金融咨询领域,AI可能给出错误投资建议,如误读财报数据或虚构企业信息。

  更令人担忧的是,这些错误信息可能被其他AI系统吸收,形成“幻觉循环”——错误数据不断被强化,最终污染整个信息生态。

  随着AI技术向实体设备领域渗透,幻觉问题的影响已超越虚拟范畴,可能对人身安全构成威胁。在自动驾驶领域,生成式AI被用于实时路况分析和决策制定。业内人士表示,在复杂路况中,自动驾驶若产生“感知幻觉”,可能导致系统误判环境,触发错误决策,直接威胁行车安全。

  人形机器人领域风险更值得关注。优必选副总裁庞建新说:“当机器人因幻觉做出错误动作时,后果远超文本错误。”例如,护理机器人可能误解指令给患者错误用药,工业机器人可能误判操作参数造成生产事故。这些场景中,AI幻觉甚至可能威胁人身安全。

  协同治理

  对于AI幻觉问题带来的挑战,业内人士建议从技术创新、制度监管等多个维度构建综合治理体系。

  技术创新是解决AI幻觉问题的根本途径。近年来,业界已提出多种技术方案来应对这一挑战。刘枢等介绍,检索增强生成(Retrieval-augmented Generation,RAG)技术融合了检索与生成模型优势,是当前重要的发展方向之一。其通过将大模型与权威知识库实时对接,能显著提升生成内容准确性。

  全国政协委员、360集团创始人周鸿祎提出“以模制模”,构建专业知识库,实施合理的矫正机制,构建更完善的安全防护体系,降低“幻觉”带来的负面影响。例如,研发专用的安全大模型来监督知识库使用和智能体调用,并采用多模型交叉验证、搜索矫正等技术手段来识别和纠正幻觉。

  制度监管方面需要建立多层次的治理体系。云天励飞品牌运营中心总经理胡思幸认为,要完善监管治理,研究AI生成内容“数字水印+风险提示”双重标识,为AI生成内容提供有效的溯源和警示机制。针对日益突出的AI造谣问题,法律界人士建议,要持续完善相关规定,明确利用AI造谣的法律责任,加大对违法行为的惩处力度。

  治理体系之外,当前阶段,在用户使用AI开展工作时,亦需要建立对AI能力的理性认知,了解其局限性。培养多渠道验证信息的习惯,优先选择权威、可信赖的媒体或机构作为信息来源,这些基本素养的提升将有效降低AI幻觉的社会影响。同时,在与AI系统交互时应保持必要的怀疑态度和批判思维,多渠道核查验证信息的准确性。

外交部:将本着科学原则研究日方关于恢复水产品输华请求
外交部:坚决反对美国向中国台湾地区出售武器
测试视频
综合看点 查看更多>>
习近平同美国总统特朗普在釜山举行会晤
古巴纪念革命英雄卡米洛·西恩富戈斯遇难66周年
2025年世界城市日中国主场活动在重庆开幕
科特迪瓦总统选举初步计票结果显示瓦塔拉胜选
李成钢:中美就稳妥解决多项重要经贸议题形成初步共识
纵横天下 查看更多>>
巴基斯坦军方消息人士称同意恢复与阿富汗会谈
愿推动韩中互惠合作 打造两国民众切身可感的成果——访韩国总统李在明
日本民众连日抗议日美首脑会谈
中方敦促加强国际反恐合作
中美在马来西亚吉隆坡举行经贸磋商
俄外交部发言人:西方仍是虚假信息主要制造者
美政府“停摆”或致高达140亿美元经济损失
“停摆”之下 美国联邦食品救济将暂停
中朝共同举行中国人民志愿军抗美援朝出国作战75周年纪念活动
墨西哥:采收万寿菊 迎接亡灵节
以军再次空袭加沙 两日来致死上百人
荷兰议会众议院选举投票开始
俄外长:北约违背承诺 扩张“一刻也未停止”
喀麦隆现任总统比亚赢得连任
第47届东盟峰会及系列会议在马来西亚开幕
习近平主席韩国之行首日聚焦
神舟二十一号航天员乘组确定
王毅出席蓝厅论坛就落实全球治理倡议发表讲话
李强赴吉隆坡出席东亚合作领导人系列会议
中加关系研讨会在加拿大渥太华举办
中国速度,重新定义“距离”
习近平主席推动构建亚太命运共同体
中国以开放胸怀迎接中外文明交流热潮
中管企业、中管金融企业和中管高校干部职工以实干笃行贯彻落实全会精神
增强必胜信心 赢得战略主动——党的二十届四中全会锚定中国式现代化发展新目标
香港特区第八届立法会选举有序展开 再次彰显新选制优势
十五运会澳门赛区火炬传递路线公布
中国人民解放军驻香港部队组织联合巡逻
大格局·大机遇·大舞台——台胞台企积极展望“十五五”
两岸学者:两岸交流出现新态势,统一进程不可逆转
山东博兴:积极构建普惠托育服务体系
开拓智慧农业广阔空间
我国牵头制定的气候环境试验国际标准正式发布
中央财政农业生产防灾救灾资金4.84亿元下达
把就业当作民生头等大事来抓
今年前三季度全国法院先行调解案件数量增长明显
检察机关依法惩治侵犯公民个人信息犯罪维护网络清朗
首度“亮剑”!《广告法》精准打击AI伪造名人带货案
“一秒生成制服照”? AI岂能如此换装
人民法院40余年累计受理涉外海事案件8.8万件
26国代表齐聚山东潍坊 共话薯业高质量发展与全球粮食安全
陕西白水:苹果试验站铺就“致富路”
农业农村部组织开展小麦抗湿晚播培训月活动
加快农业数智化转型升级
科技赋能农业生产 把论文写在大地上——探访中国农大肇东实验站
华容县人民医院做了这几件事,留住县域内70%以上胃肠肿瘤患者
仅30万人口的巨鹿,县医院如何跻身全省县域肿瘤防治标杆的?
顶级专家齐聚北京!第十届国家癌症中心结直肠癌学术会议-县域培训专题会议成功举办
县域肿瘤防治中心专家赋能,守护 “安且吉兮” 之地
国家卫生健康委党组书记、主任雷海潮介绍6项重点部署工作
前沿科技 查看更多>>
什么样的科学家能上太空
全球指标领先的全离子加速器装置调试成功
我国科研人员实现“人造太阳”关键核心材料制备
硬气的种子,智慧的农具!杨凌农高会照见农业未来
算力赛道升温 上市公司加大基础设施投入
健康生活 查看更多>>
四中全会精神在基层 | 坐上无人驾驶eVTOL是啥感觉?
新“职”所向丨机器人的“教练员”
数字时代别落下银发一族
“二次号码”与“数字遗产”之困
智算中心规模跃阶式发展 投资规模持续扩大
实用技术 查看更多>>
2025马德里科技展开幕 聚焦数字未来
养老机器人如何加快“飞”入寻常百姓家
程鹏谈智能电动汽车“科技平权”
智能化成为机械行业升级新引擎
无人机“智慧巡检”打造低空经济新样本
科普博览 查看更多>>
前三季度我国软件业务 收入同比增长13%
中国科技馆推出系列老年科普活动
第八届进博会将展示461项新产品、新技术、新服务
“奋斗者”号回到三亚 载人深潜“双雄”在北极实现水下联合作业
加快建设自主可控的科学数据体系
镜头连中外 | 文心致远,延续中韩古城千年情缘
中国邮政发布《丙午年》特种邮票图稿
我国迄今发现时代最早的竹简在湖北展出
首届上海市民文化节妆造大赛收官
2025年“遇见中国”文化节在瑞士伯尔尼举行
2026年初中学考报名时间确定
教育部公布2025—2028学年面向中小学生的全国性竞赛活动名单
10年,这支大学志愿团队帮乡里娃发现美
海南莫斯科动力大学(筹)加紧建设
教育部发布10条措施,进一步加强中小学生心理健康工作
巴林亚青会:中国队游泳赛场收获4金
香港网球公开赛 | 张帅晋级女单次轮
公投获多数居民支持 慕尼黑距离再度举办夏奥会还有多远?
障碍跑世锦赛100米项目再现“兄弟对决”
拜仁喜迎12连胜 利物浦止住颓势
新时代中国调研行之文化中华|宁夏隆德:六盘山红色文旅提质升级促发展
华服“舞动”中原 激活文旅融合新动力
同程旅行与成都天府机场联合举办“与天府·遇世界”全球航旅嘉年华活动
福建首条第五航权客运航线开通
广东金林陨石坑为万年来世界最大规模小天体撞击形成