關注全球時事|洞察國際風雲
2025-03-18 17:24 星期二

AI幻觉频现 风险挑战几何

时间:2025-08-19 10:04 来源:快讯社

  当前,人工智能技术快速发展,但大模型“自说自话”、一本正经“胡说八道”、生成偏离事实内容的问题日益凸显,这一现象被称为“AI幻觉”。不少业内人士提醒,由于大模型主要基于概率生成文本而非逻辑推理,在短期内难以完全避免此类问题。

  《瞭望》新闻周刊记者观察到,AI虚构事实或逻辑混乱的“幻觉”已在法律、内容创作、专业咨询等多个领域造成实际影响。

  AI技术的发展方兴未艾,但确保其生成内容的真实性和可靠性,尤其需要技术开发者、监管机构共同努力。针对“AI幻觉”问题,业界建议,在技术层面,要持续优化模型架构,增强事实核查能力;在监管层面,需完善相关规范,明确责任边界。

AI幻觉 AI辅助设计

  幻觉频现

  “AI幻觉”已经成为当前AI技术发展中最突出的技术瓶颈之一。从技术层面来看,AI幻觉的产生主要源于三个方面的原因:首先是训练数据的不足或偏差,导致模型对某些领域的认知存在缺陷;其次是算法架构的局限性,当前主流大模型主要基于概率预测而非逻辑推理;最后是训练目标的设定问题,模型往往更倾向于生成“流畅”而非“准确”的内容。

  “AI幻觉主要表现为事实性幻觉和逻辑性幻觉两种。”业内人士介绍,事实性幻觉,表现为模型会编造完全不存在的事实或信息。这种情况在专业领域尤为突出,如在法律咨询中虚构判例,在医疗诊断中给出错误结论,或杜撰历史事件。逻辑性幻觉,表现为模型在长文本生成或连续对话中出现前后矛盾、逻辑混乱的情况,这主要是因为当前大模型的注意力机制在处理复杂语境时存在局限性。

  多项研究证实了AI幻觉问题的严重性。今年3月,哥伦比亚大学数字新闻研究中心针对主流AI搜索工具进行的专项测试发现,这些工具在新闻引用方面的平均错误率达到60%。一些研究显示,AI并不擅长辨别“新闻事实来自哪里”,会出现混淆信息来源、提供失效链接等问题。更令人担忧的是,随着模型规模的扩大,某些类型的幻觉问题不仅没有改善,反而呈现加剧趋势。

  多位业内专家认为,AI幻觉问题在现有技术框架下难以彻底解决。思谋科技联合创始人刘枢表示,当前的大模型架构决定了其本质上是一个“黑箱”系统,优化结构等方式只能缓解模型幻觉问题,很难完全避免幻觉的产生。

  有受访者从认知科学的角度分析,当前的大模型处于“我不知道我知道什么”的状态,缺乏对自身知识边界的准确判断能力。这些技术特性决定了AI幻觉问题的存在,需通过多方面的技术改进来逐步缓解。

  警惕风险

  业界普遍认为,在AI幻觉短期内难以完全消除的背景下,其潜在风险已从信息领域蔓延至现实世界,可能带来较大风险。

  世界经济论坛《2025年全球风险报告》已将“错误和虚假信息”列为全球五大风险之一,其中AI生成的幻觉内容被视作关键诱因之一。

  AI幻觉最直接的危害是造成“信息污染”。在法律领域,美国纽约南区联邦法院在审理一起航空事故诉讼时发现,原告律师提交的法律文书中引用了ChatGPT生成的6个虚假判例,这些虚构案例包括完整的案件名称、案卷号及法官意见,甚至模仿了美国联邦最高法院的判例风格,其虚构能力干扰了司法程序。

  金融咨询领域,AI可能给出错误投资建议,如误读财报数据或虚构企业信息。

  更令人担忧的是,这些错误信息可能被其他AI系统吸收,形成“幻觉循环”——错误数据不断被强化,最终污染整个信息生态。

  随着AI技术向实体设备领域渗透,幻觉问题的影响已超越虚拟范畴,可能对人身安全构成威胁。在自动驾驶领域,生成式AI被用于实时路况分析和决策制定。业内人士表示,在复杂路况中,自动驾驶若产生“感知幻觉”,可能导致系统误判环境,触发错误决策,直接威胁行车安全。

  人形机器人领域风险更值得关注。优必选副总裁庞建新说:“当机器人因幻觉做出错误动作时,后果远超文本错误。”例如,护理机器人可能误解指令给患者错误用药,工业机器人可能误判操作参数造成生产事故。这些场景中,AI幻觉甚至可能威胁人身安全。

  协同治理

  对于AI幻觉问题带来的挑战,业内人士建议从技术创新、制度监管等多个维度构建综合治理体系。

  技术创新是解决AI幻觉问题的根本途径。近年来,业界已提出多种技术方案来应对这一挑战。刘枢等介绍,检索增强生成(Retrieval-augmented Generation,RAG)技术融合了检索与生成模型优势,是当前重要的发展方向之一。其通过将大模型与权威知识库实时对接,能显著提升生成内容准确性。

  全国政协委员、360集团创始人周鸿祎提出“以模制模”,构建专业知识库,实施合理的矫正机制,构建更完善的安全防护体系,降低“幻觉”带来的负面影响。例如,研发专用的安全大模型来监督知识库使用和智能体调用,并采用多模型交叉验证、搜索矫正等技术手段来识别和纠正幻觉。

  制度监管方面需要建立多层次的治理体系。云天励飞品牌运营中心总经理胡思幸认为,要完善监管治理,研究AI生成内容“数字水印+风险提示”双重标识,为AI生成内容提供有效的溯源和警示机制。针对日益突出的AI造谣问题,法律界人士建议,要持续完善相关规定,明确利用AI造谣的法律责任,加大对违法行为的惩处力度。

  治理体系之外,当前阶段,在用户使用AI开展工作时,亦需要建立对AI能力的理性认知,了解其局限性。培养多渠道验证信息的习惯,优先选择权威、可信赖的媒体或机构作为信息来源,这些基本素养的提升将有效降低AI幻觉的社会影响。同时,在与AI系统交互时应保持必要的怀疑态度和批判思维,多渠道核查验证信息的准确性。

外交部:将本着科学原则研究日方关于恢复水产品输华请求
外交部:坚决反对美国向中国台湾地区出售武器
测试视频
综合看点 查看更多>>
特朗普政府想知道宣布“获胜”后伊朗如何反应
记者观察:白宫记协晚宴枪击凸显美国治理无力
白宫:特朗普及其国安团队开会讨论伊朗新提案
大使任命风波发酵 英首相坚称不辞职
激战顿巴斯,俄军有新突破?
纵横天下 查看更多>>
十载同心筑发展之路 南南携手创可持续未来
马里过渡总统:局势得到控制 继续清剿袭击者
白宫记协晚宴枪手被控试图刺杀特朗普
以色列两名前总理联组新政党 寻求击败内塔尼亚胡
特朗普再称“不着急”“没压力” 想同伊朗达成“永久协议”
斯塔默又渡一“劫” 工党前景如何
维也纳“全球治理之友小组”正式启动
第23届东博会展览总面积约17万平方米
日本岩手县山火过火面积超200公顷
欧盟委员会公布“加速欧盟”方案应对能源危机
美联储今年连续第三次宣布维持利率不变
战事60天,美伊“不战不谈”还要多久
联合国秘书长敦促开放霍尔木兹海峡
白宫记协晚宴突发枪击 特朗普紧急撤离始末
“特高课”又要重现?——起底日本“新战前情报体系”
从中央政治局会议看当前经济工作
深入学习领会总书记对服务业发展的指引
与祖国共进、与时代同行:迈向世界一流大学新高度
教科文组织官员:中国是世界地质公园网络中的重量级国家
绿润丝路 沙海生金——全球荒漠化治理的中国智慧
我国首款正向设计自转旋翼机完成首飞
全球最大汽车运输船交付 “中国制造”高端船舶实现新突破
大庆油田川渝探区天然气累计销量突破50亿立方米
国家防总通报2026年全国防汛抗旱责任人名单
大渡河老鹰岩二级水电站实现大江截流
港澳台简讯:“粤车南下”累计预约出行数目超3500辆次
香港黄埔精神爱国公民教育基地揭牌
对标“十五五”规划 香港航运业聚力高端服务转型
2026宁波文旅(香港)推介会举行
澳门特区行政长官:积极推动中葡平台功能向西语国家延伸
“海上粮仓” ——福建宁德大黄鱼鱼苗陆续投放
一座中国村庄的“气候民生”
一座中国生态新城的“气候治理”
今年第二批“国补”资金下达 消费品以旧换新今年的销售额超过4332亿元
智驾开始普及,车险“水土不服”问题咋解决?
泰国司法部:他信获准于5月11日假释出狱
农业法大修四大看点
写在“法治浙江”建设20年之际
最高法:对虚假诉讼恶意诉讼等坚决说“不”
香港举办国安法律论坛 增强各界维护国家安全意识
移轴视角看哈尼梯田春耕图
甘肃静宁:苹果花开农事忙
来寿光菜博会看未来无人农场
福建连江:早稻插秧正当时
浙江慈溪:首批大棚杨梅开摘上市
这场交流会,为县域肿瘤MDT培训打开新路径
2026年度中国青年五四奖章揭晓!
中央纪委国家监委公开通报八起违反中央八项规定精神典型问题
关于印发尼帕病毒病诊疗方案(2026年版)的通知
024年中国恶性肿瘤流行情况发布
前沿科技 查看更多>>
打破三大技术壁垒,助低空经济“飞”得更稳
从“六小龙”到“五小凤”:同一根藤上,又一串果
坚持自主可控,自动驾驶方能行稳致远
6G技术加速走向“应用场”
迄今规模最大“虚拟宇宙”构建成功
健康生活 查看更多>>
智能体走入日常 算力底座持续夯实
直击脑机接口技术“痛点”,前沿探索正多路并进
脑机接口风头正劲,但别忽视“辅助”二字
AI与科学仪器融合已到关键节点
国家知识产权局:完善新兴领域知识产权保护制度
实用技术 查看更多>>
“AI集市”亮相数字中国建设峰会
AI赋能科学研究由“单兵作战”迈向“集团冲锋”
太空金属3D打印技术在轨完成演示验证
具身智能特种机器人构筑高危作业“安全结界”
市场监管总局开展CCC认证守底线专项行动
科普博览 查看更多>>
“科技+文旅”解锁“五一”出行新玩法
两部门联合启动2026年“模数共振”行动
智能眼镜从尝鲜到常用有多远
机器人“投身”家庭保洁 具身智能迈向家庭“终极考场”
奋楫问天路,逐梦探苍穹
从长白山到贺兰山,它们为何入选新一年度全国十大考古新发现
乌兹别克斯坦希瓦举办国际舞蹈节
中国传统文化方阵亮相多哥独立日庆典
斯里兰卡举行太极拳推广活动
经典话剧《四世同堂》在墨尔本引发观剧热潮
《普通高等学校本科专业目录(2026年)》发布
教育部“信息技术支撑学生综合素质评价”试点成果现场会与工作促进会在苏州举办
段慧玲、初晓波,任北京大学副校长
青春,那是属于阅读的“黄金时代”
这堂“冠军思政课”彰显拼搏的力量
羽毛球进入“15分制”时代:一场关乎节奏、健康与商业的变革
全天综合:四海宾朋相聚三亚 中国健儿圆梦首金
英超球队切尔西解雇罗塞尼尔:执教106天下课
2026女篮世界杯分组揭晓:中美女篮同处D组
波士顿马拉松:肯尼亚选手包揽男女组冠军 双双实现卫冕
一季度我国海洋旅游业繁荣开局
铁路“五一”假期运输启动
长沙:白天不懂夜的嗨
“熊猫专列·锦绣天府号”在蓉首发
“如意甘肃·山水共鸣”文旅宣传活动启动