商学院观察

刘劲 段磊 鄢然/文

近一些年来，AI大模型所呈现出的的发展态势具备着革命性，这种发展态势带来了在许许多多个方面达成以至跨越人类智能水准的能力，于此情形之中，像是GPT又或者DeepSeek这类大模型更是在极短时间快速聚集了不计其数的个体用户（此处“不计其数”替换“众多”，使表达变复杂）。

但最近，美国麻省理工有一项研究，此研究发现，在企业管理以及运营层面，真正能够成功利用AI的企业极其稀少，超过95%的企业在AI的试点运用当中失败了。在与中国企业进行沟通时，我们发现情况也是非常相似的。

为何企业运用 AI 大模型会这般困难呢？那是由于企业一方面得借助大模型所带来的能力与效率，另一方面还得把控它的应用成本以及给企业造成的风险。本文将成本问题予以忽略，而是聚焦于大模型的风险，因为这属于主要矛盾。

AI风险的微观面

AI的风险涵盖宏观风险与微观风险，前者关联技术安全、社会伦理直至人类未来生存等众多维度，像算法偏见使得社会不平等加剧，AGI未来取代人类工作致使大范围失业问题出现，甚至科幻电影常热衷描绘的超级智能AI“觉醒”后失控，将人类视作威胁，引发末日劫难，这种宏观风险需社会与国家借助制度及监管予以解决，我们暂且不探讨，。

本文着重关注微观风险，也就是企业于部署以及应用大模型进程里遭遇的那些具体且紧迫的问题，这些问题涵盖业务效果欠佳、客户体验变差、品牌声誉遭受损害、数据安全存在威胁、知识产权被侵蚀、法律合规出现问题等风险，这种种微观风险能够归纳为四个方面 。

大模型存在幻觉问题，这是首先要提及的，也就是它所生成的东西，看似逻辑连贯顺畅，然而实际上却是错的、是虚构而出的，或者是不符合指令给出的要求的。在训练数据覆盖并不充分的时候，在输入的信息比较模糊的状况下，又或者是在需要最新知识这类情境里，大模型是格外容易产生幻觉的。不过呢，这些情境仅仅只是诱因罢了，更为根本的原因是在于其核心工作机制所具备的固有特性。

大模型从本质上来说，是统计模型，并非知识库，其核心机制是基于统计的模式匹配，这是一个复杂的“自动补全”过程，比如说，当用户输入“下班回家路上，我去超市买了一瓶”的时候，模型会依据统计规律输出“水”或者“饮料”，原因在于这在数据里远比“书”更为常见，这种设计使得它仅仅追求统计意义上的“合理”，却没办法自主去追求或者验证内容的真实性。

由于幻觉乃是大模型核心机制直接生成之后果，故而在当下阶段的技术范式情形下，不管怎样去尝试变动模型的架构结构，亦或是优化输入的数据情形，又或者是调整提示词，幻觉这一问题都不能够被彻底消除。所以，幻觉对于在企业运营里精度要求较高的场景而言，是一项巨大的挑战，并且还是大模型在企业级应用当中最为关键的风险之一 。

其次存在输出安全与价值对齐方面的挑战，大模型海量预训练数据主要源自互联网，模型在学习海量知识之际，吸收了数据里或许存在的偏见、歧视性言论或者有害信息，在与客户或公众交互之时，模型可能生成不当、冒犯性或者与企业价值观相违背的内容，这种“言论失当”会直接损害企业的品牌声誉以及公众信任。

另一方面，大模型存在被恶意用户诱导的可能性，大模型可能被恶意用户利用，大模型会生成虚假信息，大模型会生成仇恨言论，大模型会生成违法内容，大模型会生成其他有害文本，这会让企业平台酿成不良内容的滋生之地，这还可能引发监管方面的问题。

三是有关隐私以及数据合规方面存在的风险，当员工去使用公开的第三方大模型服务时，输入进去的任何信息，像会议纪要，或者财务数据，又或者是技术代码，再或者公司战略，都有可能在用户协议的默认条款情形下，被服务商进行收集，紧接着呢被存储起来，并且还会被用于其模型后续的训练，这就等于是把企业的内部敏感数据拱手交予别人占有。

进一步而言，大模型于训练进程里存在着这样一种可能性，即会“记住”训练数据当中具备特定性的信息片段。在后续所开展的交互期间，于无意之中或者是受到恶意提示词予以引导的状况下，模型有着复现其“记住”的诸如个人身份这类敏感信息的可能性，还包括医疗记录等，从而致使企业或者客户的隐私出现泄露 .

最后存在着可解释性方面的挑战，大模型的决策过程在很大程度上呈现为一个“黑箱”状态，它没办法给出一个能让人类理解的清晰归因以及解释，其根源源于大模型的极端复杂性，输入的信息会先被编码成计算机能够处理的高维向量，这些向量处于由万亿级参数构成的深层神经网络里，经过大量的矩阵运算以及非线性变换从而得到输出，很难从其中反推出一条能让人类理解的清晰决策路径用以回答“为什么是这个结果” 。

对于高风险、高合规的领域而言，这构成了严峻挑战。像是金融风控、医疗诊断这类需要严格实行审计与问责的场景下面，要是有一个决策没办法解释其背后的逻辑，不管结果怎样精准，都会因为合规性和可靠性存在疑问，从而变成一颗让人无法真正信任且部署的“定时炸弹”，无法被运用。

应对风险的两个方向

面临那些风险，企业能够经由两个方向来付诸努力：其一，大模型开发者能够从技术起始点改进模型自身所具备性能，削减幻觉情况、达成价值相符，保障隐私安全，提升可解释性。其二，大模型运用企业展开应用层面治理，借助提示词工程、检索增强生成（RAG）、内容过滤器、可解释性AI（XAI）等等工具与方法，以及严谨管理手段和秩序，自主把危险管控在可接纳层面范围之内。

当前，市面上的大模型均处于迅疾的迭代进程之中。谈及幻觉问题，模型推行能力的持续增进、借由强化学习驯练模型于直面不确定性之际主动坦承其知识界限等举措，皆有益于缓和这一问题。

OpenAI新近发布的GPT-5，其具有的深度推理模型，同前代o3比较，幻觉率已然大幅度降低了65%。

若针对输出安全方面的问题来讲，更为精细的指令微调举措，一种被称作InstructionTuning的手段，以及人类反馈强化学习，也就是RLHF这样的技术，能够更佳地引导模型去遵循人类所设定的规范，还有价值观，进而减少有害内容的产生制造了 。

开发者正针对模型数据潜在的隐私泄露问题，结合差分隐私（DifferentialPrivacy）技术，在训练数据中加入“噪声”，以此来保护个体信息。

在可解释性这个领域当中，以DeepSeekR1作为代表的引导模型，通过以思维链来展示它的推理过程，此种做法，是提升决策透明度这个方面取得的重要进展，Anthropic等公司所研究的“机制可解释性”这些方法，当前正在尝试从底层去“看透”AI的内部工作机理，进而理解其决策的根本原理。

需要留意的是，因大模型底层技术原理存在限制，诸如基于概率预测的统计特性，深度神经网络的黑箱本质，以及海量非结构化数据训练的复杂性，这些风险也许始终没办法被完全消除，大模型应用企业要长期关注，在部署以及应用的时候开展优化工作，进一步降低其风险，。

处在大模型应用的企业这个层面，企业所拥有的整体思路能够是怎么样呢，那便是把大模型，或者是由大模型驱动的AI智能体也就是AIAgent，去想象成为一位刚刚入职的数字化员工 。这位与众不同的 AI 员工，或许会如同那般迫不及待想展现自己的实习生一样，在处于知识盲区之际，煞有介事地去编造信息，也就是所谓的幻觉问题；会好似缺乏经验的新人一般，在不经意间就说出具有冒犯性或者不合规的言论，此乃输出安全性问题；又如保密意识淡薄的助理一样，无意间就将公司机密给泄露出去，这便是隐私合规问题；甚至仿佛具备良好商业直觉的高管，然而其决策逻辑却让人难以明白，这就是可解释性问题。AI 所能犯下的错误，人类均有过先例。企业能够把管理员工的那些丰富经验应用到对 AI 的管理上来。

针对防范幻觉也就是虚假信息这一问题，企业究竟是怎样去减少员工犯下这类错误的呢？一方面是要选对人，聘任那些具备真才实学、稳重且谨慎的员工，另一方面是经由组织以及流程，去减小又或者中和个人犯错的概率，所问问题是这样被解决的。

AI方面，我们能够挑选基础能力更为强大的大模型，这极易达成，大模型公司数量众多，然而做得最为出色的仅有几家，另外，如同要求员工“以数据作为依据”那般，我们可为AI供给参考资料，并且责令它注明来源 。比如，运用检索增强生成这一技术，如此一来，能让AI依据企业内里的知识库去生成回答，借助提示词工程也就是精心去设计指令，进而设定明晰的任务边界以及工作范围还有行为准则，与此同时，参照“开评审会”的思路做法，展开相关处理，也就是同时让多个模型来处理同一个问题，依靠集体的智慧来识别并且修正个体所出现的错误。

企业针对输出安全（不当言论）存在的风险，会给员工发放员工手册，开展大量岗位培训以及企业文化教育，还会严格审核对外发布的内容。对于AI员工，企业能够定制一份数字员工手册，为模型设置系统提示词，明确其角色和活动的行为红线，开展岗前培训，通过专门设计的安全问答数据集进行微调，以此做持续的企业文化氛围熏陶，在内容把关方面，在输入和输出的端口去部署过滤器，实时阻挠不当内容，保证对外发布之前严格核查 。

对于隐私方面的合规情况、数据层面的泄露风险，企业会要求那些处于关键位置的员工签订十分严格的具有保密内容的协议，也就是NDA，会去制定呈现为分层式的针对不同程度数据的访问权限规定，凭借“以尽量最小的权限为准则”这样办法来尝试较低数据出现泄露的风险。对AI而言，能用类似逻辑去操作，在选择云服务商之际，要签署数据处理协议，也就是DPA，以此保证输入数据不会被用于模型再训练，需遵循最小权限原则，非必要情况不提供敏感信息，如有必要则先进行脱敏处理，比如替换姓名、金额等，在数据敏感行业，像是金融和军工领域，还能够采用私有化部署方式，也就是自有服务器，或者采用可信执行环境技术，也就是TEE，后者如同在云端租用加密“保险箱”，可防止任何人窥探数据处理过程，从而兼顾安全与灵活性。

面对可解释性风险，部分经验丰富的员工依据出色的业务直觉形成判断，然而为了说服领导以及同事去支持此项决策，则务必要补齐其背后的思考内容，妥善拆解明晰里面的逻辑。

对于AI员工，能够要求模型在给出最终答案以前，先去输出一步步的推理过程，也就是“思维链”，这对理解模型的决策逻辑是有帮助的。这就如同让诸葛亮把草船借箭的整个推演过程，从观察天气开始，到揣摩人心为止，边思考边写下来从而便于我们理解。

此外，借助注意力可视化技术，能够凭借热力图里颜色的深厚浅淡，直接观察并看出LLM（大语言模型）在造就回应之际对各个输入词汇的留意程度，这同样对于直观地理解决策依据有所帮助。这就如同借助热力图，我们可以看出诸葛亮设定空城计，他的判断依据恰恰是高度聚焦于“司马懿生性多疑”以及“我方无兵”这两项关键情报。

在管理方面，企业要对AI员工进行有限授权，以此来控制风险，这是除了那些直观的解释方法之外的做法。在创意、文案初稿这类主观性强且风险低的领域，大模型是可以相对自由发挥的。然而在金融风控、医疗诊断等关乎企业命脉的高风险领域，它的“锦囊妙计”只能作为人类专家的参考，是这样施行的状态。

要留意的是，我们务必清楚且明白地认识到上述那种说明办法的受限之处。举例来讲，思维链自身同样是由模型产生的文本，是模型针对人类推理论证过程所做的一种事后的模仿或者合理化作说明的表述，它没办法完全客观地呈现出模型内在的真实推理逻辑。同样的，注意力的可视化之类的技术大抵也都属于局部的说明，仅仅能让我们通过局部而推测整体，而真正深入且涵盖全面的大模型可解释性，仍旧有待从事研究的人员展开进一步的探寻。

企业问责需明确

上面所讲的，是借助类比管理人类员工这种方式，从而进行借鉴性地去理解，并且得到启发来应对大模型的风险。不过呢，AI员工跟人类员工之间，仍旧存在着一个关键差别：大模型不具备能够“背锅”的能力，而责任始终在于人。

要是模型出现差错致使客户遭受损失或是公司声誉受到损害，企业可不能仅仅通过“开除”它来把问题给解决掉，大模型当下还没办法成为责任主体。责任只能往人类身上追溯，像批准使用的业务负责人、进行部署维护的技术团队，或者是制定规则的管理层。所以，企业在引入大模型之际，要设计明确的问责框架，把部署、使用以及效果等归入具体员工或者团队的KPI里。

AI大模型一经发明，便给企业带来了前所未曾有过的机会与风险。虽然AI在诸多方面赶及，并超乎人类，可好几个方面也致使企业面临，比往昔人类带来的要大，这样一种风险。

眼下处于这般状态里，AI有着自身的优点跟缺点，人类同样有着自身的优点跟缺点。因而，企业管理的最佳解决办法是促使人和AI配合起来展开作战，借由组织、流程去发挥各自的优势之处，避开各自不好的地方。

这是个动态过程，其变化极为迅速，伴随AI取得进步，企业的组织以及流程亦需跟着做出调整，企业得加快脚步，跟上变化的节奏，否则就会被淘汰。

刘劲身为大湾区人工智能应用研究院理事、特聘专家，同时还是长江商学院会计与金融学教授，段磊是大湾区人工智能应用研究院研究总监，鄢然为大湾区人工智能应用研究院助理研究员。上海交通大学副教授张拳石， 以及上海交通大学博士研究生楼思余，对本文大模型风险的技术理解也有着贡献。