09688 企业 AI 服务
问答09688 编辑部

企业用 AI,一定要本地部署模型吗?

不一定。见过不少企业花钱买了设备、部署了本地模型,结果因为速度和效果不理想,实际很少用。是否本地部署,要看客户需要什么能力、用量多大、现有硬件和维护能力如何、能接受怎样的效果和费用,以及数据敏感程度、合同约定和权限要求。模型放到本地以后,更新和维护的工作量不小。不要在没了解需求时就先推荐企业买设备;敏感资料也不能不经评估就直接交给外部服务。先问清楚需求,再比较本地和云端。

不一定,要看需求。

一个常见的情况

有些企业听说"数据安全要本地部署",就花钱买了设备、部署了模型。

用起来发现:速度慢、效果不如云端的大模型,员工不爱用,设备基本闲置。

决定之前要问清楚

问题为什么重要
需要什么能力?本地能跑的模型,能力可能不够
用量有多大?用量小,买设备不划算
现有硬件和维护能力?本地模型需要有人维护、更新
能接受的速度和效果?本地往往更慢、效果更弱
数据敏感程度?真正敏感的数据才有必要
合同和权限要求?有些行业或客户合同有明确要求

本地部署的隐藏成本

  • 设备采购;
  • 部署和调试;
  • 模型更新,新版本出来要重新部署;
  • 日常维护和故障处理;
  • 效果不如预期时的机会成本。

云端的注意事项

不选本地,也不代表可以随便把资料交出去:

  • 敏感资料(医疗、法律、财务、客户隐私)不能不经评估就直接交给外部服务;
  • 要看服务商的数据使用条款;
  • 可以只把脱敏后的内容交给云端处理。

也可以混合

  • 敏感信息的提取、脱敏在本地做;
  • 需要强能力的生成、分析交给云端;
  • 根据任务性质分流。

建议

先问清楚需求,再比较本地和云端的方案。不要在没了解需求时,就先推荐企业买设备。

小结

本地部署不是企业用 AI 的必选项。数据安全要重视,但要用合适的方式解决,而不是默认买一套设备。方案设计的思路见「程序、自动化、模型、人工:一个流程里各放在哪」。

部署方案问答