首页>>北京速记>>正在阅读
忻舟：MoE模型由来已久，MoE指的是模型和算法里面的MoE（MixtureofExperts），一个大的模型内部有多个模型，每次推理的时候调用其中两个、三个或者一个。这也是算法层面被应用最广的，也是被证明非常有效的方式，也有很多传言，包括很多开源的，前两天埃隆马斯克开源了一个大模型，也是8个专家模型混合起来。无论如何，这些都是属于模型内部的MoE。这是模型厂家、算法工作者需要关心的来提升模型效果。 还有一种也是在实际应用落地层面被越来越多提出来的，我们叫做应用层面的模型的MoE。它也有两种细分模式，第一种像刚才副总裁谢广军讲的Agent，调用不同的小模型、大模型把任务拆分，最后把结果组合起来实现任务。还有一种是多模型的，对同一个任务的分工。同样做一个数学题，有小学数学、初中数学，不同难度任务如果用不同能力模型完成，可以达到一个最优的性能和成本的折衷。现在MoE在市场上被大家提的越来越多，这表明一个现象，那就是大模型产业应用真正进入一个新的阶段。什么阶段呢？就是大家不仅关注效果，还关注这里面的效率和成本。我觉得这是非常好的现象，说明我们的拥护和企业真正的已经把大模型应用到自己业务里面里了。真正要开始关心应用的成本，关心最终带来的综合收益。（百度智能云千帆产品发布会实录节选） |
关于我们
黑匣子速录成立于2003年11月，专注中文速录服务。专业、高效、优质。专业提供北京速录服务、录音整理文字、论坛峰会等活动文字实录节选北京速记员服务。
添加微信
联系我们
- 深圳市福田区香蜜时代A-19C
- 13543280061 13026659718
- 6644342@qq.com