本文作者:admin

石墨文档大模型技术专家电话调研纪要

admin 04-28 5
石墨文档大模型技术专家电话调研纪要摘要:   Q:协同办公领域对大模型的动作还挺快的。  A:嗯。尤其是国外,2月Notion AI就对全平台用户开放了,上个月16号微软推了Copilot。国内,石墨可以说走在前面。 ...

  Q:协同办公领域对大模型的动作还挺快的。

石墨文档大模型技术专家电话调研纪要

  A:嗯。尤其是国外,2月Notion AI就对全平台用户开放了,上个月16号微软推了Copilot。国内,石墨可以说走在前面。

  Q:国内大模型测试情况怎么样,实际体验下来,觉得是个什么水平?

  A:目前来看,文心一言最早启动邀测,各方面优势目前最强;阿里通义据说跟的很紧,我们没收到企业测试,用个人账号测了下。讯飞的也是个人内测帐号,也还不错。当然整体看跟chatGPT有一些差距。

  Q:chatGPT你们接API了吗?

  A:嗯,对接过。

  Q:为什么没一直用?

  A:成本有点高。也有政策方面的要求。

  Q:你们最早试用chatgpt的时候,觉得哪里还有问题?

  A:很现实的一个问题就是对国内企业协同管理的特点不了解,没有这方面的数据积累和经验。尤其是办公文档的生成,我们自己盲测过,满意度不高。

  Q:中国公司的大语言模型和海外比技术上会有区分吗?

  A:从我们角度看,国内公司服务会更灵活。比如现在我们跟百度文心一言联合优化,当要求做定向调优时候,数据进来之后就能够做的更加精细化,更加高准确率。因为我们有些场景不能够容忍太高的错误率,所以需要跟算法厂商一起解决这些问题。时间长了之后,会觉得有越来越多的不同之处,虽然基础技术是比较类似。

  Q:现在ChatGPT没有对国内开放,国内厂商在中文的领域,相比海外厂商,在用户体验上能形成一定的或者明显的优势?

  A:短期来看,可以通过这样的一个时间窗口做逼近chatGPT的效果,是国内公司比较好的状态。但很难说,长期来看语言不会是一个大的障碍。chatGPT的中文对话能力不弱,只是在很多中文语境下的理解不足。这个需要靠数据来解决。

  Q:国内厂商在这块表现还可以?

  A:国内厂商确实在这方面更有优势,比如百度有检索的能力,中文语料库积累多,对我们在的这个行业来说,这是个竞争砝码,或者说壁垒吧。

  Q:数据上你们有合作吗?

  A:中文数据的数量质量本来跟英文就有不小的差距,要对数据进行高质量标注和清洗。这块我们跟百度一起针对办公行业数据做了不少工作。这是提升模型效果的前提。

  Q:应用场景的数据,在中国来讲是不是一种比较紧缺的资源。如果是要把模型训练好,可能非常依赖你们这些产业厂商的合作?

  A:特定领域的数据是比较稀缺的,所以可能会形成这种商业模式:百度、阿里这样的大公司负责训练基础模型,创业公司或者模型应用公司,在大模型的基础上,加上特定领域的一些数据集,得到这种新的领域模型,来服务自身业务。这种模式下,大厂有钱赚,对于企业来说,它既能保护自己的数据隐私,同时也能够形成自己行业的商业化路径。

  Q:模型越来越多,这些模型都基于差不多的数据去训练出来的,又有很多应用去基于这些模型去开发不同领域的垂直应用。有没有可能模型会趋于雷同,甚至很多应用程序会被迅速的抄袭,迅速的雷同化?

  A:实际来看,各家公司的算法上限不同,不同的公司,它掌握的能力不一样,算法还是有很大的提升空间。模型的发展的效果,可能是越来越往上的。我们也不担心抄袭或者雷同化,对模型的理解和微调是个细致的工作,基于此做出来的产品,用户体验不会相同,这个我们技术团队有信心。

  Q:你们跟文心一言对接到哪一步了,使用体验怎么样?

  A:对接早就完成了,最近一直在迭代模型,有些需求需要刷新处理。效果比最开始给我们体验的版本好多了。我们内测的AI 助手石小墨,已经能够快速生成简历、合同、故事等了。

  Q:能举个例子吗?文心一言有哪些技术上的不同。

  A:比如检索增强,因为我们很多用户会生成合同,这些是相对有比较确定性答案的,检索增强能带来更好地体验。还有知识增强,也能让模型进化速度更快,让生成的内容更合理,准确度更高。

  Q:目前团队对文心一言的评价怎么样?

  A:研发专家都觉得挺不错的。

  Q:从实际落地看,有什么场景?

  A:我们内测了AI助手石小墨,在简历生成、合同、博客等类型的内容生成上比较成熟。未来希望用户将能够在文案智能创作、数据整合分析、幻灯片制作、图片视频生成这些办公场景下,感受到这一波AI的能力。

  Q:文心一言预计能提供哪些服务?

  A:推理、微调、托管都有,模型放在百度云上,现在运行的情况稳定,没出问题。也会考虑私有化部署。

  Q:成本呢?

  A:比我们预期的好,长期看在接受范围内。而且整体成本比最初降低了十分之一,这一点是超出我们想象的。

  Q:听说QPS提升了10倍,你们有感知吗?

  A:嗯,这个确实是有的,速度提升得很快,端到端优化有优势。这个组合拳,别家还打不了。

  Q:什么组合拳?

  A:飞桨和文心大模型联合优化。百度的研发也跟我们讲,芯片-框架-模型-应用,这四层技术栈他们内部完全打通,不只是服务我们,他们自己内部也要用,所以这几年积累了一些经验,拿出来服务客户比较顺。全栈自主的生态链在我们的选择中非常重要,尤其是软件上,要能沉淀自己的开发生态。

  Q:这种端到端的优化,对你们有价值吗?

  A:直接的成本降低啊!商业的竞争最终竞争的是效率,效率比别人更高就赢了。要是效率比别人低,投入再多最终也是打水漂。

  Q:QPS提升,对你们应对高并发也有好处吧。

  A:嗯,现在内测还看不出来,量太小了。功能正式上线之后,我们认为会更明显。

  Q:你们知道文心一言的参数量吗?有具体的数字吗?

  A:肯定是千亿量级。这是一个门槛,如果不过千亿不会出现智能涌现,这是过去实验都证明过的。过了千亿之后,不是万亿量级参数一定比千亿效果要好。大模型不完全是靠提升参数规模,要在其他方面提升,不用太纠结。

  Q:你们投入使用后,对算力的需求会不会指数级的提升?

  A:用户量级的上涨,对算力的需求确实会呈现指数级的增长。至少是非常正相关的。所以文心一言这样和飞桨,甚至芯片层的推理和训练这一块的联合优化才是重点,就是怎么端到端地让资源尽可能地节省,让整体的一个性能更好地提升。

  Q:阿里不也有自己的机器学习平台,这方面有优势吗?

  A:阿里没有自研深度学习框架,如果基于国外框架,不确定能优化到什么程度。

  Q:阿里通义千问你们也在测吗?

  A:没有。个人账号试用了下。

  Q:效果怎么样?

  A:在指令理解、多轮交互这几个方面能力比较突出。也是一个多语言的产品体系。还有一个优势是阿里云的算力支持,算力压缩做的很极致。

  Q:这对你们来讲有竞争优势吗?

  A:某种程度上有,但最终拼的还是算法、落地场景。目前评价还太早。

  Q:那未来会不会有开源的大模型?

  A:对于我们来说,现在只能选择效果更好的,或者性价比更高的模型来进行开发。文心一言的效果和价格都在我们理想的选择范围内,所以先让业务跑起来。对于未来,开不开源最终其实是一个市场的自然选择,我们只能拭目以待。

阅读
分享