Q:协同办公领域对大模型的动作还挺快的。
A:嗯。尤其是国外,2月Notion AI就对全平台用户开放了,上个月16号微软推了Copilot。国内,石墨可以说走在前面。
Q:国内大模型测试情况怎么样,实际体验下来,觉得是个什么水平?
A:目前来看,文心一言最早启动邀测,各方面优势目前最强;阿里通义据说跟的很紧,我们没收到企业测试,用个人账号测了下。讯飞的也是个人内测帐号,也还不错。当然整体看跟chatGPT有一些差距。
Q:chatGPT你们接API了吗?
A:嗯,对接过。
Q:为什么没一直用?
A:成本有点高。也有政策方面的要求。
Q:你们最早试用chatgpt的时候,觉得哪里还有问题?
A:很现实的一个问题就是对国内企业协同管理的特点不了解,没有这方面的数据积累和经验。尤其是办公文档的生成,我们自己盲测过,满意度不高。
Q:中国公司的大语言模型和海外比技术上会有区分吗?
A:从我们角度看,国内公司服务会更灵活。比如现在我们跟百度文心一言联合优化,当要求做定向调优时候,数据进来之后就能够做的更加精细化,更加高准确率。因为我们有些场景不能够容忍太高的错误率,所以需要跟算法厂商一起解决这些问题。时间长了之后,会觉得有越来越多的不同之处,虽然基础技术是比较类似。
Q:现在ChatGPT没有对国内开放,国内厂商在中文的领域,相比海外厂商,在用户体验上能形成一定的或者明显的优势?
A:短期来看,可以通过这样的一个时间窗口做逼近chatGPT的效果,是国内公司比较好的状态。但很难说,长期来看语言不会是一个大的障碍。chatGPT的中文对话能力不弱,只是在很多中文语境下的理解不足。这个需要靠数据来解决。
Q:国内厂商在这块表现还可以?
A:国内厂商确实在这方面更有优势,比如百度有检索的能力,中文语料库积累多,对我们在的这个行业来说,这是个竞争砝码,或者说壁垒吧。
Q:数据上你们有合作吗?
A:中文数据的数量质量本来跟英文就有不小的差距,要对数据进行高质量标注和清洗。这块我们跟百度一起针对办公行业数据做了不少工作。这是提升模型效果的前提。
Q:应用场景的数据,在中国来讲是不是一种比较紧缺的资源。如果是要把模型训练好,可能非常依赖你们这些产业厂商的合作?
A:特定领域的数据是比较稀缺的,所以可能会形成这种商业模式:百度、阿里这样的大公司负责训练基础模型,创业公司或者模型应用公司,在大模型的基础上,加上特定领域的一些数据集,得到这种新的领域模型,来服务自身业务。这种模式下,大厂有钱赚,对于企业来说,它既能保护自己的数据隐私,同时也能够形成自己行业的商业化路径。
Q:模型越来越多,这些模型都基于差不多的数据去训练出来的,又有很多应用去基于这些模型去开发不同领域的垂直应用。有没有可能模型会趋于雷同,甚至很多应用程序会被迅速的抄袭,迅速的雷同化?
A:实际来看,各家公司的算法上限不同,不同的公司,它掌握的能力不一样,算法还是有很大的提升空间。模型的发展的效果,可能是越来越往上的。我们也不担心抄袭或者雷同化,对模型的理解和微调是个细致的工作,基于此做出来的产品,用户体验不会相同,这个我们技术团队有信心。
Q:你们跟文心一言对接到哪一步了,使用体验怎么样?
A:对接早就完成了,最近一直在迭代模型,有些需求需要刷新处理。效果比最开始给我们体验的版本好多了。我们内测的AI 助手石小墨,已经能够快速生成简历、合同、故事等了。
Q:能举个例子吗?文心一言有哪些技术上的不同。
A:比如检索增强,因为我们很多用户会生成合同,这些是相对有比较确定性答案的,检索增强能带来更好地体验。还有知识增强,也能让模型进化速度更快,让生成的内容更合理,准确度更高。
Q:目前团队对文心一言的评价怎么样?
A:研发专家都觉得挺不错的。
Q:从实际落地看,有什么场景?
A:我们内测了AI助手石小墨,在简历生成、合同、博客等类型的内容生成上比较成熟。未来希望用户将能够在文案智能创作、数据整合分析、幻灯片制作、图片视频生成这些办公场景下,感受到这一波AI的能力。
Q:文心一言预计能提供哪些服务?
A:推理、微调、托管都有,模型放在百度云上,现在运行的情况稳定,没出问题。也会考虑私有化部署。
Q:成本呢?
A:比我们预期的好,长期看在接受范围内。而且整体成本比最初降低了十分之一,这一点是超出我们想象的。
Q:听说QPS提升了10倍,你们有感知吗?
A:嗯,这个确实是有的,速度提升得很快,端到端优化有优势。这个组合拳,别家还打不了。
Q:什么组合拳?
A:飞桨和文心大模型联合优化。百度的研发也跟我们讲,芯片-框架-模型-应用,这四层技术栈他们内部完全打通,不只是服务我们,他们自己内部也要用,所以这几年积累了一些经验,拿出来服务客户比较顺。全栈自主的生态链在我们的选择中非常重要,尤其是软件上,要能沉淀自己的开发生态。
Q:这种端到端的优化,对你们有价值吗?
A:直接的成本降低啊!商业的竞争最终竞争的是效率,效率比别人更高就赢了。要是效率比别人低,投入再多最终也是打水漂。
Q:QPS提升,对你们应对高并发也有好处吧。
A:嗯,现在内测还看不出来,量太小了。功能正式上线之后,我们认为会更明显。
Q:你们知道文心一言的参数量吗?有具体的数字吗?
A:肯定是千亿量级。这是一个门槛,如果不过千亿不会出现智能涌现,这是过去实验都证明过的。过了千亿之后,不是万亿量级参数一定比千亿效果要好。大模型不完全是靠提升参数规模,要在其他方面提升,不用太纠结。
Q:你们投入使用后,对算力的需求会不会指数级的提升?
A:用户量级的上涨,对算力的需求确实会呈现指数级的增长。至少是非常正相关的。所以文心一言这样和飞桨,甚至芯片层的推理和训练这一块的联合优化才是重点,就是怎么端到端地让资源尽可能地节省,让整体的一个性能更好地提升。
Q:阿里不也有自己的机器学习平台,这方面有优势吗?
A:阿里没有自研深度学习框架,如果基于国外框架,不确定能优化到什么程度。
Q:阿里通义千问你们也在测吗?
A:没有。个人账号试用了下。
Q:效果怎么样?
A:在指令理解、多轮交互这几个方面能力比较突出。也是一个多语言的产品体系。还有一个优势是阿里云的算力支持,算力压缩做的很极致。
Q:这对你们来讲有竞争优势吗?
A:某种程度上有,但最终拼的还是算法、落地场景。目前评价还太早。
Q:那未来会不会有开源的大模型?
A:对于我们来说,现在只能选择效果更好的,或者性价比更高的模型来进行开发。文心一言的效果和价格都在我们理想的选择范围内,所以先让业务跑起来。对于未来,开不开源最终其实是一个市场的自然选择,我们只能拭目以待。