本文作者:admin

蚂蚁百灵参战大模型

admin 11-07 1
蚂蚁百灵参战大模型摘要:   来源:北京商报  巨头再现新进展,大模型在各行各业落子不断。11月6日,北京商报记者了解到,蚂蚁百灵大模型已完成备案,基于百灵大模型的多款产品已陆续完成内测。而引发关注的金融...

  来源:北京商报

蚂蚁百灵参战大模型

  巨头再现新进展,大模型在各行各业落子不断。11月6日,北京商报记者了解到,蚂蚁百灵大模型已完成备案,基于百灵大模型的多款产品已陆续完成内测。而引发关注的金融行业大模型层面,蚂蚁集团也在不久前发布了金融大模型及两款应用产品。事实上,不仅是蚂蚁,包括度小满、乐信等综合金融科技平台,以及马上消费、招联消费金融等消费金融机构,都在布局金融行业大模型,多方争雄,大模型激战升级。

  入场倒计时

  11月6日,北京商报记者从蚂蚁集团获悉,根据国家七部委联合公布的《生成式人工智能服务管理暂行办法》指导要求,蚂蚁百灵大模型已完成备案,基于百灵大模型的多款产品已陆续完成内测,将向公众开放。

  本次通过备案的是蚂蚁百灵语言大模型,该大模型采用TransFormer架构,基于万亿级Token语料训练而成,支持窗口长度达32K。

  据了解,蚂蚁大模型坚持自主研发、全栈布局,目前已形成包括大模型底层基础设施、基础大模型、行业大模型、应用产品在内的完整技术链条。

  算力上,蚂蚁建设了万卡异构集群,其中硬件算力效率(HFU)超过60%,集群有效训练时长占比90%以上,RLHF训练在同等模型效果下训练吞吐性能相较于业界方案提升3.59倍,推理性能相较于业界方案提升约2倍。

  安全力方面,蚂蚁研发了大模型安全一体化解决方案——蚁天鉴。“蚁鉴”平台作为业内首个大模型安全评测工具,支持50万/天饱和式攻击,全面覆盖生成内容数百类风险;“天鉴”平台可在大模型运行时,覆盖八大类风险,采用大模型对抗大模型的方式,使得风险召回率大于99%,其Guardrails前置护栏功能,能精确召回20多类提问风险意图。

  知识力上,蚂蚁通过统一语料体系、数据预处理标准化、数据标注强化、评测立体化,形成了完备的知识处理能力。其中,集评测数据集与评测框架一体化的大模型评测平台——EVE,能支持语言大模型和多模态大模型一站式自动化评测。

  据悉,在基础大模型层面,除了本次通过备案的百灵语言大模型,蚂蚁集团也在研发百灵多模态大模型,并已内测。

  易观分析金融行业高级咨询顾问苏筱芮评价,本次通过备案的是蚂蚁百灵语言大模型,大语言模型(LLM)是指建立在大量数据集上预训练的巨大模型,包括多项关键要素,其中就需要海量算力与数据支撑的大参数;拥有智能能力,可解决它从未或极少见过的问题的能力;此外可加入预训练,仅需要少量数据的微调甚至无需微调,就能够解决多种通用型任务。

  谈及落地业务方向,在苏筱芮看来,从上述特征来看,通用的大语言模型既可与蚂蚁擅长的金融业务结合,向企业经营关键环节进行渗透,促进业务能效及可持续发展能力大幅提升,同时也可以向整个阿里生态内的其他本地生活、消费类等业务进行赋能,通过灵活的AI能力助力业务经营。

  谈及业务场景,蚂蚁集团副总裁、百灵大模型负责人徐鹏透露,备案通过后,“百灵”将全线应用到蚂蚁的各个业务场景,并在各垂直领域创新研发产品,更多应用产品即将面向社会开放。

  激战升级

  除了通用大模型,目前在行业大模型层面,蚂蚁集团也布局了包括金融、医疗、安全等领域。例如今年9月,蚂蚁对外发布金融大模型及两款应用产品:面向消费者的金融智能助理“支小宝2.0”和面向行业专家的金融业务助理“支小助”。

  据介绍,支小宝2.0可为用户提供高质量的行情分析、持仓诊断、资产配置和投教陪伴等服务,在知识力上,支小宝2.0的金融知识数据存储量已达到百亿级,能同时服务亿级用户。

  浙江大学国际联合商学院数字经济与金融创新研究中心联席主任、研究员盘和林评价,通过大模型来引导用户进行投资决策,是非常好的辅助工具,也能赋能金融行业,能解决一些金融消费级产品和用户匹配的问题,蚂蚁大模型应该围绕消费者的偏好来开发应用,增加玩法。

  在大模型的浪潮里,积极布局的并非蚂蚁一家,尤其是今年以来,大模型产业进入“百模大战”模式,赛道热度不断高涨。

  例如消费金融领域, 11月3日,招联消费金融发布消费金融行业首个130亿参数开源大模型“招联智鹿”。该模型落地消费金融实际业务场景,以客服场景为例,该模型可结合具体会话状态与服务场景,实时精准地定制回复话术,助力客服工作提质增效,节约时间成本近80%。据了解,该模型未来还将应用于更多细分场景,如风控管理、代码生成、运营提升等,并在“智能体”技术、仿真模型、科技向善等方面持续探索。

  无独有偶,今年8月,马上消费金融也发布了首个零售金融大模型“天镜”,已在自动化营销、风控等实际业务场景应用近6个月。马上消费金融CTO蒋宁介绍,“目前,马上消费每天能基于用户1000万个行为作出个性化的营销和风险判断,每天做上亿次模型计算,每秒可以处理150万特征的计算”。

  另外,今年一季度乐信自研大模型LexinGPT也正式对外亮相,乐信方面称,已全面加速自研大模型在业务流程中的落地应用,例如,通过深度学习算法,大模型可以更高效进行数据清洗、分类和计算,形成了不同场景下,用于预测用户行为偏好的众多精准模型,包括借钱意愿度模型、营销偏好模型、offer满意度模型、还款意愿度模型、客户流失预警模型等;另一方面,LexinGPT还在电销、业务机器人等多个业务流程中深入落地使用。二季度,乐信加速金融垂直大语言模型应用落地,在数据分析、数仓设计、风控数仓升级优化等领域落地,大大降低了数据分析的参与门槛、提高数据分析效率。

  苏筱芮认为,垂直领域的金融大模型,对于金融行业来说有两方面意义,一方面是前端对客的核心价值与场景,主要作用是能够提升服务体验,包括智能营销、智能客服等方面,同时也可在中后台运营管理方面,例如信贷审批、核保理赔等流程性任务层面提升工作效率;另一方面则是在智能投研、投顾等财富管理场景,以及量化交易等金融特定任务方面,需根据金融大模型开展训练与微调,具备进一步探索创新的价值。

  难点待解

  不过,现阶段,如何在金融领域发挥大模型的能力,业内认为还有多个挑战需要解决。

  正如中国工程院院士邬贺铨不久前表示,金融大模型的发展目前仍面临着三方面挑战。首先是金融行业对数据安全性、隐私合规性都有着严格的要求。尤其是在风控方面,对时效性与精准性要求严格,而一般的基础大模型透明性、可信性、专业性不足,很难直接迁移为金融大模型。同时是金融大数据在成本与质量上的平衡问题。由于金融行业内的数据难以共享,因此金融大模型的数据规模远远不及通用语料,导致金融大模型难以产生“智能涌现”的效果。此外则是本地私有部署需要自建算力设施,对软硬件产品有严格的信创要求,而且参数规模大则算力成本高。

  “技术局限尚需突破。”苏筱芮同样指出,目前大语言模型仍然为静态数据驱动的学习范式,无法实现新知识的快速学习与迭代。尤其是涉及到时效数据与专有数据的场景下存在障碍。另外,巨大的模型训练与推理算力等成本拉低效益比,企业前期面临大量的人力、物力投入,此外,大模型在参数体量巨大的情况下,仍然存在较高的推理成本。在她看来,安全合规可信应用底线尚需刚性保障。另外,无论是大模型的训练推理,还是对话应用的过程中,都存在过多的隐私暴露与数据安全风险,这还有赖于技术突破和监管合规的进一步建立。

  北京商报记者 刘四红

阅读
分享