腾讯大模型反宏大叙事

 提示:点击图片可以放大
来源:优游ub8平台    发布时间:2024-06-12 22:13:07

  “行业大模型与产业的结合更为紧密,但咱们不可以将此理解为,行业模型的实现难度更低。”

  6月19日,腾讯姗姗来迟,交出大模型作业。不过跟百度、阿里通用大模型不同,腾讯云发布的是行业大模型。至此,BAT 全部入局。

  先是百度抢跑,阿里紧随其后。5月,马化腾在股东大会上表现得云淡风轻,「我们也一样在埋头研发,但是并不急于早早做完,把半成品拿出来展示。」

  话虽如此,此次腾讯云的行业大模型,很难被看作一个饱满的「完成品」。行业发展特性使然,大模型跟产业结合还处于比较早期的阶段。

  云服务行业风云突变,增长放缓的当下,MaaS(模型即服务)成为保卫市场的最佳选择,也是不得不做出的必需反应。

  放眼国际,也是如此。微软谷歌自不必说,另一位云计算选手亚马逊,在4月份发布了泰坦大模型、AI大模型服务Amazon Bedrock,某些特定的程度上也是借机提振云服务增长士气。

  正如李彦宏此前的论断,「过去,云计算主要卖算力,看速度、看存储,今天,客户购买云服务,是要看框架好不好、模型好不好。」

  相比通用大模型,行业大模型与产业的结合更为紧密,至少技术不是悬浮在空中,多了几分解决具体问题的可能性。

  相比通用大模型,行业大模型的优势显而易见,这也是巨头和长期资金市场把目光投向此处的原因。

  腾讯云与智慧产业事业群 CEO 汤道生说,「目前通用大模型一般都是基于广泛的公开文献与网络信息来训练的,网上的信息可能有错误、有谣言、有偏见,许多专业相关知识与行业数据积累不足,导致模型的行业针对性与精准度不够,数据『噪音』过大。」

  而理想情况下,行业模型的数据更聚焦、训练和推理成本更低。毕竟,每一次提问,大模型就如同参加一个闭卷考试。复习的东西越多,在记忆里搜寻的时间就越多,也更加容易出错。

  而且落地一个真正可用、能严肃处理问题的行业大模型,也许并不比开发通用大模型简单。

  数据的噪音,会带来模型的幻觉(hallucination),也就是大模型难以避免事实性错误。然而,模型的幻觉和智力如同一体两面。

  模型的智力涌现需要较大的参数。一位AI公司的技术合伙人表示,目前,没有500-600万亿参数规模,模型就很难达到较好的智能水平。虽然学界也在研究怎么样用更小的模型达到更理想的效果,但这需要时间。

  100万亿参数的通义千问,距离GPT级别的C端商用尚且存在距离;如果行业模型真的仅仅基于规模更小的行业数据来训练,在B端的应用,效果大概率不会理想。

  想要严肃应用在行业中,还是要在表现良好的基础模型上再用行业数据来进行训练。

  以Bloomberg的金融行业模型为例,它的底层依然是GPT。BloombergGPT的训练数据量约为5300亿词,其中金融行业公开数据占54.2%,另一半则是通用模型基础数据,Bloomberg自己的数据仅占 0.7%。

  腾讯云智能负责人吴运声表示,腾讯云的10个行业大模型里,参数规模从数十亿到数百亿不等。

  首先是可利用的公共数据较少。复旦大学的一项研究显示,各地方所发布的数据中86.25%的数据为静态数据,更新频率以年为单位,甚至更久。国家信息中心的公开资料显示,只有8.5%的地方平台连续两年发布了新的数据集。

  此外,很多公共数据以文件附件的形式公布,存在数据质量不高、机读性差等现象。

  而企业的私有数据,管理者更是希望牢牢握在自己手中。核心数据,是企业竞争力的一部分,当然不肯轻易示人。数据上云都需要很大决心,更不会轻易拿去给科技公司训练模型。

  而私有部署和训练一个可用模型的成本高昂,一般企业很难承担。除此之外,企业还需承担模型微调的成本、每一次运行的成本。

  目前看来,行业大模型的难度并不比通用大模型轻松多少,为什么却成为巨头趋之若鹜的所在?甚至鼓励企业基于云服务打造专属模型,慢慢的变成了云计算厂商的必争之地。

  一个不能忽略的背景是,国内云服务经过十年狂奔,市场增速放缓,导致行业从寻找增量变为存量拼杀。

  IDC公有云市场报告数据显示,2022年下半年,IaaS+PaaS 市场增速明显放缓,与一年前相比,增速下滑了23.9%。一直排名第二的腾讯云没能保住这个珍贵的位子。企业对公有云的投入放缓、网络公司等传统云客户自身的增长也不及预期。

  与此同时,云计算厂商的价格战愈演愈烈。毕竟,IaaS 服务同质化严重,价格是影响客户购买决策的重要因素。

  4月,阿里打响了第一枪,开启了「阿里云史上最大规模降价」,覆盖了存储、网络、数据库、视频云等几乎全部核心产品,其中存储产品最高降幅可达 50%。一个月后,腾讯云快速跟进,大幅下调报价,部分产品线%。

  阿里和腾讯纷纷将降价包装为「技术红利的回馈」。事实是,除了使用价格战作为撬动市场的利器,特别难找到新的突破点。

  腾讯云 MaaS,就是基于TI平台打造的「行业精选模型商店」,面向的领域包括金融、文旅、政务、传媒等十大行业,提供50余个解决方案。

  「虽然大家对通用大模型期待很高,但它并不全是满足行业场景需求的最优解。」腾讯云与智慧产业事业群CEO汤道生说。腾讯云想要更「务实」,帮企业用户用自己的数据,更快生成能够严肃应用于业务场景的专属模型。

  投资者们也持有相同的看法。从朱啸虎和傅盛的隔空辩论中,我们不难看到投资者的共识——场景优先,数据为王,行业大模型才是真正的机会所在。

  某种程度上,巨头「以价换量」,更像是提前锁定未来 MaaS 客户的策略,要将算力、框架、模型、应用统一兜售给企业。

  行业模型要想将云计算重新拉回快增长轨道,还有相当的距离。最典型的问题是,落地应用。

  「企业所需要的是在实际场景中真正解决了某个问题,而不是在100个场景中解决了70%-80%的问题。」汤道生说。

  正如前文所述,大模型的幻觉问题,知识截断问题,以及训练数据量大所带来的灾难性遗忘,是目前很难攻克的技术难题。使用行业数据精调,能在某些特定的程度上减少大模型的犯错概率,但绝不可能「彻底避免」。

  大模型的能力,还一定要通过产品设计加以限制,以及人类专家的二次把关,才可能正真的保证相对可靠的落地应用。

  腾讯自身的企业级应用,包括腾讯会议、企点智能客服,以及AI代码助手三款SaaS产品,率先应用了行业大模型。

  腾讯会议 AI 助手可以智能生成会议的纪要,用户都能够依据「章节」「发言人」「话题」快速定位到相关联的内容。通过企点智能客服,用户都能够使用自然语言进行查询,直接得到数据分析。AI代码助手则可以在沟通、编码、排错、评审、调优5个环节提供高效的编程辅助。

  目前,除了腾讯会议的智能录制功能已经小规模开放给企业用户试点,其他两款产品暂未开放体验渠道。

  我们只能从 PPT 里窥见一二,推测一下实际效果。以智能客服为例,它的知识构建方式包括向量数据库、企业级LLM两种。这是一个务实的解决方案。

  技术上,它将企业各种各样的形式的私有数据(包括文件、音频等等)进行预处理,先转化为文本,再切分为一个个文本块,存储在向量数据库中。

  根据提问,系统会在数据库中检索最相关的文本块,然后和用户的问题一起整合为提示词(Prompt),再给到大模型生成答案。尽量在提示词中给到准确的信息,就可以尽可能控制大模型的幻觉问题。

  市面上已经有类似的产品,比如德国独立开发者发布的ChatPDF,用开源模型处理用户的文档页面,再调用 GPT 3.5 的API,从而让用户都能够直接与之对话。它仅仅针对于单个文档,检索的量级和难度要小很多,可效果也是差强人意:用来娱乐还可以,用来办公有点难。

  新莓daybreak试用 ChatPDF 发现,即使是对于单个文档、且对接了目前效果最好的 GPT,它的回答仍然不够稳定。尤其是跟数值相关的问题,经常会出现错误;同一个问题问两次,回答的内容也不尽相同。

  可以想见,如果想要处理更庞大的企业数据库、且基于自研的大模型,在实际落地中需要突破的技术难点还有很多:如何低成本地高精度标注数据、怎么样提高检索向量数据库的相关度、如何溯源、如何动态更新知识库等等……每一步,都像是在泥地里的跋涉。正如汤道生所言,「大模型只是开端」。

  发布会上,腾讯提及了与文旅、金融、政务、教育、传媒五大行业合作探索的应用案例。

  关于效果,腾讯讲的也较为克制,似乎有意在对用户进行「预期管理」:AI 仍然是助手的角色,与专业技术人员配合,能提高任务完成率、信息录入准确率提、提升媒资检索能力等等。

  行业大模型,壁垒在于数据获取、模型调优,以及下游应用场景。毋庸置疑,腾讯手握丰富的应用场景,这是他们的优势。

  如果吸引更多用户在合理预期下「先用起来」,从而获取更多行业数据、形成细致划分领域的数据飞轮,那么模型也会在实际应用中逐渐完备自己。

  特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

  本周重大事件:河北张家口房价低至858元/平,茅台价格跌到黄牛暂停收购

  英保守党称“若赢得大选将把中国列为和俄伊同等威胁国家”,中方此前已表态

  LV售后再次被曝双标,公然歧视中国消费者:同一个包在欧洲免费维修,在中国就要收费

  与中坚力量共成长,2024建信信托艺术大奖评委会特别奖获奖艺术家凌海鹏