不同于美国在多模态大型语言(NLP)模型方面的领先水平,目前国内AI大模型的研发方向聚焦在“解决产业技术壁垒问题”。
这 种酷似“人类”的聊天机器人的诞生,让业界惊叹之余,也引发了人们的担忧,以致于以马斯克为代表的上千名美国科技人士联合签名“暂停半年期研发”。的诞生,犹如潘多拉魔盒,可能会让人类走向不可预知的技术深渊。
不同于美国在多模态大型语言(NLP)模型方面的领先水平,中国人工智能(AI)的类平台,如华为盘古大模型4、阿里通义千问、百度文心一言等,目前更倾向于把研发方向聚焦在“解决产业技术壁垒问题”。而且来自知危编辑部的最新测试也显示,在解读中文语义方面,国内AI大模型不比逊色,比如阿里通义千问甚至略胜一筹。
国产AI大模型与的差距在哪里? 目前发展如何?
解读中文语义的差别有多大
紧随的发布,今年3月,百度率先发布文心一言大语言模型。现场演示效果不尽人意,却让大家看到了国内外自然语言处理(NLP)大模型方面的差距,以及百度抢占大模型市场的心态。
4月6日,华为云宣布“即将上线”盘古大模型4系列,包括NLP(自然语言处理)大模型、CV(计算机视觉)大模型、多模态大模型、科学计算大模型等多个大模型。即将发布的盘古“NLP大模型”是被认为最接近人类中文理解能力的AI大模型。
4月7日,阿里云自研大模型“通义千问”开始邀请用户测试体验。
4月9日,知危编辑部对比测试了阿里通义千问、百度文心一言、三家大模型在中文语义方面的解读, 结果显示,1、对带有场景和语气的语义理解能力方面三者之间有高有低,不分伯仲,尤其是对刁钻的中文句子的理解方面,不如通义千问和文心一言。2、在逻辑、推断能力上,三家的水平也是旗鼓相当,而通义千问似乎更严谨一点,某些时候能考虑到更多因素。3、文心一言在人文文学领域稍强;通义千问在报告文章方面稍强,尤其擅长科学类知识,基本与 ( 3.5 版本 )持平或稍有一些瑕疵; 则是比较均衡。
据悉,早在2021年,华为云就发布了盘古系列超大规模预训练模型,包括 30亿参数的视觉(CV)预训练模型,以及华为云与循环智能、鹏城实验室联合开发的具有千亿参数、40TB 训练数据的中文(NLP)预训练模型。在2021年的中文语言理解评测基准 CLUE 榜单中,盘古 NLP 大模型在总排行榜及分类、阅读理解单项均排名第一,刷新三项榜单世界历史纪录;总排行榜得分 83.046,多项子任务得分业界领先, 接近人类水平(85.61)。
公开数据显示,华为盘古 NLP 大模型早在2021年就具有千亿参数,阿里通义千问号称是世界首个突破 10 万亿参数的 AI 大模型,阿里还牵头搭建了国内国模最大的 AI 模型服务社区 “ 魔搭 ”;百度文心一言的数据参数级别是1.5万亿级别。-3模型使用了1750亿个参数, -4的参数更多,而且训练数据来源于截至 2021 年 9 月的各种类型的文本,如网页、书籍、论文、新闻等,这些数据涵盖了广泛的主题和领域。
谈到国产AI大模型与的差别,华东政法大学人工智能与大数据指数研究院院长高奇琦教授在接受《解放日报》采访时表示,通用大模型是一个系统工程,算法、数据和算力这三个因素至关重要。目前,国内外的差距主要集中在数据和算力。
在数据方面,英文数据质量比较高,也更便于清洗。回答得好的原因主要就是互联网上有大量比较准确的英文知识类信息,有利于模型训练。中文数据也很多,但质量有差距,而且国内数据大量储存于移动端APP中,比较难于抓取,互联网巨头之间的数据又相互封闭,数据孤岛化情况严重。算力是另一个巨大的挑战,需要至少3万张英伟达A100卡的算力 ,而单张A100/40G的价格超过7万元,这 笔投资巨大。相比国外由微软等大企业、大资本投资,如果国内要追赶,需要国家层面的算力投资和支持。
发表回复