中国10亿参数规模以上大模型已发布79个,集中在北京和广东
发布时间:2023-05-28 18:41:56 文章来源:澎湃新闻
·据不完全统计,目前中国10亿参数规模以上的大模型已发布79个,14个省市/地区都在开展大模型研发,主要集

·据不完全统计,目前中国10亿参数规模以上的大模型已发布79个,14个省市/地区都在开展大模型研发,主要集中在北京和广东,其中北京38个大模型,广东20个大模型。中国大模型中,已有半数以上大模型开源,高校/科研机构是开源主力。

·北京、江苏、广东、上海等是大模型人才相对较多的地区,为大模型研发提供关键智力要素支撑。但人才总量仍然稀缺,大模型具有较高门槛,需要高素质AI人才,目前各地大模型人才数量均不充足。

中国10亿参数规模以上的大模型已发布79个,主要集中在北京和广东。


(资料图片仅供参考)

5月28日,在2023中关村论坛平行论坛之一的人工智能大模型发展论坛上,中国科学技术信息研究所所长赵志耘发布《中国人工智能大模型地图研究报告》,目前中国10亿参数规模以上的大模型已发布79个,主要集中在北京和广东,其中北京38个大模型,广东20个大模型。中国大模型中,已有半数以上大模型开源,高校/科研机构是开源主力。

2017年谷歌发布的Transformer网络结构是大模型发展的源头技术,自此以后大模型技术在自然语言理解、计算机视觉、智能语音等方面都取得了标志性的技术突破,在模型精度、通用性和泛化能力等方面都实现了跨越式发展。ChatGPT又进一步激发了语言大模型爆发式涌现,也吸引了大量研发团队投入到通用视觉、多模态等更多大模型研发方向。赵志耘表示,仅用5年多时间,大模型技术已形成庞大技术群,衍生出涵盖各种参数规模、各种技术架构、各种模态、各种场景的大模型家族。

从全球大模型发展态势来看,美国谷歌、OpenAI等机构不断引领大模型技术前沿,欧洲、俄罗斯、以色列等越来越多的研发团队也在投入到大模型的研发中。从全球已发布的大模型分布来看,中国和美国大幅领先,超过全球总数的80%,美国在大模型数量方面始终居全球最高,中国从2020年进入大模型快速发展期,目前与美国保持同步增长态势。

在中国大模型的发展态势中,赵志耘表示,据不完全统计,到目前为止中国10亿参数规模以上的大模型已发布79个,14个省市/地区都在开展大模型研发,主要集中在北京和广东,其中北京38个大模型,广东20个大模型。在模型领域分布上,自然语言处理仍是目前大模型研发最活跃的重点领域,其次是多模态领域,在计算机视觉和智能语音等领域的大模型还较少。在研发主体分布上,大学、科研机构、企业等不同创新主体都在参与大模型研发,学术界和产业界之间的联合研发仍不足。“今年以来大模型有着快速发展的态势,但我们同时也观察到了合作收缩的趋势,接下来需要注意。”

与此同时,算力-模型匹配度高,公共算力发展迅速。北京、广东、浙江、上海等地的大模型数量最多,这四个地方也是近三年人工智能服务器采购数量最高的地区。各地也在通过提供公共算力方式补充快速增长的人工智能算力需求,为大模型研发提供更多算力支持。

人才也是人工智能的重要支柱。北京、江苏、广东、上海等是大模型人才相对较多的地区,为大模型研发提供关键智力要素支撑。但人才总量仍然稀缺,大模型具有较高门槛,需要高素质AI人才,目前各地大模型人才数量均不充足。

“通过大模型的论文发布,我们可以看到中国大模型的学术影响力正在逐步形成。从区域影响力来看,北京、广东、上海三地无论是论文数量还是论文引用量都在国内最高。”赵志耘表示,清华大学与阿里和百度联合开发的CogView模型论文引用数最高。但与国外领先大模型的学术影响力相比差距仍然较大。

从开源创新生态上看,中国大模型中,已有半数以上大模型开源,北京、广东、上海三地开源数量和开源影响力均居国内前三。高校/科研机构是开源主力,“清华大学的ChatGLM-6B、复旦大学的MOSS以及百度的文心系列大模型开源影响力最高。”赵志耘表示。

中国大模型的产业化应用沿着两条路径发展,第一种是通用类大模型持续拓展应用领域,文心一言、通义千问、紫东太初、星火认知等中国一批通用化大模型正在快速发展,打造跨行业通用化人工智能能力平台,其应用行业正在从办公、生活、娱乐向医疗、工业、教育等加速渗透。第二种是垂直领域专业类大模型不断深化落地,一批针对生物医药、遥感气象等垂直领域的专业大模型发挥其领域纵深优势,提供针对特定业务场景的高质量专业化解决方案。

倡导加强资源和研发力量的统筹,促进大模型有序发展。

针对大模型发展的不足,赵志耘提出4点建议与展望:

一是加强资源和研发力量的统筹,促进大模型有序发展。通过加强智算中心、超算中心、云计算中心等计算资源的统筹,制定公共数据共享目录和共享规则,推动数据分级分类有序开放。

二是加快基础研究和技术创新,提升学术和开源影响力。大模型技术仍处于发展初期,潜在的基础理论和技术创新空间巨大。通过蒸馏、量化等小型化技术实现模型“瘦身”,为大模型小型化、绿色化发展提供技术支撑。进一步加强产学研合作,鼓励大模型开源开放,也将加速大模型技术进步。

三是强化大模型发展中的场景牵引作用,打造大模型标杆项目。以行业专有训练数据集为基础,打造金融、医疗、电力等领域的专业大模型,在特定业务场景实现高质量应用突破,也希望通过应用场景和应用数据反向促进大模型技术迭代升级。

四是强化国际合作,积极参与全球人工智能治理。以负责任的态度共同推动大模型的治理,希望人工智能的治理原则和伦理规范能够进一步在大模型的全链条中落地生根。同时在增进共识的基础上加强人工智能治理的全球合作。

标签:

资讯播报

乐活HOT

  • 《熊出没·伴我“熊芯”》票房破10亿 打破内地影史春节档动画片纪录
    《熊出没·伴我“熊芯”》票房破

    据各方数据,1月31日上午10时许,深圳出品的动画电影《熊出没·伴我熊芯》票房突破10亿元,在首日票房、档期票房、连续破亿天数等多方面打

  • 今年春节深圳游客出境游订单量大幅增加 曼谷等地成为最受欢迎目的地
    今年春节深圳游客出境游订单量大

    1月27日,携程发布的《2023年春节旅游总结报告》显示,今年春节,深圳游客的出境游订单量同比去年增长近5倍。相较国内热门景点的人山人海,

  • 2023年春节黄金周深圳共接待游客469.25万人次 旅游收入31.58亿元
    2023年春节黄金周深圳共接待游客

    1月27日,记者从深圳市文化广电旅游体育局获悉,2023年春节黄金周期间(1月21日至27日),深圳共接待游客469 25万人次,旅游收入31 58亿元,

  • 深圳机场连续多日客流量超过10万人次 卫星厅迎来首个大客流春运
    深圳机场连续多日客流量超过10万

    据深圳市春运办统计,1月15日和16日连续两天,深圳对外发送旅客人数都在48万左右,春运进入客流高峰期。1月15日,深圳春运对外旅客发送量达

  • 深圳交响乐团将将举办两场音乐会 以世界经典管弦乐和歌剧咏叹调为主
    深圳交响乐团将将举办两场音乐会

    新年音乐会是观众喜闻乐见的年度重要文化品牌活动,多年来已成为深圳市民跨岁迎新的例牌项目。12月30日、31日晚,深圳交响乐团将在深圳音乐

  • 深圳大力推进实施人才强市战略 深圳市人才总量已达到663万人
    深圳大力推进实施人才强市战略

    作为来深科研人员中的一员,中山大学附属第八医院的助理研究员郭雅婕对深圳在人才服务方面的举措赞不绝口:我作为基础研究人员,很希望自己

  • 2023年故宫年票正式开售 有消费者目前仍对购买年票持观望态度
    2023年故宫年票正式开售 有消费

    12月1日晚8点,2023年故宫年票正式开售。相比于去年,今年购票顺畅了许多。据了解,2022年故宫年票发售时,因短时间内购买年票人数过多,曾

  • 御寒类商品消费需求有所上升 羽绒服的整体销售额同比增长达100%
    御寒类商品消费需求有所上升 羽

    昨日,冷空气到达,广州气温逐步下降。据商超方面预测,随着气温的逐渐下降,市民对于御寒类商品消费需求有所上升,不少广州商超准备了有关

  • 深圳全市共排查窨井盖约350万个 发现存在问题的窨井盖约3.2万个
    深圳全市共排查窨井盖约350万个

    小井盖、大民生。今年以来,深圳开展全市窨井盖专项治理工作成效显著。截至11月20日,全市共排查窨井盖约350万个,发现存在问题的窨井盖约3

  • 汕汕铁路汕头站公布最新动态 首期工程预计将于2024年11月完成
    汕汕铁路汕头站公布最新动态 首

    备受关注的汕汕(汕头至汕尾)铁路汕头站及站区工程近日传出最新动态:项目已顺利完成工程招标工作,由中铁建设集团有限公司中标承建。目前,

娱乐LOVE

精彩推送