版权声明:本文版权为网易汽车所有,转载请注明出处。
网易汽车4月3日报道 2023中国电动汽车百人会论坛期间,商汤科技联合创始人、首席科学家、绝影智能汽车事业群总裁王晓刚表示,智能汽车是通用人工智能实现闭环的一个非常好的场景,我们已经有人机共驾。未来我们希望车和模型之间能够产生更有效的互动,那就完成了从人到车,到模型这样的一个互动的闭环,能够让通用人工智能为我们提供更好的驾乘体验,解锁无限的想象空间。
【资料图】
以下为王晓刚演讲实录:
各位同仁、各位嘉宾,大家上午好!我是商汤科技王晓刚,新年伊始,像ChatGPT,还有GPT-4掀起了通用人工智能的热潮,这是一场新的技术革命。今天我也是非常有幸能有这个机会跟大家一起探讨,通用人工智能和多模态大模型给智能汽车带来的机遇和挑战。
从2012年开始,过去十年,人工智能的技术革命是以深度学习不断去突破工业应用的红线为起点的,诞生了一系列的AI+场景的应用。那么基于每个场景都有不同的专属的模型,其中的研发成本比较高,周期比较长。
从2022年开始,新的通用人工智能,它是以非常高效的方式去解决海量的开放式任务,更加接近人的智能,而且能够产生有智慧的内容,它也带来了新的研究范式,即基于一个非常强大的多模态基模型,通过强化学习和人的反馈,不断解锁模型新的能力。
什么是通用人工智能呢?我们可以跟现有的人工智能系统做一个比较。现有的人工智能也能够接收多模态的数据,但是它输出的任务都是事先定义好的。如果我想给这个系统去增加一个新的任务,我就要对系统进行重新设计,还要采集大量样本。
在通用人工智能时代,我们通过输入提示词和多模态内容,它就可以去生成多模态的数据,更重要的是,它可以用自然语言去生成对任务的描述。自然语言即可以用非常灵活的方式去覆盖大量的长尾问题和开放性的任务,甚至包括一些主观描述。
比如说,在之前我们做一些特定场景的检索任务时,一个人工智能系统可能是有几十个标签。我们做过实验,如果要是用自然语言描述,我们可能有一万多个词,通过它们的组合去描述各种任务,实际上是非常强大,而且是灵活的。
那么,这里面举一个在自动驾驶中遇到的一个例子。给定一个图片,我们想去问我们是否需要减速?在我们现有的AI的系统里面,我们首先要做物体的检测,能够检测物体框,里面做文字的识别,最后做这样的一个决策。那么,其中所有的过程里面的每一个模块都是事先定义好的任务。
在通用人工智能下,给定图像,我们只需要用自然语言去问这个图像的问题,比方说,这个图标是什么意思,我们应该做什么?这个模型本身不会发生变化,它输出就会通过自然语言的方式,能够给我们一系列的这种逻辑的推理,最后给我们结论。比如说,它可以告诉我们这里面的限速是30公里每小时,前面100米是学校的区域,有小孩,你应该去小心,能够将车速降速到30公里每小时以下等等这一些。可以看到,这都是一些开放式的新的任务,可以对我们人工智能系统产生一个非常大的变革。
通用人工智能还有非常强的一点,它能够产生内容,而且是有智慧的内容。智能驾驶,或者自动驾驶汽车里面我们有“数据飞轮”的说法,我们的模型能够从驾驶终端采取高质量的数据,对模型进行更新,然后再去从终端提升数据的量和质。
在通用人工智能时代,它会有一个智慧的飞轮,这里面人和模型会产生互动,人会给模型输入什么呢?去输入Align With Human Intention,就是这个模型是很强大的,但是它其实不知道人需要它什么样的能力。通过人的反馈,它就更好的能够去理解人需要它展示什么样的能力,而去解锁这个模型更多的技能。同时,这个模型给人输出的是什么呢?是有智慧的一个内容。我们都知道,这些内容会激发人的各种创作和智慧的产生,所以这其中又会产生智慧的飞轮。
但是,AGI对算力的需求是非常大的。ChatGPT具备1750亿参数, 需要3000~5000张A100训练卡,而我们也可以看到ChatGPT一次训练的成本是上千万的美金。此外,今天它的推理的成本每天也有几百万美金高昂的成本在。
商汤从2021年在上海的临港建立了我们AIDC的超算中心,实际上是在这方面也有提前的这样的一个布局。SenseCore AI大装置基于2.7万块GPU的并行计算系统实现了5.0 exaFLOPS的算力输出,可支持最多20个千亿参数量超大模型(以千卡并行)同时训练。
从2019年开始,商汤从10亿参数的视觉模型研发,到今天有320亿全球最大规模的通用视觉的模型。在NLP领域,商汤当前也有接近2000亿参数的大模型,包括亦有能力去训练1800亿参数的多模态的模型。所以,未来通用人工智能基于多模态的基模型可以做视觉的感知,语言的理解、内容的生成和决策的推理。
商汤绝影是商汤下面做智能汽车的业务板块,我们坚持驾舱云三位一体的发展策略。我们希望能够通过驾舱融合,带来更好的驾乘体验;AI云能够去为自动驾驶提供数据闭环的服务,能够通过提供丰富的产品功能让智能座舱成为真正的第三生活空间。同时,商汤的AI云也为通用人工智能实现智能驾驶和智能座舱打下了非常强大的基础。
我们可以看到,在自动驾驶领域,BEV是我们当前主流的技术路线,未来可以朝多模态、通用人工智能的方向发展。我们通过AIGC可以去生成困难的样本,我们模型去输入多模态的这样的一些数据。其中,自动驾驶多模态的大模型可以做到感知和决策的一体化,输出则对3D的环境进行重建实现环境的可视化理解,我们的行为解码可以生成完整的路径的规划。同时,我们动机的解码器可以用自然语言去描述我们推理的过程,进而使我们自动驾驶的系统变得可以解释。
我们也是基于这些多模态的大模型可以做到数据的感知的闭环和决策的闭环,从前端自动的去采集高质量的数据,利用大模型自动的数据的标注,包括产品的检测,能够几百倍的去提升我们模型迭代的效率并降低它的成本。
在智能座舱板块,通用人工智能使我们基模型具备空间环境的理解、用户状态的感知,多模态的指令,还有多轮对话,内容生成等一系列的能力。它就可以去赋能,作为我们情绪的感知,智能助手,基于情感的对话、创意、内容的生成,个性的交互等等这一系列功能,不断地去提升我们的个性化的体验。也使我们的场景从上车、行车、停车、离车,进而拓展到娱乐、办公、购物、休息,这里面有很多的可以去探索的应用的场景。
实际上,智能汽车是通用人工智能实现闭环的一个非常好的场景,我们已经有人机共驾。未来我们希望车和模型之间能够产生更有效的互动,那就完成了从人到车,到模型这样的一个互动的闭环,能够让通用人工智能为我们提供更好的驾乘体验,解锁无限的想象空间。
最后,这个月商汤也在通用人工智能方面会有我们的技术日,去介绍一系列的多模态的大模型,包括语言的大模型、感知的大模型等等。我们希望去与我们的客户和合作伙伴共同迈向通用的人工智能,谢谢大家!
标签:
据各方数据,1月31日上午10时许,深圳出品的动画电影《熊出没·伴我熊芯》票房突破10亿元,在首日票房、档期票房、连续破亿天数等多方面打
1月27日,携程发布的《2023年春节旅游总结报告》显示,今年春节,深圳游客的出境游订单量同比去年增长近5倍。相较国内热门景点的人山人海,
1月27日,记者从深圳市文化广电旅游体育局获悉,2023年春节黄金周期间(1月21日至27日),深圳共接待游客469 25万人次,旅游收入31 58亿元,
据深圳市春运办统计,1月15日和16日连续两天,深圳对外发送旅客人数都在48万左右,春运进入客流高峰期。1月15日,深圳春运对外旅客发送量达
新年音乐会是观众喜闻乐见的年度重要文化品牌活动,多年来已成为深圳市民跨岁迎新的例牌项目。12月30日、31日晚,深圳交响乐团将在深圳音乐
作为来深科研人员中的一员,中山大学附属第八医院的助理研究员郭雅婕对深圳在人才服务方面的举措赞不绝口:我作为基础研究人员,很希望自己
12月1日晚8点,2023年故宫年票正式开售。相比于去年,今年购票顺畅了许多。据了解,2022年故宫年票发售时,因短时间内购买年票人数过多,曾
昨日,冷空气到达,广州气温逐步下降。据商超方面预测,随着气温的逐渐下降,市民对于御寒类商品消费需求有所上升,不少广州商超准备了有关
小井盖、大民生。今年以来,深圳开展全市窨井盖专项治理工作成效显著。截至11月20日,全市共排查窨井盖约350万个,发现存在问题的窨井盖约3
备受关注的汕汕(汕头至汕尾)铁路汕头站及站区工程近日传出最新动态:项目已顺利完成工程招标工作,由中铁建设集团有限公司中标承建。目前,
世界播报:青岛税务:出口退税赋动能
半岛网4月3日讯(记者李京媛通讯员胡丹青)日前,国家税务总局青岛市李沧区税务局开展出口退税及年度核销业务线上专场培训,落实国家支持出口
市立医院:眼皮爬满“虫” 刀到瘤除
半岛网4月3日讯(记者李京媛通讯员谢小真)对于张女士(化名)来说,照镜子是一件“闹心事”:眼皮上的黄色突起,像一条条虫子,不忍直视……
开展“回头看”,推进监督闭环,市北
3月30日,街道应急办约谈恒泰胜道运动城负责人。会上通报了前期市安全生产督导组“回头看”中发现的问题,并对企业的安全生产整改情况进行了复
爱心义诊送健康,贴心服务“零距离”
为提高辖区居民健康水平,近期台东街道通过开展义诊、公益讲堂等一系列丰富多彩的活动,为居民送去贴心服务和健康知识。眼科义诊进社区服务为
天天播报:青岛地铁9号线再传捷报!城
3月31日,青岛地铁9号线建设再传捷报,城子站首幅地下连续墙顺利浇筑完成。该地下连续墙也是9号线首个施工的地连墙,自此城子站正式进入车站围
焦点!第12届壹基金蓝色行动启动 助
中新网深圳4月3日电4月2日是世界孤独症日。深圳壹基金公益基金会连续第12年启动壹基金蓝色行动公益倡导活动,以“壹家人,不孤独”为主题,联
王筱宇_关于王筱宇介绍
王筱宇,关于王筱宇介绍这个很多人还不知道,我们一起来看看!1、王筱宇,北京吉利大学教授。2、公开发表论文,《我国农村金融体制的现实困境和
全球头条:王筱倩_关于王筱倩介绍
王筱倩,关于王筱倩介绍这个很多人还不知道,我们一起来看看!1、王筱倩,女,博士,扬州大学建筑科学与工程学院讲师。2、。关于王筱倩到此分享
王筠_关于王筠介绍
王筠,关于王筠介绍这个很多人还不知道,我们一起来看看!1、王筠(1784-1854年),字贯山,号箓友,山东安丘县(今山东省安丘市)人,清代语
全球观焦点:湖北襄阳:全面推行二手
湖北襄阳:全面推行二手房“带押过户”
王筱月_关于王筱月介绍
王筱月,关于王筱月介绍这个很多人还不知道,我们一起来看看!1、王筱月,1993年9月6日出生于重庆市,中国内地流行乐女歌手。2、2014年4月,参加19
近四百万粉丝 UP 主回应 B 站停
多位UP主密集地公开宣布暂停更新,大部分UP主表示平台收益减少、收支难以平衡是停止更新的主要原因 近百万粉丝的知识领域UP主图灵的猫对第一财
今亮点!“警营开放日”活动别开生面
文 羊城晚报全媒体记者郑达通讯员陈瑰琦“各位老师、小朋友们,大家好!”为全方位展现公安队伍新风貌、新担当、新作为,提高师生安全防范意识
天天微头条丨举报电话已公开!惠州法
南都讯记者郭秋成2023年4月起至2023年9月,惠州市中级人民法院将在全市开展“惠州执行风暴2023”专项行动,严厉打击逃避执行、规避执行、阻碍
环球新资讯:进出站点“多等三秒”温
公交车进站停稳后,驾驶员默念三秒后再开门;所有乘客上下车完毕后,驾驶员再次默念三秒后才关门起步……4月2日,城运控股交运温馨巴士608路队
字母哥:我专注于让球队变得更好 而
直播吧4月3日讯 今日NBA常规赛,雄鹿在主场以117-104轻取76人。赛后,字母哥接受了记者采访。他表示自己并没有专注于MVP,而是专注于雄鹿整体
世界微速讯:王筠权_关于王筠权介绍
王筠权,关于王筠权介绍这个很多人还不知道,我们一起来看看!1、王筠权,男,汉族。2、1957年10月出生,四川阆中人,研究生学历。关于王筠权到
麦基:我们需要赢得接下来的每一场胜
直播吧4月3日讯 今天,NBA常规赛独行侠130-132加时不敌老鹰,麦基赛后接受了媒体采访。谈到本场失利,麦基表示:“这真的很伤,我们一直在全
当前报道:拼多多小二再次怒斥炸店行
拼多多小二在朋友圈表示,有组织有预谋的「打砸」行为仍在持续,平台「百亿补贴」的店铺和商品成为攻击的主要目标 3月28日起,拼多多平台几
全球短讯!罗兰·巴尔特“中性”思想
作者:杜宁馨(中国人民大学文学院)在法国20世纪的后现代理论中,对禅道思想的发现和借用成为法国思想家反抗“逻格斯中心主义”和“话语霸权
卫子夫的结局为什么那么惨?卫子夫死
卫子夫结局为什么那么惨?卫子夫做了38年皇后,本应当享受富贵终老,但最后却因为受到巫蛊之祸的牵连,落得横死的结局。卫子夫是自杀而死。当时
上海政法大学是211还是985学校?上海
上海政法大学是211还是985学校?上海政法学院不是985也不是211大学。上海政法学院(Shanghai University of Political Science and Law
火烧圆明园发生在哪一场战争中?火烧
火烧圆明园发生在哪一场战争中?火烧圆明园是第二次鸦片战争中发生的。 咸丰十年(1860年)英法联军攻占北京后,占据圆明园。中国守军寡不敌众
精彩看点:戴格诺特:如果球队保持这
直播吧4月3日讯 今日NBA常规赛,雷霆主场118-128不敌太阳。赛后,雷霆主帅戴格诺特接受了记者采访。谈到球队表现,戴格诺特讲道:“我们常规
天天关注:即将完工!高明这个片区改
住在河江片区的街坊发现了吗?内街巷改造工程即将完工目前已完成工程量的90%改造后,有哪些变化?一起来看看高明区内街巷改造工程河江区域在20
今日快看!网签457套,4月2日佛山楼市
4月2日新房+存量房合网签457套,其中住宅203套(一手住宅130套)!新房网签量最高的是顺德区205套,合计10958㎡,南海区网签下滑明显;二手房成交排行
讯息:王符《潜夫论》释读_关于王符
王符《潜夫论》释读,关于王符《潜夫论》释读介绍这个很多人还不知道,我们一起来看看!1、《王符《潜夫论》释读》是(东汉)王符创作的现当代
环球报道:詹姆斯:我们有很多进攻火
直播吧4月3日讯 今日NBA常规赛,湖人在客场以134-109大胜火箭,赛后,詹姆斯接受了记者采访。谈到自己及球队整体表现,詹姆斯说道:“今天我
警惕食用河豚鱼、误食蓝环章鱼引发食
河豚鱼、蓝环章鱼均含有致命河豚毒素,食用会引发食物中毒,严重的情况下会致人死亡。为减少类似事件的发生,广东省市场监管局发布食品安全风
美太空发展局发射首批低轨道卫星,主
美国天军下属的太空发展局(SDA)的「分布式作战人员太空架构」首批卫星发射成功 美国当地时间4月2日,SpaceX公司使用「猎鹰」9火箭将太