搜索
当前所在位置: 首页>汽车资讯

算力不足,小模型成AI模型发展下个方向?

发布时间:2024-04-24 作者:汽车资讯 点击:12 【 字体:

大模型不是AI的唯一出路,把模型做小也是本事。这段时间,AI模型界是真的热闹,新的模型不断涌现,不管是开源还是闭源,都在刷新成绩。就在前几天,Meta就上演了一出“重夺开源铁王座”的好戏。发布了Llama38B和70B两个版本,在多项指标上都超越了此前开源的Grok-1和DBRX,成为了新的开源大模型王者。 并且Meta还透露,之后还将推出400B版本的Llama3,它的测试成绩可是在很多方面上都追上了OpenAI闭源的GPT-4,让很多人都直呼,开源版的GPT-4就要来了。尽管在参数量上来看,相比Llama2,Llama3并没有特别大的提升,但是在某些表现上,Llama3最小的8B版本都比Llama270B要好。可见,模型性能的提升,并非只有堆参数这一种做法。Llama3重回开源之王当地时间4月18日,“真·OpenAI”——Meta跑出了目前最强的开源大模型Llama3。本次Meta共发布了两款开源的Llama38B和Llama370B模型。根据Meta的说法,这两个版本的Llama3是目前同体量下,性能最好的开源模型。并且在某些数据集上,Llama38B的性能比Llama270B还要强,要知道,这两者的参数可是相差了一个数量级。 能够做到这点,可能是因为Llama3的训练效率要高3倍,它基于超过15T token训练,这比Llama2数据集的7倍还多。在MMLU、ARC、DROP等基准测试中,Llama38B在九项测试中领先于同行,Llama370B也同样击败了Gemini1.5Pro和Claude3Sonnet。尽管在参数量上并没有特别大的提升,但毫无疑问,Llama3的性能已经得到了很大的进步,可以说是用相近的参数量获得了更好的性能,这可能是在算力资源短期内无法满足更大规模运算的情况下所作出的选择,但这体现了AI模型的研发并非只有堆砌参数这一条“大力出奇迹”的道路。把大模型做小正成业内共识实际上,在Llama3之间的两位开源王者,Grok-1和DBRX也致力于把模型做小。和以往的大模型,使用一个模型解决一切问题的方式不同,Grok-1和DBRX都采用了MoE架构(专家模型架构),在面对不同问题的时候,调用不同的小模型来解决,实现在节省算力的情况下,保证回答的质量。而微软也在Llama3发布后没几天,就出手截胡,展示了Phi-3系列小模型的技术报告。在这份报告中,仅3.8B参数的Phi-3-mini在多项基准测试中都超过了Llama38B,并且为了方便开源社区使用,还特意把它设计成了与Llama系列兼容的结构。更夸张的是,微软的这个模型,在手机上也能直接跑,经4bit量化后的phi-3-mini在iPhone14pro和iPhone15使用的苹果A16芯片上能够跑到每秒12token,这也就意味着,现在手机上能本地运行的最佳开源模型,已经做到了ChatGPT水平。 而除了mini杯外,微软也一并发布了小杯和中杯,7B参数的Phi-3-small和14B参数的Phi-3-medium。在技术报告中,微软也说了,去年研究团队就发现,单纯堆砌参数量并非提升模型性能的唯一路径,反而是精心设计训练的数据,尤其是利用大模型本身去生成合成数据,并配合严格过滤的高质量数据,能够让中小模型的能力大幅跃升,所以他们也说,Textbooks are all you need,教科书级别的高质量数据才是重要的。AI模型发展正着力于摆脱限制自英伟达乘着AI的东风,成为行业内说一不二,当之无愧的“卖铲子的人”,各家AI公司都将英伟达的GPU视为“硬通货”,以致于谁囤有更多的英伟达的GPU,谁的AI实力就强。但英伟达的GPU的交付并未能始终跟上市场的需求。 因此,很多AI公司开始另谋出路,要么找其他的GPU生产商,要么决定自己研发AI芯片。即使你囤够了英伟达的GPU,也还有其他限制,OpenAI在前段时间就被爆出,因为训练GPT-6,差点把微软的电网搞瘫痪。马斯克也曾说过,当前限制AI发展的主要因素是算力资源,但在未来,电力会成为限制AI发展的另一阻碍。显然,如果持续“大力出奇迹”,通过堆砌参数量来实现AI性能的提升,那么以上这些问题迟早会遇到,但是如果把大模型做小,使用较小的参数量,实现同样或者更好的性能,那么将可以显著减少对算力资源的需求,进而减少对电力资源的消耗,从而让AI在有限资源的情况下,得到更好的发展。因此,接下来,谁能在将模型做小的同时,还能实现性能的增长,也是实力的体现。 参考资料:https://mp.weixin.qq.com/s/F9K0A_f4CFgfFyY3bf4F8ghttps://mp.weixin.qq.com/s/QJC76vH9ZrynQalkh0rXhg
阅读全文
相关推荐

菜鸟速递引发市场关注,内部人士进一步详解品质快递

菜鸟速递引发市场关注,内部人士进一步详解品质快递
来源:中新经纬2023-06-30 11:55:14   中新经纬6月28日电 6月28日,菜鸟集团宣布推出自营的品质快递品牌:菜鸟速递,引发市场积极关注。菜鸟内部人士透露,菜鸟速递并非是今天才开始做的新网络,而是经过了长达六年的...

【经纬晚班车】面向公职人员开展商品房团购?南阳住建局:不强制

【经纬晚班车】面向公职人员开展商品房团购?南阳住建局:不强制
来源:中新经纬2023-06-24 17:14:26 欢迎来到中新经纬《经纬晚班车》,这里有重要的新闻资讯、财经热点以及个股公告精选,为您理清财经领域的脉络。【晚间热点要闻】人社部:加强社保基金管理使用全过程监管6月20日至21日...

热评话题

热评话题
...

每周一评 | 北控抛出“新物种论”,你属于哪一类?

每周一评 | 北控抛出“新物种论”,你属于哪一类?
因为新冠疫情,往年3月底召开的E20水业论坛被推迟到了6月初,也让大家都有更充分的时间思考行业问题。所以,今年的水业论坛上妙语如珠,给人不少启发。 这不,北控水务集团执行...

霍涛:白山云再获“科技成果奖”,是对我们能力和实力的认可

霍涛:白山云再获“科技成果奖”,是对我们能力和实力的认可
...

中国互联网协会:打击利用恶意投诉非法牟利行为

中国互联网协会:打击利用恶意投诉非法牟利行为
来源:中新经纬2023-06-23 11:26:23   中新经纬6月21日电 中国互联网协会网站19日消息,为促进电信和互联网行业规范有序发展,保障企业和用户合法权益,打击利用恶意投诉牟取不当利益的违法违规行为,在工业和信息化部...

疯狂小杨哥下场,头部网红和MCN抢分短剧蛋糕

疯狂小杨哥下场,头部网红和MCN抢分短剧蛋糕
声明:本文来自于微信公众号 新播场(ID:New_bc),作者:场妹,授权站长之家转载发布。短剧已然成为了众人哄抢的“香饽饽”。近日,小杨哥公司“三只羊网络”入场拍短剧的消息引发热议。尤其是小杨哥之前宣布减少直播带货、淡出直播间,不免让人猜测,短剧或是他下一个发力的赛道。实际上,三只羊网络并非首个入...

全国工商联、生态环境部联合召开支持服务民营企业绿色发展座谈会

全国工商联、生态环境部联合召开支持服务民营企业绿色发展座谈会
6月4日,全国工商联、生态环境部在京联合召开支持服务民营企业绿色发展座谈会,深入贯彻习近平总书记重要讲话和指示批示精神,贯彻落实习近平生态文明思想,按照党中央、国务...

恒邦股份股票今日股价:4月24日收盘上涨3.73%

恒邦股份股票今日股价:4月24日收盘上涨3.73%
024年4月24日恒邦股份(002237)股市行情最新消息:今日恒邦股份(002237)开盘报11.03元,截至收盘,恒邦股份报收于11.39元,上涨3.73%,最高11.39元,最低11.00元,成交量16.02万手,成交额1.796亿元,换手率1.76%。 4月24日的资金流向数据方面,主力资金...

两协会倡议:做好电煤应急储备,提高迎峰度夏保障能力

两协会倡议:做好电煤应急储备,提高迎峰度夏保障能力
来源:中新经纬2023-06-29 08:03:17   中新经纬6月28日电 据中国煤炭市场网28日消息,中国煤炭工业协会、中国煤炭运销协会联合发布《关于做好迎峰度夏期间煤炭保供稳价工作的倡议书》(下称《倡议书》),要求做好电煤...
返回顶部