搜索
当前所在位置: 首页>汽车资讯

微软开源最强小参数大模型—Phi-3 Mini

发布时间:2024-04-24 作者:汽车资讯 点击:17 【 字体:

声明:本文来自于微信公众号AIGC开放社区(ID:AIGCOPEN),作者:AIGC开放社区,授权站长之家转载发布。4月23日晚,微软在官网开源了小参数的大语言模型——Phi-3-mini。据悉,Phi-3-mini是微软Phi家族的第4代,有预训练和指令微调多种模型,参数只有38亿训练数据却高达3.3T tokens,比很多数百亿参数的模型训练数据都要多,这也是其性能超强的主要原因之一。Phi-3-mini对内存的占用极少,可以在 iPhone14等同类手机中部署使用该模型。尽管受到移动硬件设备的限制,但每秒仍能生成12个tokens数据。值得一提的是,微软在预训练Phi-3-mini时使用了合成数据,能帮助大模型更好地理解语言架构、表达方式、文本语义理解、逻辑推理以及特定业务场景的专业术语等。开源地址:https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3Ollama地址:https://ollama.com/library/phi3技术报告:https://arxiv.org/abs/2404.142192023年6月,微软首次推出了专用于Python编码的模型Phi-1,只有13亿参数却在编程领域击败了GPT-3.5等知名模型,这让微软看到小参数模型的广阔发展空间。随后在Phi-1基础之上,微软推出了具备推理、文本生成、内容总结、起草邮件的大语言模型Phi-1.5,成为当时最强小参数模型之一。2023年12月,微软在Phi-1.5基础之上开发了Phi-2,参数只有27亿并且在没有人类反馈强化学习和指令微调的情况下,击败了130亿参数的Llama-2和70亿参数的Mistral;在编码和数学测试中,Phi-2的性能甚至超过了700亿参数的Llama-2。本次发布的Phi-3系列集合了之前三代所有的优秀技术特征,并使用了海量高质量数据集、创新的训练、微调方法,使其成为目前最强的开源小参数模型。Phi-3-mini架构简单介绍Phi-3-mini采用了transformer架构,支持4K和128K上下文窗口,也是同类小模型中第一个支持128K的开源产品。高质量训练数据集是Phi-3-mini性能超强的重要原因之一,微软使用了3.3T tokens数据集包括:经过严格质量筛选的网络公开文档、精选的高质量教育数据和编程代码;通过合成数据创建的教科书式数据,例如,数学、编码、常识推理、世界常识、心理科学等;高质量聊天格式的监督数据,涵盖各种主题以反映人类在不同方面的偏好,例如,遵循指令、真实性、诚实性等。在训练策略方面,为了帮助Phi-3-mini更好地吸收合成数据,微软使用了迭代训练策略:初始阶段,Phi-3-mini使用了公开网络数据,学会了基本的语法、语义和上下文理解;迭代阶段,将合成数据与网络数据合并构建全新的训练集,并对Phi-3-mini进行迭代训练,进一步强化模型的理解和生成能力,并且进行多次重复训练。测试数据方面,Phi-3Mini在MMLU、GSM-8K、MedQA、BigBench-Hard等知名基准测试平台中,对语言理解、逻辑推理、机器翻译、编码等进行了综合测试。结果显示,Phi-3-mini仅通过少量样本提示,在语言理解、编码、数学的性能超过了参数更大的模型,整体性能非常出色。微软表示,在未来几周内还会发布70亿参数的Phi-3-small和140亿参数的Phi-3-medium两款小模型。其中,Phi-3-medium的性能可媲美Mixtral8x7B 和GPT-3.5,资源消耗却更少。
阅读全文
相关推荐

4月26日东祥金店黄金717元/克 铂金375元/克

4月26日东祥金店黄金717元/克 铂金375元/克
2024年4月26日,实物黄金东祥金店黄金黄金报价717元/克,相比上一个交易日上涨了5元/克。铂金价格今天报价375元/克,相比昨日上涨了6元/克 。附表:东祥金店黄金价格铂金价格金条价格单位2024年4月26日717375-元/克2024年4月25日712369-元/克金投网提示:以上报价仅供参...

美赞臣基金会捐赠一千万元营养品 启动乡村母婴营养改善计划

美赞臣基金会捐赠一千万元营养品 启动乡村母婴营养改善计划
来源:中新经纬2023-06-30 11:26:30   中新经纬6月28日电 6月28日,广州美赞臣公益基金会(简称“美赞臣基金会”)携手中国儿童少年基金会于甘肃省西和县启动“用爱传递・更好开始”乡村母婴营养改善计划公益项目(简...

热评话题

热评话题
...

张坤三年期产品开放赎回:收益不如银行存款,要不要卖掉?

张坤三年期产品开放赎回:收益不如银行存款,要不要卖掉?
来源:中新经纬2023-06-24 08:03:20   中新经纬6月21日电 (薛宇飞 实习生 石章硕)近日,知名基金经理张坤管理的易方达优质企业三年持有基金首个三年运作期届满,开放了日常赎回和转换转出业务。这几天,围绕是否要赎...

今日贵金属板块行情(2024年4月24日)

今日贵金属板块行情(2024年4月24日)
2024年4月23日贵金属板块指数股市行情最新消息:今日贵金属板块开盘报1058.63,截至收盘,贵金属板块指数报收于1091.16,上涨3.38%,最高1094.49,最低1056.42,成交量774.3万手,成交额98.37亿元,换手率1.95%。 4月23日资金流向数据方面,主力资金净流入2....

广东佛山:住房公积金贷款上限拟提至50万元/人

广东佛山:住房公积金贷款上限拟提至50万元/人
来源:中新经纬2023-06-27 09:00:25   中新经纬6月26日电 据佛山市住房公积金管理中心网站消息,近日,佛山市住房公积金管理中心发布《关于阶段性提高个人住房公积金贷款额度的通知(征求意见稿)》(下称《意见稿》)。...

两周年丨长江大保护长三角区域建设纪实

两周年丨长江大保护长三角区域建设纪实
2018年4月26日,总书记在武汉召开的深入推动长江经济带发展座谈会上严肃指出,长江病了,而且病的不轻。三峡集团生于长江、长于长江,其自身发展与长江生态环境质量改善休戚相关...

今日黄金期货价格实时行情(2024年4月24日)

今日黄金期货价格实时行情(2024年4月24日)
今日黄金期货价格实时行情(2024年4月24日) 今日黄金期货价格(2024年4月24日) 名称 最新价 开盘价 昨收价 最高价 最低价 报价单位 沪金主力 550.34 546.80 5...

4月24日星光达珠宝黄金711元/克 铂金360元/克

4月24日星光达珠宝黄金711元/克 铂金360元/克
2024年4月24日,实物黄金星光达珠宝黄金报价711元/克,相比上一个交易日下跌了6元/克。铂金价格今天报价360元/克,相比上一个交易日保持不变。附表:星光达珠宝黄金价格铂金价格金条价格单位2024年4月24日711360-元/克2024年4月23日717360-元/克金投网提示:以上报价仅供参...

热评话题

热评话题
...
返回顶部