搜索
当前所在位置: 首页>AI资讯

发布几小时,微软秒删媲美GPT-4开源大模型!竟因忘记投毒测试

发布时间:2024-04-24 作者:汽车资讯 点击:29 【 字体:

声明:本文来自于微信公众号 新智元(ID:AI_era),作者:新智元,授权站长之家转载发布。【新智元导读】前段时间,微软公布并开源了最新一代大模型WizardLM-2,号称性能堪比GPT-4。不过,还未上线一天,模型权重和公告全被删除了,原因竟是......上周,微软空降了一个堪称GPT-4级别的开源模型WizardLM-2。却没想到发布几小时之后,立马被删除了。有网友突然发现,WizardLM的模型权重、公告帖子全部被删除,并且不再微软集合中,除了提到站点之外,却找不到任何证据证明这个微软的官方项目。GitHub项目主页已成404。项目地址:https://wizardlm.github.io/包括模型在HF上的权重,也全部消失了.....全网满脸疑惑,WizardLM怎么没了?然鹅,微软之所以这么做,是因为团队内部忘记对模型做「测试」。随后,微软团队现身道歉并解释道,自几个月前WizardLM发布以来有一段时间,所以我们对现在新的发布流程不太熟悉。我们不小心遗漏了模型发布流程中所需的一项内容 :投毒测试微软WizardLM升级二代去年6月,基于LlaMA微调而来的初代WizardLM一经发布,吸引了开源社区一大波关注。论文地址:https://arxiv.org/pdf/2304.12244.pdf随后,代码版的WizardCoder诞生——一个基于Code Llama,利用Evol-Instruct微调的模型。测试结果显示,WizardCoder在HumanEval上的pass@1达到了惊人的73.2%,超越了原始GPT-4。时间推进到4月15日,微软开发者官宣了新一代WizardLM,这一次是从Mixtral8x22B微调而来。它包含了三个参数版本,分别是8x22B、70B和7B。最值得一提的是,在MT-Bench基准测试中,新模型取得了领先的优势。具体来说,最大参数版本的WizardLM8x22B模型性能,几乎接近GPT-4和Claude3。在相同参数规模下,70B版本位列第一。而7B版本是最快的,甚至可以达到与,参数规模10倍大的领先模型相当的性能。WizardLM2出色表现的背后的秘诀在于,微软开发的革命性训练方法论Evol-Instruct。Evol-Instruct利用大型语言模型,迭代地将初始指令集改写成越来越复杂的变体。然后,利用这些演化指令数据对基础模型进行微调,从而显著提高其处理复杂任务的能力。另一个是强化学习框架RLEIF,也在WizardLM2开发过程中起到了重要作用。在WizardLM2训练中,还采用了AI Align AI(AAA)方法,可以让多个领先的大模型相互指导和改进。AAA框架由两个主要的组件组成,分别是「共同教学」和「自学」。共同教学这一阶段,WizardLM和各种获得许可的开源和专有先进模型进行模拟聊天、质量评判、改进建议和缩小技能差距。通过相互交流和提供反馈,模型可向同行学习并完善自身能力。对于自学,WizardLM可通过主动自学,为监督学习生成新的进化训练数据,为强化学习生成偏好数据。这种自学机制允许模型通过学习自身生成的数据和反馈信息来不断提高性能。另外,WizardLM2模型的训练使用了生成的合成数据。在研究人员看来,大模型的训练数据日益枯竭,相信AI精心创建的数据和AI逐步监督的模型将是通往更强大人工智能的唯一途径。因此,他们创建了一个完全由AI驱动的合成训练系统来改进WizardLM-2。手快的网友,已经下载了权重然而,在资料库被删除之前,许多人已经下载了模型权重。在该模型被删除之前,几个用户还在一些额外的基准上进行了测试。好在测试的网友对7B模型感到印象深刻,并称这将是自己执行本地助理任务的首选模型。还有人对其进行了投毒测试,发现WizardLM-8x22B的得分为98.33,而基础Mixtral-8x22B的得分为89.46,Mixtral8x7B-Indict的得分为92.93。得分越高越好,也就是说WizardLM-8x22B还是很强的。如果没有投毒测试,将模型发出来是万万不可的。大模型容易产生幻觉,人尽皆知。如果WizardLM2在回答中输出「有毒、有偏见、不正确」的内容,对大模型来说并不友好。尤其是,这些错误引来全网关注,对与微软自身来说也会陷入非议之中,甚至会被当局调查。有网友疑惑道,你可以通过「投毒测试」更新指标。为什么要删除整个版本库和权重?微软作者表示,根据内部最新的规定,只能这样操作。还有人表示,我们就想要未经「脑叶切除」的模型。不过,开发者们还需要耐心等待,微软团队承诺,会在测试完成后重新上线。参考资料:https://favtutor.com/articles/wizardlm-2-benchmarks/https://anakin.ai/blog/wizardlm-2-microsoft/
阅读全文
相关推荐

热评话题

热评话题
...

《AI算力产业链全景梳理报告》:大模型火热,中国AI服务器市场规模今年有望突破百亿美元

《AI算力产业链全景梳理报告》:大模型火热,中国AI服务器市场规模今年有望突破百亿美元
来源:中新经纬2023-06-23 11:55:15   中新经纬6月21日电 (孙庆阳)生成式AI已取得突破,实现了从0到1的跨越。中信建投证券联合中新经纬研究院共同发布了《算力大时代,AI算力产业链全景梳理》,报告对生成式AI...

热评话题

热评话题
...

热评话题

热评话题
...

黄金二次探底回升 日内金价保持慢涨

黄金二次探底回升 日内金价保持慢涨
本交易日,黄金价格盘内2340一线附近开启慢涨,日内黄金区间延续缓涨走势,日内金价区间波动为主。 打开APP,查看更多高清行情>> 美国一季度GDP增速不及市场预期成为了市场焦点。数据显示美国经济增长放缓幅度超过预期,导致美元指数下跌至近两周低位。这一利好消息推动了黄金价格守在布林线中...

热评话题

热评话题
...

《焦化行业规范条件》印发 节能环保转型看这里

《焦化行业规范条件》印发 节能环保转型看这里
为进一步加快焦化行业转型升级,促进焦化行业技术进步,提升资源综合利用率和节能环保水平,推动焦化行业高质量发展,2020年6月11日,工信部发布 《焦化行业规范条件》 。 本规范...

研究显示,GPT-4可以自主利用安全漏洞,具备攻击性

研究显示,GPT-4可以自主利用安全漏洞,具备攻击性
划重点:⚠️ 研究揭示:GPT-4可以独立利用安全漏洞⚠️ 通过15个真实一日漏洞,GPT-4成功率高达87%⚠️ 研究呼吁广泛部署 LMM 代理需谨慎对待站长之家(FM富民主版转载http://www.fmhost.net)4月24日 消息:每周至少有一次,生成式人工智能都会给我们带来新的恐惧。虽...

用动态明信片方式打开春暖花开

用动态明信片方式打开春暖花开
用动态明信片方式打开春暖花开...

4月26日扬州金店黄金670元/克 铂金360元/克

4月26日扬州金店黄金670元/克 铂金360元/克
2024年4月26日,实物黄金扬州金店黄金报价670元/克,相比上一个交易日保持不变。铂金价格今天报价360元/克,相比上一个交易日保持不变。附表:扬州金店黄金价格铂金价格金条价格单位2024年4月26日670360-元/克2024年4月25日670360-元/克金投网提示:以上报价仅供参考,据此交...
返回顶部