神秘大模型一夜刷屏,能力太强被疑GPT4.5,奥特曼避而不答打哑谜

5个月前 49观看

gpt2-chatbot,自曝是“人格v2”版ChatGPTpJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

一夜之间,大模型话题王,再次易主。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

一个神秘模型突然杀入众人视野,能力超越一众开源模型,甚至包括GPT-4。几乎所有人都在谈论它,服务器都被挤爆了。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

它就是“gpt2-chatbot”。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

(注意啊,是gpt2不是GPT-2)pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

它有多强?pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

IMO国际数学奥林匹克竞赛的题目,一次答对。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

一次在PyOpenGL中生成旋转3D立方体。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

直接输出如下结果:pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

在GPT-4标志性能力“画独角兽”上,还能轻松秒杀LLaMA-3-70B(左)。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

推理方面更是表现出了惊艳效果,常见逻辑陷阱可以轻松绕过,而且回答时还带有合适的语气。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

如此好的表现,但是又没明说身份……pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

这不是更让大伙兴奋了!pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

要知道,名震江湖的AlphaGo就曾使用“Master”化名在网上大杀四方,轰动围棋界。这回的gpt2-chatbot,也有这感觉了。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

而且名字上也很值得深究,gpt2更像是gpt2.0,似乎是ChatGPT层级的版本迭代。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

奥特曼看热闹不嫌事大,还发帖说:我确实对gpt2情有独钟。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

现在,随着冲去试玩的人还在不断增加,试玩限制也在加大。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

具体咋样?我们已经上手实测。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

中文能力也很到位

如果想亲手测试这只神秘AI,目前唯一已知方式是在LMSYS大模型竞技场。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

首先打开竞技场网页,进入Direct Chat,就可以在模型选项里找到gpt2-chatbotpJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

要注意每人每天有8条消息的限制全局也有每小时3000条消息的限制,所以测试机会非常有限。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

如果看到下面的错误提示,就只能去竞技场排位模式看运气能不能匹配到它了。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

只要抓到它一次,就可以继续多轮对话。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

在短暂的测试中,我们发现gpt2-chatbot中文能力也很到位pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

只要问题是中文的,无需特别强调就可以默认用中文回答,至少可以排除是Llama 3微调了pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

针对一个充满误导的经典问题,可以看出gpt2-chatbot的回答条理分明,仿佛自带CoT思维链提示(“让我们一步一步地想”),识别出了所有陷阱。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

并且准确提供了非常细节的知识,如北京到青岛距离、男子女子跳远世界纪录、农夫山泉在国内的价格等。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

而大多数其他AI模型,最多只能模糊的判断出15米超出人类能力,或按美元算矿泉水价格。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

那么这只超强神秘AI到底是何方神圣,我们也用破解GPTs的祖传手艺“拷问”了一把。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

OpenAI开发的GPT系列聊天机器人,那么系统提示词的开头不出意外应该是“You are ChatGPT……”,但为了防止它看到“ChatGPT”一词后产生幻觉,我们在问题中把ChatGPT去掉。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

清除所有上下文信息,再让它复述“前面的单词”,就会出现系统提示词了。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

果然,它自曝是由OpenAI训练的大模型,基于GPT-4架构,还可以接受图像输入。最关键一点在最后一部分“人格:v2”pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

并且gpt2-chatbot对这一问题的回答,在不同时间不同地点尝试都是一致的pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

另外如果尝试让它重复Claude系列以“The assistant is”开头的系统提示词,它也不会上当,会在开头后面重复一遍完整的问题。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

这样答也不算错pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

虽然就算这样也不能排除是幻觉的可能性,或非GPT模型使用了ChatGPT生成的数据微调,但至少是稳定的pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

神秘AI身份的几种主流猜测

有网友组织了更详细的测试,有如下发现:pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

  • 它使用OpenAI的tokenizer,对OpenAI使用的特殊token有反应,且对Claude/Llama/Gemini使用的特殊token没有影响。
  • 当咨询紧急情况/法律相关问题时,它会给出OpenAI的联系方式。
  • 针对OpenAI模型的提示词注入攻击有效,且它从未声称自己来自OpenAI之外的组织。

……pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

基于以上种种信息,不少人猜测它就是匿名发布的GPT-4.5,或GPT-4原始版本经过不同的对齐训练pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

不过也有迹象表明,它可能是LMSYS组织基于2019年的GPT-2架构训练的模型pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

理由为最近发表的一篇论文声称,GPT-2在某些情况下比多个现代模型能力更强。并且这篇论文的作者之一与LMSYS的赞助商MBZUAI(阿联酋人工智能大学)相关。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

假设它确实是古老的GPT-2架构(只有1.5B参数),也有人怀疑可能是结合了OpenAI守口如瓶的Q*技术。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

最后一种猜测(狗头)便是失踪的OpenAI首席科学家Ilya Sutskever藏在里面了。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

最后,面对神秘新模型搅起来的种种风波,奥特曼本人还被发现来搅浑水,修改了他的推文细节。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

这样一下子,是OpenAI匿名发布新模型炒作的可能性更大了一些。pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

试玩地址:
http://chat.lmsys.org/pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

参考链接:
[1]http://twitter.com/i/trending/1785009023609397580pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany
[2]http://rentry.org/gpt2pJa莫卡妮生活网-记录每日创新科技时尚娱乐生活Mocany

本文链接:http://www.mocany.com/showinfo-1-36983-0.html神秘大模型一夜刷屏,能力太强被疑GPT4.5,奥特曼避而不答打哑谜

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com。天上从来不会掉馅饼,请大家时刻谨防诈骗