逆天的GPT-2居然还能写代码

问耕 发自 麦蒿寺

量子位 出品 | 公众号 QbitAI

昨天，OpenAI发布了逆天的GPT-2，举世皆惊。

这个拥有15亿参数的语言AI，写起文章来文思泉涌毫无违和感，无需针对性训练就能横扫各种特定领域的语言建模任务，还具备阅读理解、问答、生成文章摘要、翻译等等能力。

但，这还不是全部。

各路研究者发现，GPT-2其实还学了好几种编程语言。

比方，JavaScript。

纽约大学工程学院的助理教授Brendan Dolan-Gavitt发现，GPT-2在学会写英文的同时，还悄悄学了一些js脚本语言。

?

证据：

以及sample 195证明，GPT-2貌似还懂一点PHP语言……

Facebook AI研究院的Tim Rockt?schel以及Nantas Nardelli，自从看到GPT-2就一直想方设法让这个AI写代码。

求仁得仁，没想到GPT-2真给写出来了。

Tim Rockt?schel赶紧发推特说，人类有麻烦了……

不过，上述种种GPT-2写的代码都不是很严谨。Nantas Nardelli也补充说，他俩尝试过很多次，贴出来的这次只是效果最好的一次，而且这个AI写代码，似乎很容易把js、C 、Python等语言混到一起写。

当然，这里还有个问题。

就是大家尝试的模型，都是OpenAI放出的缩小版模型，参数只有1.17亿个参数。也许使用完整版的GPT-2，AI能够写出更漂亮的代码。

完整版和缩小版差距有那么大么？

有的。

MIT Tech Review的作者will knight试用GPT-2写了一个故事。他在开头给了一句话：猫和企鹅起了争执（The cat and the penguin had an argument），然后剩下的故事就是AI自己编写完成，包括它们因为一片面包起争执，还打起来云云。

GPT-2编的有模有样。

不过，有人用OpenAI放出来的模型试了一下，发现同样的开头，故事却编的奇奇怪怪、不成样子，完全不知所云的感觉。

最后大家一讨论，明白了：

原来那个有模有样的故事，用的完整版是用15亿参数的完整版GPT-2生成的，而不知所云的故事，使用缩小版GPT-2生成的。

差距真的很明显。

还记得昨天OpenAI怎么说的么？GPT-2太厉害了，我们不敢放出完整模型。结果大家要想试用，只能得到不厉害的结果。

也正是OpenAI这个言论，引发一堆网友疯狂吐槽。

这两天在reddit上，有两个高赞的讨论。

有一个网友说，我训练了一个23064层的ResNet，在MNIST上的准确率达到99.6%，我该把这个模型分享出来么？我有点害怕它被恶意使用。

嗯，这么明显的指桑骂槐，大家一看就知道在说谁。

还有更明显的。

另一个网友说，OpenAI是不是该改名了，我看叫ClosedAI吧。

：）

作者系网易新闻·网易号“各有态度”签约作者

—完—

加入社群

量子位现开放“AI 行业”社群，面向AI行业相关从业者，技术、产品等人员，根据所在行业可选择相应行业社群，在量子位公众号（QbitAI）对话界面回复关键词“行业群”，获取入群方式。行业群会有审核，敬请谅解。

此外，量子位AI社群正在招募，欢迎对AI感兴趣的同学，在量子位公众号（QbitAI）对话界面回复关键字“交流群”，获取入群方式。

诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。

喜欢就点“好看”吧 !