研究人员发现,AI技术公司的认知的Devin,它声称是“第一个AI软件工程师,“在工作上真是太糟糕了。
在最近的分析, 第一的被发现寄存器,一个机器学习数据科学家团队背后的AI研发实验室答案背后。EAI与AI助手一起度过了一个月,得出结论,尽管近一年炒作,但“很少有效”。
研究人员发现,在20项任务中,我们尝试了14次失败,三个不确定的结果以及仅3个成功。”
超级,我们都有这样的同事。但是对于应该代表未来的技术,这并不是鼓舞人心的信心。
团队写道:“更令人担忧的是我们无法预测哪些任务将成功。”“即使是类似于我们早期胜利的任务也将以复杂,耗时的方式失败。似乎有希望的自主性变成了一种责任。
例如,德文被要求将多个应用程序部署到称为Railway的部署平台,但并没有意识到“实际上不可能这样做”,而是向前迈进,试图做到这一点,并试图做到这一点,并幻觉了一些有关如何与之互动的事情铁路。”
结果表明,尽管AI的狂热营销关于Devin在2024年3月首次引入该工具时能够“构建和部署应用程序端到头”,但该技术仍在努力解决一些基本问题。
这是一个相关的话题,元首席执行官马克·扎克伯格(Mark Zuckerberg)最近宣布,他打算今年立即用AI代替“中级工程师”。根据一项最近的专栏经过轴联合创始人迈克·艾伦(Mike Allen)和首席执行官吉姆·范德海(Jim Vandehei)。
但是,该技术是否真的会辜负炒作,并准备在如此紧张的时间范围内开始更换人类工人,甚至完全是一个悬而未决的问题。
德文(Devin)是多种AI模型的合并,该模型通过消息平台Slack运行,并可以访问整个计算环境,包括Web浏览器,代码编辑器和终端。
Devin首次宣布时仅适用于精选的用户,但看到了上个月发布了很多更广泛的发布,从每月500美元的“工程团队”开始。
正如Answer.ai团队指出的那样,AI助理的早期演示给人留下了深刻的印象。在三月视频认知声称,德文可以用来在自由职业平台上工作“赚钱承担凌乱的任务”。
研究人员很快就犯规了,许多软件开发人员分析了认知的视频,并指责公司“说谎”其主张。
“所有这些东西看起来都像德文做了很多工作,” YouTube频道bugs Internet的软件工程师Carl Brown在四月视频。“它看起来像德文(Devin)成就了很多东西。”
他补充说:“因此,就我而言,这是令人印象深刻的。”“但是,在一项UPWORK工作应该是什么的背景下,尤其是在一群人说Devin'从Upwork中脱掉工作'的背景视频将使我们观看德文(Devin)的工作获得报酬,这又是一个谎言。”
Answer.ai和Brown都发现,在完成任务时,Devin的时间也比任何人类编码员都要长得多。
Anders.ai研究人员写道:“似乎很简单的任务通常花费数日而不是数小时,而不是数小时,而Devin陷入了技术死胡同或产生过于复杂,无法使用的解决方案。”
简而言之,联盟的德文(Devin)强调了AI公司的主张和现实之间通常差距,这已经困扰着该行业多年。
因此,无论AI助手能够能够能够能够能够能够替代软件工程师而不会引起其人类同事的任何重大头痛,至少还有待观察。
有关用AI代替工人的更多信息: 首席执行官吹嘘用AI替换工人现在很痛苦的人AI也将取代他的工作