英语轻松读发新版了,欢迎下载、更新

入门级开发人员而不是依靠AI的风险

2025-04-07 06:02:04 英文原文

作者:by Andrada Fiscutean Freelance writer

随着AI生成的代码变得越来越普遍,一些CISO认为过度依赖可能会侵蚀开发人员的关键技能,这些技能可以创建盲点组织不应忽略。

每当Chatgpt等工具下降时,看到软件开发人员远离桌子,休息一下或沮丧地靠在椅子上靠在椅子上并不罕见。对于技术领域的许多专业人员,AI辅助编码工具已成为方便。甚至是短暂的停电,就像发生的那一次2025年3月24日,可以停止发展。

是时候煮咖啡并在阳光下坐15分钟的时间了,reddit用户。同样,另一个回应。

在技​​术专业人员(包括网络安全工作的人)中,对诸如Chatgpt这样的生成AI工具的过度依赖稳步增长。这些工具正在改变开发人员编写代码,解决问题,学习和思考的方式通常提高短期效率。但是,这种转变是由权衡取舍的:开发人员冒着削弱其编码和批判性思维技能的风险,最终可能会对他们和他们所工作的组织产生长期的影响。

我们观察到了一种趋势,即初级专业人员,尤其是那些进入网络安全的专业人员,在Tuskira联合创始人和CISO/CPO的Om Moolchandani说。许多人可以生成功能代码片段,但很难解释其背后的逻辑或保护它们免受现实攻击方案的保护。

一个微软最近的调查支持Moolchandani的观察结果,强调说,依靠AI做部分工作的工人往往不太在质疑,分析和评估他们的工作中参与其中,尤其是当他们相信AI会带来准确的结果时。``当使用Genai工具时,投资于批判性思维从信息收集到信息验证的努力;从解决问题到AI响应集成;从任务执行到任务管理。

随着AI代码生成器改变开发人员的工作方式,他们还重塑了组织的运作方式。网络安全领导者面临的挑战是在不牺牲的情况下利用这项技术批判性思维,创造力和解决问题,使开发人员变得伟大的技能。

短期胜利,长期风险

一些CISO担心对AI代码生成器的日益依赖 - 尤其是在初级开发人员中 - 而另一些人则采用更轻松,更耐候地看待的方法,称这可能是将来的问题,而不是直接的威胁。Endor Labs CISO的Karl Mattson认为,在大多数大型企业中,AI仍处于早期阶段,实验的好处仍然超过风险。一个 

他说,我没有看到明确的证据表明,AI的依赖正在导致基本编码技能的广泛下降。”``现在,我们处于创造性乐观,原型制作以及通过AI的早期成功的领域。核心基础知识的下降仍然感觉很大。

其他人已经看到过度依赖对编写代码的AI工具的某些影响。耶鲁大学隐私实验室的创始人兼首席执行官兼PrivacySave的创始人肖恩·奥·布赖恩(SeanOâBrien)对日益增长的依赖生成AI表示强烈关注。严重依赖AI驱动的工具(例如Chatgpt或低代码平台)的开发人员通常会鼓励一种氛围编码的心态,在这种情况下,他们更专注于使某些事情变得工作,而不是实际理解它的工作方式或原因。”

Cynet的首席技术官Aviad Hasnis也很担心,尤其是在初级专业人员方面,他们在不完全掌握其基本逻辑的情况下严重依赖AI生成的代码。他说,网络安全工作需要批判性思维,故障排除技能以及评估AI模型所建议的风险的能力。” 

尽管依靠AI代码生成器可以提供快速的解决方案和短期收益,但随着时间的流逝,这种依赖性可能适得其反。结果,当AI系统不足或不足时,开发人员可能会很难适应,从长远来看,他们作为创新者和技术人员的潜在无效。

盲点,合规性和违反许可证的风险

随着生成AI越来越嵌入软件开发和安全工作流程,网络安全领导者正在引起人们对可能引入的盲点的担忧。

Moolchandani说,AI可以生成看起来安全的代码,但它缺乏对组织威胁模型,合规需求和对抗性风险环境的上下文认识。”

Tuskira的CISO列出了两个主要问题:首先,AI生成的安全法规可能不会与不断发展的攻击技术进行硬化;其次,它可能无法反映组织的特定安全格局和需求。此外,AI生成的代码可能会产生错误的安全感,因为开发人员,尤其是经验不足的代码,通常认为它是默认情况下是安全的。

此外,存在与合规性和违反许可条款或监管标准有关的风险,这可能导致法律问题。Oâbrien说,许多AI工具,尤其是那些基于开源代码库生成代码的工具,可以无意中引入未经审查的,不当的许可甚至恶意代码。 

例如,开源许可通常对归因,再分配和修改有具体要求,并且依赖AI生成的代码可能意味着意外违反这些许可证。Oâbrien补充说,在网络安全工具的软件开发中,这尤其危险,在这种网络安全工具的情况下,遵守开源许可不仅是法律义务,而且会影响安全姿势。”•无意中违反知识产权法或触发法律责任的风险很大。

从技术的角度来看,在Digital.ai的CTO翼指出,AI生成的代码不应被视为银弹。他说,AI生成的代码和其他领域的主要挑战是,它认为它的质量比人类产生的代码更好。”AI生成的代码的风险可能包括漏洞,受保护的IP以及埋葬在训练有素的数据中的其他质量问题。

AI生成的代码的上升增强了组织在软件开发和交付中采用最佳实践的需求。这包括始终应用独立的代码审查并实施具有自动质量和安全检查的强大CI/CD流程。

改变招聘过程

由于生成的AI将留在这里,因此CISO及其服务的组织再也无法忽视其影响了。在这个新的常规中,有必要建立促进批判性思维,促进对代码的深刻理解并加强所有参与任何代码写作团队的问责制的护栏。

Moolchandani说,公司还应该重新考虑如何在招聘过程中评估技术技能,尤其是在招募经验不足的专业人士时。代码测试可能不再足够 - 需要更加关注安全推理,架构和对抗性思维。” 

在DH2I的招聘过程中,非政府组织告诉他们评估候选人对AI的依赖,以评估他们进行批判性思考和独立工作的能力。尽管我们认识到AI在提高生产率方面的价值,但我们宁愿雇用具有基本技能基础的强大基础的员工,使他们能够有效地将AI用作工具,而不是依靠它作为拐杖。”

纽约大学全球CIO唐·韦尔奇(Don Welch)也有类似的观点,并补充说,将在这个新范式中壮成长的人将是那些保持好奇,提出问题并寻求尽可能最好地了解周围世界的人。沃尔奇说,雇用成长和学习对他们很重要的人。”韦尔奇说。

一些网络安全领导者担心过度依赖AI会扩大该行业已经努力的人才短缺危机。对于中小型组织而言,寻找熟练的人,然后帮助他们成长可能变得越来越困难。

生成的AI不得替换编码知识

使用AI工具编写代码而不开发深厚技术基础的早期职业专业人员的高风险。Moolchandani说,他们可能对攻击向量,系统内部或安全的软件设计没有很好的了解。``这可能会将其增长限制为高级安全角色,在威胁建模,可剥削性分析和安全工程方面的专业知识至关重要。公司可能会区分那些在AI中增强技能的人以及依靠AI来弥合基本差距的人。”

Moolchandani和其他人建议组织增加培训工作,并调整转移知识的方法。他说,在职培训必须更加动手,重点是现实世界中的漏洞,剥削技术和安全的编码原则。”

马特森说,组织应该更多地专注于帮助员工在未来获得相关技能。技术将快速发展,仅培训计划可能不足以保持步伐。Mattson补充说,但是一种不断提高技能的文化对于发生的任何变化都持久。”

Hasnis说,这些培训计划应帮助员工了解AI的优势和局限性,学习何时依靠这些工具以及何时必须进行人工干预。他说,通过将AI驱动的效率与人类的监督相结合,公司可以利用AI的力量,同时确保其安全团队保持参与,熟练和韧性。”他建议开发人员始终质疑AI输出,尤其是在对安全敏感的环境中。 

OâBrien还认为,AI应该与人类的专业知识息息相关。他说,公司需要创建一种将AI视为一种工具的文化:可以帮助但不能取代对编程和传统软件开发和部署的深刻了解。”

公司至关重要的是,不得不陷入仅使用AI来修补缺乏专业知识的陷阱。

订阅我们的新闻通讯

从我们的编辑直接到您的收件箱

通过在下面输入您的电子邮件地址开始。

关于《入门级开发人员而不是依靠AI的风险》的评论


暂无评论

发表评论

摘要

软件开发和网络安全中生成的AI的兴起既带来了机遇和挑战,尤其是对于希望保持竞争力的早期专业人士和组织而言。这是本文的关键见解:###挑战1。**人才短缺**: - 过度依赖AI可以通过未能培养安全角色所需的批判性思维技能来加剧人才短缺危机。 - 中小型组织可能难以找到可以在组织内成长的熟练专业人员。2。**技能停滞**: - 使用AI工具的早期职业专业人员,而无需建立深厚的技术基础风险在其职业生涯中停滞不前。 - 缺乏对攻击向量,系统内部或安全软件设计将职业增长限制为高级安全角色的理解。3。**质量问题**: - AI生成的代码可能会引入漏洞和错误,从而损害网络安全度量的完整性。 - 仅依靠AI进行代码生成可能会导致缺乏责任和监督系统。###解决方案1。**招聘过程调整**: - 公司应更多地专注于评估候选人批判性思考和独立工作的能力,而不仅仅是他们的编码技能。 - 评估雇用过程中对AI的依赖可以帮助确定在基本安全原则上具有牢固基础的候选人。2。**培训和发展**: - 实施专注于现实世界漏洞,利用技术和安全编码实践的动手培训。 - 培养一种持续的技能改进文化,以保持领先于技术变化。3。**将AI与人类专业知识相结合**: - 鼓励使用AI作为增强工具,而不是替代传统软件开发技能。 - 教育员工何时依靠AI以及何时需要进行人类监督,尤其是在对安全敏感的环境中。4。**组织文化转移**: - 促进组织内部的好奇心,质疑和持续学习。 - 创建一个环境,其中AI被视为提高生产力的工具,而不是以批判性思维能力为代价。###最佳实践1。**代码评论和CI/CD流程**: - 在连续集成/连续部署(CI/CD)管道中实施强大的代码审查实践和自动质量检查。 - 确保对AI生成的代码的独立评估以识别潜在的漏洞或错误。2。**安全推理和架构重点**: - 在招聘过程中评估候选人的安全推理,建筑理解和对抗性思维。 - 培训员工在网络安全环境中了解AI的优势和局限性。3。**平衡方法**: - 促进AI补充人类专业知识而不是取代它的平衡方法。 - 鼓励开发人员质疑AI输出,并对潜在的安全风险保持警惕。通过应对这些挑战并实施推荐的解决方案,组织可以有效地利用生成的AI,同时保持强大的网络安全实践,并培养为未来技术进步设备齐全的熟练专业人员。