我在 Meta 的超级智能实验室工作,曾经在 OpenAI 工作。这就是这份工作的情况——以及我学到的东西。
作者:Lee Chong Ming
- Prakhar Agarwal 表示,沟通和深入研究代码对于前沿实验室至关重要。
- 他还强调了主人翁意识和适应新话题的能力的重要性。
- 这篇文章是基于与 Meta Superintelligence Labs 的应用研究员 Prakhar Agarwal 的对话,他之前曾在 OpenAI 工作过。
为了篇幅和清晰度,以下内容已被编辑。《商业内幕》已经核实了他的就业和学术经历。
我的日常工作有很大差异,具体取决于我们处于项目的哪个阶段以及立即交付的成果。
在 OpenAI和 Meta,你在 10 个月内就实现了这些里程碑——比如一次大型训练或强化学习运行。当我们临近最后期限时,事情就会变得激烈。
我确定的任何工作始终基于模型的当前迭代。如果我说模型不擅长 X,而我的解决方案有助于修复 X,那么它是基于模型的该版本。如果错过了截止日期,我不知道下一个版本是否会出现同样的问题。
如果我们离这个截止日期还很远,那么我们主要致力于评估并试图找到现有模型的失败案例和问题。
这项工作非常有活力。有时你认为某件事非常简单,一天之内就能完成。其他时候,情况恰恰相反——因为有太多未知因素,可能需要一周的时间。
在前沿实验室工作的感觉与在大型科技公司工作有很大不同
我们在这些基础实验室中受到的限制是计算。它不像大型科技公司或其他地方,你可以不断雇用一群人并给他们分配一些小任务来完成。
每个人都需要计算真正做某事,一旦你有很多人,计算就会被分割,所以没有人能够做任何事情。
您还希望利益相关者之间进行高带宽通信,而不需要 10 个不同的通信层。迭代的速度要快得多。这些核心群体往往更小、更紧。
“团队”的概念也非常灵活。每个人都有自己的项目,但他们会与他人合作开展联合项目。在 Meta 和 OpenAI,有很多资深人士而且初级人员不多,所以每个人都有相当范围的项目。
有时,我与直属团队之外的人合作比与内部团队合作更多。您的范围不限于四五个人。你的范围就是你要解决的问题。
沟通和深入编码是关键
沟通是这些实验室中最重要的方面。因为很多事情都没有记录下来,所以您需要能够清楚地表达您正在做什么、为什么这样做、下一步是什么、传达您的结果并获得有关您工作的反馈。
变得舒适浏览代码确定细节是我见过的最重要的技能之一。代码演化的速度比文档要快得多。如果您遇到困难,请阅读代码并尝试自己理解。
对不同垂直领域正在发生的事情有一定的了解还可以让您更好地了解人们正在尝试的想法和方法。因为一切都是超级相关的,你可能会从中学到一些东西或者找到做出贡献的方法。
这些实验室的最大优势是知道什么不起作用
一篇研究论文告诉你,“我按照这个特定的顺序做了 X、Y 和 Z,而且它有效。”但你没有看到的是,在做 X、Y 和 Z 之前,我尝试了 50 种不同的方法,但都不起作用——而且人们不会谈论这一点。
对我来说,这就是这些基础实验室的真正优势。由于所有的实验和已经完成的所有工作,团队已经建立了非常强大的直觉。他们知道哪些事情行不通或无法扩展,哪些事情会运作良好。
外面的人常常追求收获,但他们忽略了一点:即使错过也很有价值。
给那些想在顶级实验室工作的人的建议
对于管理倦怠,我没有一个好的答案。你几乎只是随波逐流。你在最前沿工作,简单地说,如果你想在这里,你就不能严格地每天思考它。
我会告诉年轻的自己,要乐于探索新途径和新想法。我所看到的是,我们试图发挥自己的优势,或者留在一个确定的环境中,我们知道我们会做得很好。但在这些领域中,事物发展的速度非常快,您需要能够切换到新的主题。
增强肌肉应对被投入全新事物的情况。有时,这更多是心理问题而不是技能问题。
您有关于在顶级人工智能实验室工作的故事吗?联系本报记者cmlee@businessinsider.com。.