一种新型的AI模型使数据所有者可以控制
作者：Will Knight
一种新的的大语言模型，由艾伦AI研究所的研究人员（AI2）开发，即使在建立模型后，也可以控制如何使用培训数据。
这个名为Flexolmo的新模型可能会挑战当前的Big的行业范式人工智能公司窃取数据从网络，书籍和其他来源经常与对所有权很少考虑然后完全拥有所得模型。一旦将数据烘烤到AI模型中后，从该模型中提取它就像试图从成品蛋糕中回收鸡蛋一样。
总部位于华盛顿州西雅图的AI2首席执行官阿里·法哈迪（Ali Farhadi）说，从传统上讲，您的数据要么在或外。一旦我培训这些数据，您就会失去控制。而且您没有出路，除非您强迫我参加另一次数百万美元的训练。
AI2的前卫方法会划分培训，以便数据所有者可以发挥控制作用。那些想向Flexolmo模型贡献数据的人可以通过首先复制公开共享的模型（锚定）来做到这一点。然后，他们使用自己的数据训练第二个模型，将结果与锚模型相结合，并将结果贡献回到建立第三个也是最终模型的人。
以这种方式做出贡献意味着数据本身不必移交。并且由于如何将数据所有者的模型与最终模型合并，因此以后可以提取数据。例如如果有法律纠纷或者，如果公司反对使用模型。
AI2领导技术工作的研究科学家Sewon Min说，培训是完全异步的。数据所有者不必协调，并且可以完全独立地进行培训。
Flexolmo模型体系结构是专家的混合物，它通常被用来同时将几个子模型合并为更大，更有能力的型号。AI2的关键创新是合并受训练的子模型的一种方式。这是使用新方案来表示模型中值的实现，以便在运行最终组合模型时可以将其能力与他人合并。
为了测试该方法，Flexolmo的研究人员创建了一个数据集，他们称来自包括书籍和网站在内的专有来源。他们使用Flexolmo设计来构建具有370亿参数的型号，约占Meta最大开源模型的十分之一。然后，他们将自己的模型与其他几个模型进行了比较。他们发现，它在所有任务上的表现都优于任何单独的模型，并且在普通基准测试方面比其他两种合并了经过独立训练的模型的方法得分要高10％。
结果是一种让您的蛋糕并将鸡蛋取回的方法。Farhadi说，您只能选择退出系统，而没有任何重大的损坏和推理时间。”这是一种全新的思考如何训练这些模型的方式。
关于《一种新型的AI模型使数据所有者可以控制》的评论
暂无评论