蒸馏如何使AI型号较小,更便宜|Quanta杂志
2025-07-18 14:55:45
DeepSeek是一家鲜为人知的中国人工智能公司,最近发行了R1,该公司的聊天机器人据称的性能与领先的AI模型相当,但计算能力和成本却降低了。这导致Nvidia等西方科技公司的股票价值下降。有人指出,DeepSeek不正确地使用知识蒸馏来未经允许复制Openai的O1模型,尽管蒸馏是该行业中广为人知且利用的技术,可以使AI模型更有效。蒸馏的概念源自2015年的Google研究人员,此后已成为标准工具,使较小的模型能够模仿较大的模型,以最小的精度损失。它的广泛采用包括Google,OpenAI和Amazon等公司的申请。