Google启动了“隐式缓存”,以使访问其最新的AI型号便宜|TechCrunch
2025-05-08 18:20:47
Google在其双子座API中引入了“隐式缓存”,以将第三方开发人员的成本降低到经AI模型的重复上下文中高达75%。默认情况下,Gemini 2.5 Pro和Flash模型启用了此自动功能,要求最小的提示令牌计数分别为1,024和2,048,才能触发节省。开发人员必须确保重复的上下文仍在最大化缓存命中的请求开始。Google先前的明确缓存面临着高度API成本的投诉,促使这种新方法旨在简化无手动干预的成本降低。