Anthropic再指智谱蒸馏Claude:从模型回答到训练数据
Anthropic再次指称智谱利用Claude生成和筛选模型训练材料。
Anthropic在10月12日的更新中再次指称,智谱开发GLM-5.3时曾尝试提取Claude的网络安全能力,受阻后转用较旧的Claude版本和另一家美国公司的模型。
其9月报告已披露相关指控:智谱被指用Claude生成任务和答案、整理推理记录、筛选训练数据。
据路透社10月12日报道,智谱未立即回应其置评请求。銳報无法独立核实相关账号归属及材料的实际训练用途,公开披露也未量化这些材料对GLM-5.3性能的贡献。
蒸馏通常用一个较强模型生成的答案或解题步骤,训练另一个模型学习其完成任务的方式,以减少训练所需资源。Anthropic也承认这是常用方法。DeepSeek的R1项目就提供了六个以Qwen或Llama为基础的蒸馏模型,并明确允许利用R1蒸馏训练其他大语言模型,使用时须遵守相应许可。
Anthropic指控的则是未经授权提取数据,包括使用欺诈账号、绕过访问限制,以及取得通常不完整展示给用户的推理记录。争议涉及账号和数据如何取得、材料是否获准用于训练,不能仅凭使用蒸馏技术判断。
推理记录包含模型生成答案时写出的中间步骤,能提供比最终答案更丰富的训练样本。Anthropic公布的内部实验显示,用Claude Opus 4.8完整推理记录训练的模型,在SWE-bench Verified编程测试上得分80.4%;仅用摘要训练时为71.8%。测试对象不是智谱模型,取得这些记录也不等于取得原模型参数。
中国商务部在9月9日回应美国三部门相关公告时,反对美方有关“工业规模”蒸馏的指控,强调蒸馏是通行的中性技术,并批评将技术和商业问题政治化。这份回应早于Anthropic本轮更新。
Anthropic称,限制推理记录访问并加强识别后,其自有平台被提取的推理token减少约90%至99%。token是文本计量单位,这一降幅衡量数据提取量,并非竞争模型的能力变化。部分正常开发者也受到影响:需要修改接入程序,特定类别的被拦请求自9月24日起恢复收费。
在智谱的网络安全训练活动中,Anthropic称,Claude Opus 4.6被用来给另一家美国模型的回答评分。一个模型生成答案,另一个模型评价答案,开发者据此筛选训练材料——Claude被指承担的工作,也包括帮助训练者判断哪些回答值得保留。
读到这里,说明你关注真正重要的事
锐报每周深度分析直送邮箱——财经、地缘、科技,穿透表象,少而精选。