零一万物回应大模型争议：尊重开源社区的反应将更新代码

  11月14日，针对开源社区Hugging Face提出的“除了两个张量被重命名外，大模型Yi彻底使用了Llama 的架构”一事，零一万物向21世纪经济报导记者回应称，“在很多练习试验进程中，因为试验履行的需要对代码做了更名，咱们尊重开源社区的反应，将代码进行更新，也更好的融入Transformer生态。”

  11月初，由立异工场董事长兼CEO李开复兴办的AI公司“零一万物”正式对外发布了开源大模型“Yi”。其时，关于为何挑选做开源大模型，李开复表明，“零一万物的开展获益于此前开源社区的一些团体才智，这也让咱们有义务去做一些奉献”。

  在回应中，零一万物也表明，GPT是一个业界公认的老练架构，Llama在GPT上做了总结。零一万物研制大模型的结构设计根据GPT老练结构，学习了职业顶尖水平的揭露效果，因为大模型技术开展还在十分初期，与职业干流保持一致的结构，愈加有助于全体的适配与未来的迭代。一起根据零一万物团队对模型和练习的了解做了很多作业，也在继续探究模型结构层面实质上的打破。

  其一起着重，模型结构仅是模型练习其间一部分。Yi 开源模型在其他方面的精力，比方数据工程、练习办法、baby sitting（练习进程监测）的技巧、hyperparameter设置、评价办法和对评价目标的实质了解深度、对模型泛化才能的原理的研讨深度、职业顶尖的 AI infra 才能等，投入了很多研制和打底作业，这些作业往往比起根本结构能起到更大的效果跟价值，这些也是零一万物在大模型预练习阶段的核心技术护城河。

  据记者了解，Yi团队开源总监也在Hugging Face社区中表达了抱愧，称“这个命名问题是作业忽略。在很多的练习试验中，团队对代码进行了重命名以满意试验要求，但是在发布版别之前没有将它们切换回来。对此很抱愧。”