阿里巴巴开源第二代大语言模型Qwen2系列,最高参数规模700亿,评测结果位列开源模型第一,超过了Meta开源的Llama3-70B!
Qwen系列大语言模型是阿里巴巴开源的大语言模型。最早的Qwen模型在2023年8月份开源,当时只有70亿参数规模模型,随后阿里巴巴不断开源新的模型,最高参数规模达到了700亿,版本也从1.0升级到2024年3月份的1.5,再到今天发布的Qwen2系列。Qwen已经开源了几十个不同参数规模的大模型。此次发布的Qwen2.0系列不仅在评测任务上超过了现有的开源模型,也在实际应用中有非常好的表现。
Qwen2.0系列模型简介
此次开源的Qwen2系列模型包含了5个不同参数规模版本的模型,最小的模型仅5亿参数规模,最大的模型参数规模720亿,还包括一个基于混合专家技术(MoE)的大模型,Qwen2-57B-A14B。
Qwen2系列模型的数据集包含了27种语言,主要的是中文和英文。除了基础能力的提升外,Qwen2系列模型在编程、数学推理方面提升页非常明显。其中GSM8K、Math的数学评测结果均是开源模型第一。此外,Qwen2系列大模型的上下文长度也拓展到了128K!





