Qwen1.5-110B

简介

• Qwen1.5-110B 是Qwen1.5系列的第一个超过1100亿参数的模型。
• 它在基准测试和聊天机器人领域展示了卓越的性能。
• 与Meta-Llama3-70B模型相比，在基础模型评估中具有可比性的性能，在聊天评估中表现突出，包括MT-Bench和AlpacaEval 2.0。

模型特点

• 架构：与Qwen1.5系列的其他模型相似，采用相同的Transformer解码器架构。
• 效率：包含分组查询注意力（Grouped Query Attention, GQA），在模型服务中效率较高。
• 上下文长度：支持32K个token的上下文长度。
• 多语言支持：模型是多语言的，支持包括英语、中文、法语、西班牙语、德语、俄语、韩语、日语、越南语、阿拉伯语等在内的多种语言。

模型质量

• 进行了一系列的基础语言模型评估，并与Meta-Llama3-70B和Mixtral-8x22B进行了比较。
• 在MMLU、TheoremQA、GPQA、Hellaswag、BBH、ARC-C、GSM8K、MATH、HumanEval和MBPP等多个基准测试中，Qwen1.5-110B至少与Llama-3-70B模型在基础能力上具有竞争力。

• 性能提升主要来自于模型大小的增加，而不是预训练和后训练方法的大幅改变。

聊天模型测试

• 在MT-Bench和AlpacaEval 2.0两个聊天模型基准测试中，110B模型的表现显著优于之前发布的72B模型。
• 这表明更强大、更大型的基础语言模型可以带来更好的聊天模型，即使后训练方法没有太大变化。