重磅！阿里巴巴开源自家首个MoE技术大模型：Qwen1.5-MoE-A2.7B，性能约等于70亿参数规模的大模型Mistral-7B

阿里巴巴的通义千问一直是开源领域最强大的大模型之一。就在今天，阿里巴巴首次开源了他们家的MoE技术大模型Qwen1.5-MoE-A2.7B，这个模型是使用现有的Qwen-1.8B模型作为起点，通过类似merge技术进行合并得到的。

Qwen1.5-MoE-A2.7B简介

最近2天，业界有3个重磅的MoE技术大模型开源，包括前天的DBRX以及今天的Jamba和阿里的Qwen1.5-MoE-A2.7B。

Qwen1.5-MoE-A2.7B是基于阿里此前开源的Qwen1.5-1.8B模型继续迭代升级的混合专家技术大模型。Qwen1.5-MoE-A2.7B模型总的参数数量是143亿，但每次推理只使用27亿参数。

阿里官方称他们使用的是特别设计的MoE架构。通常，如Mixtral方法中所见，每个transformer块内的MoE层采用八个专家，并使用前两名门控策略用于路由。这种配置虽然简单有效，但有很大的提升空间。因此，通过一系列广泛的实验，阿里对这个架构进行了几项修改：

• 更加细粒度专家
• 非从头训练的“升级再利用”的初始化
• 带有共享和路由专家的路由机制

以前的研究项目，如DeepSeek-MoE和DBRX，已经证明了使用细粒度专家的有效性。阿里将单个FFN分割成几个部分，每个部分作为一个独立的专家。这是一种更为细致的构建专家的方法。