DBRX Base
DBRX Base 是由 databricks 发布的 AI 模型，发布时间为 2024-03-27，定位为 基础大模型，参数规模约为 1320.0B，上下文长度为 32K，模型文件大小约 264GB，采用 Databricks Open Model License 许可。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
DBRX Base是由Databricks开源的一个基于混合专家（Mixture of Experts, MoE）模型的大语言模型。包含了1320亿参数，由16个专家网络组成，每次推理由4个专家工作，共360有参数参与推理。
DBRX Base是在12万亿tokens数据集上进行预训练得到的一个预训练大语言模型，基于该模型Databricks还做了一个指令优化的大语言模型，即DBRX Instruct。它推理速度是Llama2-70B的2倍，但是评测结果非常好。
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
