## 模型架构：
132B参数的MoE模型，一共拥有16个专家，每个Token激活4个专家，意味着有36B的活跃参数，Mixtral只有13B的活跃参数（少了近3倍）。
## 性能表现 ：
它在语言理解、编程、数学和逻辑方面轻松击败了开源模型，如 LLaMA2-70B、Mixtral 和 Grok-1。
DBRX 在大多数基准测试中超过了 GPT-3.5。
DBRX 是基于 MegaBlocks 研究和开源项目构建的专家混合模型（MoE），使得该模型在每秒处理的标记数量方面非常快速。
## 数据训练：
以12万亿Token的文本和代码进行预训练，支持的最大上下文长度为32k Tokens。
Meet DBRX ：通用LLM，为高效开源模型设定了新标准。
在 RAG 应用程序中使用 DBRX 模型或使用 DBRX 设计来构建您自己的自定义 LLMs 并提高 GenAI 应用程序的质量。
留言
發佈留言