这款MTIA芯片在计算和内存带宽方面相比前一代有了显著提升，旨在高效服务于提供高质量推荐的排名和推荐模型。
新的MTIA设计采用了TSMC 5nm工艺，具有更高的频率、更大的门数和浮点操作数，以及更大的封装尺寸。
它还提供了更高的GEMM和SIMD顶点操作速度，以及更大的本地和片上内存容量和带宽。
此外，Meta还开发了一个大型机架系统，可容纳多达72个加速器，以及一个全新的软件堆栈，与PyTorch 2.0完全集成，支持高效的模型和内核代码生成。
这些优化使得新一代MTIA在性能上相比第一代芯片提高了3倍，模型服务吞吐量提高了6倍，性能每瓦提高了1.5倍。
Meta正在将这款芯片部署在数据中心中，以支持其AI工作负载，展示了其在提供性能和效率方面的优势，特别是在Meta特定的工作负载上。
推出下一代元训练和推理加速器 (MTIA)，这是我们定制芯片系列中的下一代产品，专为 Meta 的 AI 工作负载而设计。
该推理加速器是我们更广泛的全栈开发计划的一部分，用于定制、特定领域的芯片，可解决我们独特的工作负载和系统问题。这个新版本的 MTIA 使我们之前的解决方案的计算和内存带宽增加了一倍以上，同时保持了与工作负载的紧密联系。它旨在高效地服务于为用户提供高质量推荐的排名和推荐模型。
该芯片的架构从根本上专注于为服务排名和推荐模型提供计算、内存带宽和内存容量的适当平衡。在推理中，即使我们的批量大小相对较低，我们也需要能够提供相对较高的利用率。通过专注于提供相对于典型 GPU 而言超大的 SRAM 容量，我们可以在批量大小有限的情况下提供高利用率，并在我们遇到大量潜在并发工作时提供足够的计算。
该加速器由 8x8 处理元件 (PE) 网格组成。这些 PE 显着提高了密集计算性能（比 MTIA v1 提高了 3.5 倍）和稀疏计算性能（提高了 7 倍）。这部分归功于与稀疏计算流水线相关的架构的改进。它还来自我们为 PE 网格供电的方式：我们将本地 PE 存储的大小增加了两倍，将片上 SRAM 增加了一倍，将其带宽增加了 3.5 倍，并将 LPDDR5 的容量增加了一倍。
新的 MTIA 设计还采用改进的片上网络 (NoC) 架构，使带宽加倍，并允许我们以低延迟在不同 PE 之间进行协调。 PE 中的这些功能和其他新功能构成了关键技术，对于我们将 MTIA 扩展到更广泛、更具挑战性的工作负载的长期路线图至关重要。
为了支持下一代芯片，我们开发了一个大型机架式系统，最多可容纳 72 个加速器。它由三个机箱组成，每个机箱包含 12 个板，每个板包含两个加速器。我们专门设计了该系统，以便可以将芯片的时钟频率设置为 1.35GHz（从 800 MHz 提高）并以 90 瓦的功率运行，而第一代设计的功耗为 25 瓦。我们的设计确保我们提供更密集的功能以及更高的计算、内存带宽和内存容量。这种密度使我们能够更轻松地适应各种模型复杂性和尺寸。
除此之外，我们还将加速器之间以及主机与加速器之间的结构升级到 PCIe Gen5，以提高系统的带宽和可扩展性。如果我们选择扩展到机架之外，还可以选择添加 RDMA NIC。
从投资 MTIA 之初起，软件就一直是我们重点关注的领域之一。作为 PyTorch 的最初开发者，我们重视可编程性和开发人员效率。我们的 MTIA 堆栈旨在与 PyTorch 2.0 以及 TorchDynamo 和 TorchInductor 等功能完全集成。前端图形级捕获、分析、转换和提取机制（例如 TorchDynamo、torch.export 等）与 MTIA 无关，并且正在被重用。 MTIA 的较低级编译器获取前端的输出并生成高效且特定于设备的代码。这个较低级别的编译器本身由几个组件组成，负责为模型和内核生成可执行代码。
下面是负责与驱动程序/固件连接的运行时堆栈。 MTIA Streaming 接口抽象提供了推理和（未来）训练软件管理设备内存以及在设备上运行运算符和执行编译图所需的基本和必要操作。最后，运行时与位于用户空间的驱动程序进行交互——我们做出这一决定是为了使我们能够在生产堆栈中更快地迭代驱动程序和固件。
在许多方面，这种新芯片系统运行的软件堆栈与 MTIA v1 类似，这使得团队的部署速度更快，因为我们已经完成了在该架构上运行应用程序所需的大部分必要的集成和开发工作。新的 MTIA 旨在与为 MTIA v1 开发的代码兼容。由于我们已经将完整的软件堆栈集成到芯片中，因此我们在几天内就可以使用这款新芯片启动并运行我们的流量。这使我们能够快速落地下一代 MTIA 芯片，在不到 9 个月的时间内从第一个芯片到在 16 个地区运行的生产模型。
完整详细信息 https://go.fb.me/kwahju
如果想详细了解，可以点开视频下方的链接。
谢谢观看本视频。要是喜欢，请订阅、点赞。谢谢
留言
發佈留言