公司创始人Gill Verdon表示：非常高兴最终能分享更多有关 Extropic 正在构建的内容：一个全栈硬件平台，利用物质的自然波动作为生成人工智能的计算资源。
这种新颖的计算范式对世界实际上意味着什么？
扩展硬件扩展，使其远远超出数字计算的限制
使 AI 加速器的速度比数字处理器（CPU/GPU/TPU/FPGA）快很多数量级且能效更高
解锁在数字处理器上不可行的强大概率人工智能算法
简短 Litepaper（如下）让您可以初步了解我们的技术。我们希望以下内容能让您对未来的旅程感到兴奋。加入我们，加速迈向热力学智能未来。
- Gill and Trev - 吉尔和特雷夫
Extropic 的核心思想是利用自然界中固有的物理随机性作为计算的直接资源。
AI时代对算力的需求正以前所未有的指数级速度增长。幸运的是，在过去的几十年里，CMOS 晶体管技术遵循摩尔定律 实现小型化，使得这种指数级增长在很大程度上可以通过提高计算机效率来实现。
不幸的是，摩尔定律开始放缓。其原因植根于基础物理学：晶体管正在接近原子尺度，其中热噪声等效应开始禁止严格的数字操作。
因此，现代人工智能的能源需求开始腾飞。主要参与者提出了一些极端措施，例如建设专门用于大型模型训练和推理的核反应堆驱动数据中心。继续这种扩展几十年将需要前所未有规模的基础设施工程工作，并且代表着扩展人类总体智能的艰巨道路。
另一方面，生物学既不是刚性的，也不是数字化的，并且其计算电路比人类迄今为止建造的任何东西都要高效得多。细胞间化学反应网络驱动生物系统中的计算。细胞很小，因此这些网络中反应物的数量是可数的 [6, 7]。因此，反应物之间的反应确实是离散的且本质上是随机的。这种内在随机性的相对效应与反应物分子的数量成反比，因此，波动往往主导这些系统的动力学。
由此，我们可以肯定地说，数字逻辑的约束并没有束缚计算设备效率的根本原因。工程挑战很明显：我们如何从头开始设计一个完整的人工智能硬件和软件系统，使其能够在本质上嘈杂的环境中蓬勃发展？
基于能量的模型（EBM）提供了潜在解决方案的线索，因为它们是热力学物理学和基础概率机器学习中都出现的概念。在物理学中，它们被称为参数化热状态，由具有可调参数的系统的稳态产生。在机器学习中，它们被称为指数族。
众所周知，指数族是参数化概率分布的最佳方式，需要最少量的数据来唯一确定其参数 。因此，它们在低数据情况下表现出色，其中包括需要对关键任务应用程序中的尾部事件进行建模的场景，如图 1 所示。它们实现这一目标的方法是用噪声填充数据中的空白；他们寻求最大化熵，同时匹配目标分布的统计数据。这种幻觉数据集中未包含的每种可能性并大力惩罚此类事件的过程需要在训练和推理时使用大量随机性。
在微观尺度上，物质的行为（如电子在导体中的移动）受到热噪声和其他随机效应的影响。这种随机性在传统计算中通常被视为噪声，需要尽量减少，但在Extropic的设计中，这种随机性被直接用于驱动计算过程。
这种取样要求一直是 EBM 生产使用的主要限制因素。其根本原因是，在数字硬件上从通用能源景观中进行采样非常困难，数字硬件必须消耗大量电能来生成和塑造扩散过程所需的熵。从硬件的角度来看，数字采样似乎很做作：当最常见和计算密集型的算法发生变化并充满噪音时，为什么要花这么多精力来构建日益复杂的原始数字计算机呢？
Extropic 正在通过将 EBM 直接实现为参数化随机模拟电路来缩短这种低效率并释放生成式 AI 的全部潜力。在基于复杂景观采样的算法的运行时间和能源效率方面，Extropic 加速器将比数字计算机实现多个数量级的改进。
反方加速器的工作原理类似于布朗运动。在布朗运动中，悬浮在流体中的宏观但轻质的粒子由于与微观液体分子的多次碰撞而受到随机力。这些碰撞导致颗粒在容器周围随机扩散。人们可以想象用弹簧将布朗粒子固定在血管壁上并相互固定，如图 2 (a) 所示。在这种情况下，弹簧将抵抗随机力，并且颗粒将比其他部分更倾向于停留在容器的特定部分。如果重复对粒子的位置进行采样，并在采样之间等待足够长的时间（如图 2 (b) 所示），就会发现它们遵循可预测的稳态概率分布。如果我们改变弹簧的刚度，这种分布就会改变。这个简单的机械系统是可编程随机性的来源。
更多内容：可以去视频后方的官网
如果想详细了解，可以点开视频下方的链接。
谢谢观看本视频。要是喜欢，请订阅、点赞。谢谢
论文地址：https://www.extropic.ai/future
留言
發佈留言