NEO Semiconductor 发布 HBM 内存技术 3D X-AI ,宣称 AI 处理能力可达现有方案百倍

2024-08-06 16:24:16 - IT之家

IT之家8月6日消息,NEOSemiconductor当地时间本月5日发布了3DX-AI芯片技术,宣称该技术可实现目前HBM内存方案百倍的AI处理能力,同时功耗也可降低99%。

NEO Semiconductor 发布 HBM 内存技术 3D X-AI ,宣称 AI 处理能力可达现有方案百倍

IT之家注意到,3DX-AI可理解为两项技术的结合:其采用3DDRAM技术构建HBM内存的DRAMDie,以实现更高容量;同时在DRAMDie中引入本地处理器,类似于此前提出的PIM概念。

在前一项技术上,单个3DX-AI芯片包含300层3DDRAM单元,整体容量达128Gb,12层堆叠后可实现192GB的单堆栈容量,允许存储更大的AI模型。而目前的HBM3(E)内存最大单堆栈容量仅有36GB。

NEO Semiconductor 发布 HBM 内存技术 3D X-AI ,宣称 AI 处理能力可达现有方案百倍

而在后一项技术上,NEOSemiconductor称其每个3DX-AI芯片均配备一层神经回路单元,包含8000个神经元电路,可直接在3D内存内部执行AI处理,大幅减少了数据传输至GPU产生的功耗。

NEO Semiconductor预计每层神经回路单元可提供10TB/s的AI处理吞吐量,对于12层堆叠的3DX-AI内存堆栈而言就是120TB/s,较传统方案提升了100倍。

NEO Semiconductor 创始人兼首席执行官AndyHsu表示:

由于架构和技术效率低下,当前的AI芯片浪费了大量的性能和功率。

目前的AI芯片架构将数据存储在HBM中,并依靠GPU执行所有计算。这种数据存储和数据处理分离的架构使数据总线成为不可避免的性能瓶颈。通过数据总线传输大量数据会导致性能受限、功耗飙升。

3DX-AI可以在每个HBM芯片中执行人工智能处理。这可以大幅减少HBM和GPU之间的数据传输,从而提高性能并显著降低功耗。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

今日热搜