NEO宣布推出3D X-AI芯片：神经网络性能提升100倍，功耗降低99%！
2024-07-19 09:08:24 - 芯智讯
7月19日消息，在美国加利福尼亚州圣克拉拉举行的FMS2024（内存和存储的未来）会议上，NEOSemiconductor首席执行官AndyHsu宣布，将推出 一款改变游戏规则的3DDRAM——3DX-AI，具有AI处理功能，将数据存储和数据处理结合在单个芯片中，将神经网络（ANN）性能提高100 倍，功耗降低99%。
AndyHsu表示，基于NEO的3DX-DRAM技术，3DX-AI模拟人工神经网络，包括用于权重数据存储的突触和用于数据处理的神经元，使其非常适合加速下一代AI芯片和应用。3DX-AI可替代高带宽内存 （HBM），有望显著推动AI芯片设计和AI工作负载优化。
据介绍，单个3DX-AI芯片包括300 层3DDRAM，容量为128Gb，以及1层神经网络电路，具有8,000 个神经元，每个芯片支持高达10TB/s的AI处理吞吐量。使用12个堆叠HBM封装的3DX-AI芯片，只需一个3DX-AI芯片，即可将3DX-AI芯片的容量和性能提升12倍，达到1,536Gb（192GB） 容量和120TB/s的处理吞吐量。
“典型的人工智能芯片使用基于处理器的神经网络。这涉及结合高带宽内存来模拟用于存储权重数据的突触和图形处理单元 （GPU） 来模拟用于执行数学计算的神经元。性能受到HBM和GPU之间数据传输的限制，来回数据传输会降低AI芯片性能并增加功耗，“NEO创始人兼首席执行官AndyHsu说：“具有3DX-AI的AI芯片使用基于内存的神经网络。这些芯片具有神经网络功能，每个3DX-AI芯片中都有突触和神经元。在执行AI操作时，它们用于大幅减少GPU和HBM之间数据传输数据的繁重工作负载。我们的3DDRAM极大地提高了AI芯片的性能和可持续性。”
编辑：芯智讯-浪客剑