探秘高通NPU,极致性价比与每瓦TOPS的AI加速器

算力与SIMT比差距很大,但成本远低于SIMT,效率更高,大量的矢量计算还是得由GPU负责。高通张量处理单元架构图片来源:高通张量处理单元采用空间三维布局,等效于16K的MAC阵列,如果频率是1Ghz,那么算力就是16000*1000*2=32TOPS。调整频率,就可以得到不同的算力,当然功耗也不同。V73最高可以是1.5GHz,也就是48TOPS,最...

如何理解纳维尔-斯托克斯方程?《张朝阳的物理课》详解流体的动力学

矢量微积分的运算依赖于大量的定理、公式与技巧,精巧的同时却容易让人迷失在技术细节中。而用上被张朝阳比喻为“牛刀”的张量语言后,这些运算过程将得到极大的化简。在微分几何与张量分析的表达中,矢量也被称为一阶张量。利用一组合适的基底,可以将其表达为逆变形式其中α=1,2,3是三个空间分量。这里沿袭在广义...

外尔半金属薄膜的介电张量及色散性质研究

从修正的电位移矢量和电场强度关系出发，通过介电函数张量比较了不同费米能级情况下WSM介电常数的变化。在此基础上，引入4×4的磁光矩阵来求解麦克斯韦方程组，得到菲涅尔反射系数，研究波矢的色散方程。研究结果表明，WSM的色散在短波矢处具有线性色散，而在长波矢极限近似具有恒定频率。当WSM厚度的持续增大...

AI芯片的技术格局(GPU/TPU/FPGA)

ACAP是一个异构计算平台,结合了标量引擎、自适应引擎(又名可配置逻辑块CLB)和AI引擎。我们可以将其视为SoC(片上系统)的AI版本。所有这些引擎都与片上网络(NoC)互连,以实现多TB通信。AI引擎包含一组具有紧密耦合本地内存的VLIW/SIMD矢量内核。与FPGA一样,它针对专业硬件设计具有高度可配置性...

为什么雨滴落下不会砸死人?《张朝阳的物理课》推导斯托克斯定律

首先来计算第一次nabla算符作用后的结果,它将被作用的矢量沿不同方向求导,但对求导方向的基矢和被作用后的矢量的基矢这两个基矢而言做了张量积,张量积既不是点乘也不是叉乘,而是把两个基矢直接放在一起作为二阶张量的基底,以三维空间来看,它包含了3×3=9个系数和基底。用??代表矢量的张量积,可以写成...

论文登计算机体系结构顶会,芯片架构成为边缘AI最佳并行计算选择

计算机架构领域的学者专家都在寻求能够替代GPGPU的高能效并行技术架构，基于特定域专用架构（DSA）的ASIC设计是一种可行的关键思路，比如谷歌的张量处理单元(TPU)，这种专为加速机器学习工作负载而设计的处理器采用脉动阵列架构，可高效执行乘法和累加运算，主要面向数据中心应用(www.e993.com)2024年11月19日。另外一个思路是以三星为代表的神经...

异构计算+高性能低功耗NPU,高通正在推动终端侧生成式AI发展

以第三代骁龙8为例,高通HexagonNPU中最重要的是张量、矢量和标量三大加速单元,它们能够对不同的数据类型做处理,例如张量加速器可以用来处理卷积运算、张量数据。此外还包括片上内存,让这三个加速器能够协作更高效。神经网络推理是有很多层的,每层之间都会有一些中间数据。而这些中间数据如果没有片上内存做缓存的话,...

让AI深入每一台PC——AMD Ryzen AI架构和发展情况解读

▲神经网络计算的本质其实都是矢量，但是矩阵和张量计算效率更高，目前普遍采用张量计算的方法，GPU也有专门的张量计算单元，NPU自然也可以做到。三是神经网络计算也有一些独特的特性，比如绝大部分计算并不需要高精度，甚至INT4这样的整数进行加乘计算就可以得到合理的结果，只有一小部分影响最终结果的计算才需要FP16...

算力技术发展研究——“智能摩尔”技术路线综述

但在进行张量计算时,需要将张量计算分解成多个矢量算子进行分步计算,其中需要花费大量的额外时间进行数据存取,因而整体效率不高。而以深度学习为代表的新一代人工智能计算的基本算子都是基于张量(矩阵)的,因此神经网络处理器(NPU)应运而生,其中以谷歌的TPU为典型代表。张量处理器面对的是在张量计算中以几何级数增长...

类脑计算有望彻底改变计算领域,丰田合作综述类脑计算的兴起

超维计算(矢量符号架构)人脑在完成复杂认知任务时的能量效率可以归因于大脑处理模式而不是执行精确的数学运算。每个突触操作(神经元相互通信并形成/加强连接)都会消耗少量能量,而使用传统电子电路在硬件中实现神经元模型则需要高出几个数量级的能量。因此,最近出现了一种计算框架,其灵感来自神经回路的属性,而不是单个...