CPU反超NPU,llama.cpp生成速度翻5倍,LLM端侧部署新范式T-MAC开源

当部署llama-2-7b-4bit模型时,尽管使用NPU可以生成每秒10.4个token,但CPU在T-MAC的助力下,仅使用两核便能达到每秒12.6个token,最高甚至可以飙升至每秒22个token。这些都远超人类的平均阅读速度,相比于原始的llama.cpp框架提升了4至5倍。即使在较低端的设备如RaspberryPi5上,T-MAC针对3BBitNet-b1.58也能...

CPU 反超 NPU:LLM 端侧部署新范式 T-MAC 开源,llama.cpp 生成速度...

当部署llama-2-7b-4bit模型时,尽管使用NPU可以生成每秒10.4个token,但CPU在T-MAC的助力下,仅使用两核便能达到每秒12.6个token,最高甚至可以飙升至每秒22个token。这些都远超人类的平均阅读速度,相比于原始的llama.cpp框架提升了4至5倍。即使在较低端的设备如RaspberryPi...

斯坦福让“GPU 高速运转”的新工具火了,比 FlashAttention2 更快

共享内存的速度并不如预期的快,使用时还需格外注意。生成地址的成本较高。保持高占用率对于提升性能是有益的,寄存器至关重要。这些特性在非H100GPU上也有所适用,在H100上更加典型,就拿RTX4090来说,相比H100处理起来简单得多。所以接下来还是以H100为例,展开探讨这几点特性。WGMMA指令H1...

AI时代进击的CPU们

CPU这个曾经的通用计算王者现在面临很尴尬的处境:往往沦为大型AI负载的调度器和数据搬运工具,还要承担加速器处理不了的长尾需求,被吐槽拖慢了整体速度。然而各家CPU厂商总要生存,他们近几年也陆陆续续在自家CPU上引入AI的加速功能,以期能在这个言必称AI的市场里获得机会。算力密度上的天生弱势,导致CPU厂商更多在推理...

百万token上下文窗口也杀不死向量数据库?CPU笑了

带着这个背景来看,CPU不但性能够用,还占据了内存访问快的优势。对于中等或更少并发请求来说,虽然GPU单论运算速度更快,但CPU较低的内存访问时间足以抵消这个差距。接下来,再从CPU的角度来看,它是如何来满足向量数据库运算性能需求的。前面提到向量数据库属于密集型计算负载,谈到CPU上相关的加速技术,就不得不提我...

进入苹果最神秘的芯片实验室,回顾苹果历代 CPU 构架,展现 3 万亿...

CPU缓存(Caches):CPU从内存(RAM)获取数据后,需要将其放入片上的寄存器中执行操作(www.e993.com)2024年11月18日。但CPU的时钟频率远高于RAM,于是RAM成为了系统速度的瓶颈。因此,CPU发展了片上缓存(Caches)来存储中等数量的数据。作为缓冲地带更靠近芯片本身,并允许更快地访问必要的数据。

AI计算,为什么不用CPU?

寄存器是CPU中的高速存储器,用于暂时保存指令和数据。它的CPU与内存(RAM)之间的“缓冲”,速度比一般的内存更快,避免内存“拖累”CPU的工作。寄存器的容量和存取性能,可以影响CPU到对内存的访问次数,进而影响整个系统的效率。后面我们讲存储芯片的时候,还会提到它。

深入了解浮点运算——CPU和GPU算力是如何计算的

其实,0.1可以看成是1除以10的结果,我们想让计算机计算一个带小数点的数字,只要告诉CPU这是一个被1后面加了多少个0整除的整数就行了。这样一来,计算机在处理小数点的时候,就多了好几个运算步骤。浮点运算的速度也就成了衡量计算机性能的标准。

一文读懂:GPU是如何工作的?

除了线程上的不同,内存也是GPU工作的极为关键的因素,这是因为所有的编程工作都是围绕内存展开的。▉GPU内存需要足够大GPU为每个线程分配了大量的寄存器来存储实时数据,从而实现了非常低的延迟。这是因为与CPU相比,GPU中每个线程都需要处理更多的数据,因此它需要能够快速访问这些数据。所以,GPU需要一种靠近其计算核心...

打破开放世界魔咒,中手游《仙剑世界》跨平台优化技术分享

动态索引确实在设计的灵活性上非常方便,但是这会使得buffer的访问速度,甚至大量中间变量的计算速度变得很慢。因此去除主方向光、阴影等等渲染输入数据的List结构,使其变成可以通过静态偏移的方式去访问。使得Shader代码从行数,寄存器访问速度,甚至CPU数据填充方面都有很大的性能提升。