从原理到实践,手把手教你开发冰Shader(二)|入射|法线|色散|射线|...

设L为入射单位向量,N为物体表面单位法向量,R为反射单位向量,N'是入射方向L在法线N上的投影,由于L和N方向夹角大于90度,点乘结果是负数,因此点乘的时候L方向需要取反。则N'=(-L·N)N通过矢量加减法则很容易得出2N'=R-L=〉R=2N'+L最后计算出R方向,...

如何定量分析 Llama 3,大模型系统工程师视角的 Transformer 架构

所以从计算量的角度来说,对于[A,M,K]与[K,N]的矩阵乘法,最终的结果为[A,M,N],总计算量相较于二维的矩阵乘法多了A次复制,所以总计算量为2*A*M*K*N,访存量则为(A*M*K+K*N+A*M*N)sizeof(dtype)。以上就是张量乘法的一些基本过程,后面我们在推导实际计算过程时,会...

怎样迭代求解线性方程组?|向量|范数|高斯|定理|算子_网易订阅

其中L(x)的表达式是Mx+c,M是一个有n行和n列的给定矩阵(也称为n阶正方矩阵或n阶方阵),c是一个给定的n维列向量,其分量是c1,c2,…,cn,x=(x1,x2,…,xn)T是n维变元列向量,其中的上标字母T表示转置运算,即一般的有m行和n列的矩阵A的转置矩阵AT有n行和m列,其第j行的元素...

大模型开发者们,你们的基础公式有bug

首先,从输入嵌入开始理解,这是一个浮点向量,它表示输入字符串中的一个单词。这个向量似乎每年都在变高,比如,最近的LLaMA2模型从Meta使用了一个长度为3204嵌入向量。半精度浮点数计算为6KB+,仅仅是为了表示词汇表中的一个单词,而词汇表通常包含30000~50000个条目。现在,如果你是节省内存的C程序员,你可能会想...

大雅之美:十位大数学家心中最美的公式

Ree群公式EnricoBombieri1数学中存在美吗?这个问题关心的是数学对象及其关系,可被验证的证明即真正的数学对象。数学家通常会赞同,在定理和证明的结构之中的确存在着美,即便大多数时候这种美只有数学家自己才能看得到。群的概念漂亮地表达了数学中的对称。群是什么?考虑任意一个对象,不论它是具体的还是抽象的。

最美的公式:你也能懂的麦克斯韦方程组

也就是说,如果我们从矢量的角度来看:电场E通过一个平面a的电通量Φ就可以表示为这两个矢量(电场和平面)的点乘,即Φ=E·a(因为根据点乘的定义有E·a=|E|×|a|×cosθ)(www.e993.com)2024年10月30日。这种表述既简洁又精确,你想想,如果你不使用矢量的表述,那么你在公式里就不可避免地会出现很多和夹角θ相关的地方。更关键的是,电场强...

最美公式:你也能懂的麦克斯韦方程组(微分篇-上)| 众妙之门

06再谈矢量乘点关于矢量点乘的事情,我在积分篇的第六节就已经说过一次了,因为电场的通量Φ就是电场E和面积a的点乘:Φ=E·a。因为矢量是既有大小又有方向的量,而我们小时候学习的乘法只管大小不管方向,所以两个矢量之间就得重新定义一套乘法规则,而最常见的就是点乘(符号为‘·’)。

不用看数学公式!图解谷歌神经机器翻译核心部分:注意力机制

将每个编码器的隐藏状态与其softmaxed得分(标量)相乘,就能获得对齐向量。这就是发生对齐机制的地方。encoder_hiddenscorescore^alignment---[0,1,1]150[0,0,0][5,0,1]601[5,0,1][1,1,0]150[0,0,0][0,5,1]350[0...

当代数学家与物理学家票选出的十大最美公式,你认识几个?

上述公式最让人惊讶的地方是数字13。翻阅数学杂志,你会发现,除页码外,论文中一般不会出现大于2的数字。此处出现的13是计数得出的,计数问题有悠久的历史,另一个著名的例子,是一个三次曲面上恰好有27条直线(包括复直线)。就此而言,我始终觉得造物主在跟我们开玩笑。

ChatGPT危了!「注意力公式」8年神秘bug首曝光,Transformer模型恐...

这个向量似乎每年都在变高,比如,最近的LLaMA2模型从Meta使用了一个长度为3,204嵌入向量。半精度浮点数计算为6KB+,仅仅是为了表示词汇表中的一个单词,而词汇表通常包含30,000——50,000个条目。现在,如果你是节省内存的C程序员,你可能会想,为什么这些AIgoober要使用6KB,来表示应该只需要2字节就能搞定的事...