矩阵乘法为什么是这样定义的?

然而,矩阵乘法的运算规则看上去似乎就不是那么“十分自然”的了,甚至不少学生第一次见到它的定义时会觉得相当繁琐,搞得迷惑不清,为了通过期末考试,只好死记硬背定义中的矩阵乘积计算公式:m行k列矩阵A和k行n列矩阵B的乘积矩阵AB是一个m行n列矩阵C,其位于第i行和第j列相交之处的元素cij是矩阵A的第i行的总共...

线性代数学与练第05讲 矩阵的乘法及相关运算性质

(1)矩阵乘法一般不满足交换律.因为矩阵乘法要求第一个个矩阵的列数等于第二个矩阵的行数,当有意义时,不一定有意义,如上面例1的(1)题;即使都有意义,两个结果还不一定同型,比如例1的(2)题,既使同型,也不一定相等,比如例1的(4)题.当然,也有可能是相等的,比如例1的(3)题.因此两个...

线性代数学与练第04讲:矩阵的定义与基本运算

矩阵最早也确实来自于方程组的求解,它就是用来表示方程组的系数及常数项的.作为求解线性方程组的工具,矩阵形式在我国东汉前期的《九章算术》中就已经出现并使用,《九章算术》中用分离系数法表示线性方程组,得到了它的增广矩阵,并且在消元过程中所使用的方法也就相当于是矩阵的初等变换.中文中出现矩阵概念最早是192...

量子力学之矩阵力学

矩阵满足结合律和分配律,但是一般来说不满足交换律。这恰是它能在量子力学中发挥作用的原因。量子力学的一个被传得神乎其神的特点不过就是物理量(算符)的非交换性(满足非交换代数。其实转动在经典力学里一样遵从非交换代数),矩阵正好有这个性能。一个方矩阵,具体地可写成如下形式:这里的矩阵元aij的指标选取(i,...

Transformer、RNN和SSM的相似性探究:揭示看似不相关的LLM架构之间...

这种注意力机制的变体被称为线性化注意力。它的一个重要优势是允许我们利用结合律:括号中M,K^T和V之间的关系现在变得相当复杂,不再仅仅是普通的矩阵乘法和元素级乘法。我们将在下一节详细讨论这个计算单元。如果M是一个因果掩码,即对角线及以下为1,对角线以上为0:...

极长序列、极快速度:面向新一代高效大语言模型的LASP序列并行

但由于单向任务中Mask矩阵M的存在,使得该形式依然只能进行左乘计算(即先计算QK^T),从而不能获得O(N)的线性复杂度(www.e993.com)2024年11月26日。但对于双向任务,由于没有Mask矩阵的存在,其计算公式可以进一步简化为O=(QK^T)V。LinearAttention的巧妙之处在于,仅仅利用简单的矩阵乘法结合律,其计算公式就可以进一步转化为:...

Transformer、RNN和SSM相似性探究:看似不相关LLM架构之间的联系

这种注意力机制的变体被称为线性化注意力。它的一个重要优势是允许我们利用结合律:括号中M,K^T和V之间的关系现在变得相当复杂,不再仅仅是普通的矩阵乘法和元素级乘法。我们将在下一节详细讨论这个计算单元。如果M是一个因果掩码,即对角线及以下为1,对角线以上为0:...

线性代数(高等代数)的基本思想

如果没有矩阵的乘法,那么对矩阵就如同对向量一样,只能作加法和数乘了。虽然矩阵的乘法有结合律,但是它却没有交换律,这是我们继向量的外积之后,又一次遇到的没有交换律的乘法。然而这种矩阵乘法又是十分有用的,从某种程度上可以说,正是因为矩阵的乘法没有了交换律,矩阵论才变得比较有意思和多姿多彩了。

这是一份文科生都能看懂的线性代数简介

数乘和矩阵乘法都满足结合律。这意味着,数乘3×(5×3)等于(3×5)×3,同时矩阵乘法A×(B×C)等于(A×B)×C。分配律数乘和矩阵乘法都满足分配律。这表示,数乘3×(5+3)等于3×5+3×3,而矩阵乘法A×(B+C)等于A×B+A×C。单位矩阵单位矩阵是一种特殊的矩阵,不过首先,我们需要定义...