彭罗斯逆矩阵(1):矩阵乘法|N文粗通线性代数

这种情况下,我们就有了一个公式:一个4行3列矩阵,乘以一个3行2列矩阵,得到一个4行2列矩阵。在这个公式中,我们特意把食品的品种下标写成油、蛋、豆,而价格的下标写成平(常)、早(起)。这样写的目的,是强调不同的下标表示的意义可能是不同的。尽管我们平时都用1,2,3,4等下标,但不同下标即便使用相...

从近视宅男买早餐到彭罗斯逆矩阵(1):矩阵乘法|N文粗通线性代数

这种情况下,我们就有了一个公式:一个4行3列矩阵,乘以一个3行2列矩阵,得到一个4行2列矩阵。在这个公式中,我们特意把食品的品种下标写成油、蛋、豆,而价格的下标写成平(常)、早(起)。这样写的目的,是强调不同的下标表示的意义可能是不同的。尽管我们平时都用1,2,3,4等下标,但不同下标即便使用相同的数...

线性代数学与练第15讲 :矩阵的LU分解与几何变换的矩阵方法

矩阵的LU分解是一种非常重要的矩阵分解方法,它可以将一个方阵分解为一个下三角矩阵和一个上三角矩阵的乘积,它在数值计算和线性代数中有广泛的应用,可以用于求解线性方程组、计算矩阵的行列式和逆矩阵等。LU分解本质上是高斯消元法的一种矩阵表达形式,在高斯消元法过程中将矩阵通过初等行变换变成一个上三...

2025年北京师范大学硕士研究生专业综合入学考试大纲已公布

1.掌握基本的代数运算方法,包括:行列式的计算,矩阵运算(乘法、求秩、判别方阵的可逆性及求逆、求方阵的特征值及特征向量),线性方程组解的判定及求解,多项式运算(带余除法,辗转相除法).2.掌握基本的代数分析技巧,包括:向量的线性相关和线性无关性,向量空间的基与维数,线性方程组解的结构,线性变换和矩阵的关系,...

量子力学之矩阵力学

(1)矩阵计算{玻恩1908年受闵可夫斯基指点回哥廷恩做Habilitation,选择的研究方向是相对论。为此,数学家OttoToeplitz(1881-1940)曾帮助玻恩梳理矩阵代数知识,从而能够使用好闵可夫斯基空间矩阵以调和相对论和电动力学,这大概是玻恩熟稔矩阵计算的原因。玻恩和约当给出的他们学习矩阵知识的参考书是MaximeBocher的Introduct...

从像素位置到距离尺度-From Pixels to Meters

1参照以上公式,我们所面临的一个问题是:在逆透视映射(IPM)中,哪个特定的缩放因子λ能够确定相机图像中捕获的点的实际的3D位置(XcYcZc)?——除了λ,上图中的K意味着相机的内部参数,包括焦距f和光心对应的像素位置;2在一般情况下,没有额外的先验或者补充信息的话,我们无法确定相机图像中uv点所对应的确切3D三...

模型量化技术综述:揭示大型语言模型压缩的前沿技术

我们首先使用以下公式计算比例因子(*s*):b是我们想要量化到的字节数(8),α是最大的绝对值,然后,我们使用s来量化输入x:填入这些值会得到以下结果:为了检索原始的FP32值,我们可以使用先前计算的缩放因子(*s)来去量化量化值。应用量化和去量化的过程来检索原始流程图解,如下所示:...

万字技术干货!LLM工程师必读量化指南,可视化图解揭秘大模型如何压缩

由于这是一个以零为中心的线性映射,公式很简单。首先用以下公式计算比例因子(s):-b是我们要量化到的字节数(8)-α是最高的绝对值然后,我们使用s来量化输入x:打开网易新闻查看精彩图片如上图所示,最大绝对值α为10.8,将FP32映射到INT8时,即有如下公式:...

大模型扫盲系列——大模型实用技术介绍(上)

标准的注意力机制中,查询(query)、键(key)和值(value)是三个核心组件,计算的是一个查询和所有键之间的相似度,然后这个相似度被用来加权相应的值。而在Multi-queryattention中,可以同时处理一组查询,让所有的头之间共享同一份Key和Value矩阵,每个头只单独保留了一份Query参数,从而可以共享键和值的表示,...

极长序列、极快速度:面向新一代高效大语言模型的LASP序列并行

充分理解LASP的思路,让我们先回顾下传统SoftmaxAttention的计算公式:O=softmax((QK^T)⊙M)V,其Q,K,V,M,O分别为Query,Key,Value,Mask和Output矩阵,这里的M在单向任务(如GPT)中是一个下三角的全1矩阵,在双向任务(如BERT)中则可以忽略,即双向任务没有Mask矩阵。