华为诺亚频域LLM「帝江」:仅需1/50训练成本,7B模型媲美LLaMA

因此,论文提出采用加权拟蒙特卡洛采样来代替蒙特卡洛采样进行映射,论文进一步引入频域离散余弦变换(DCT)来作为拟蒙特卡洛采样的值,从而高效且准确地将Transformer的query和key映射到频域。使得注意力机制中的softmax操作可以被去除,达到线性的计算复杂度。论文还从理论上证明了,这种频域映射是与原始注意力机制的一...