北大、腾讯推出 ReVideo:通过动作和内容精确编辑视频|大模型周报
2024年5月26日 - 网易
MQA和GQA都修改了注意力块的设计,使多个查询头可以共享一个键/值头,从而将不同键/值头的数量减少了一大截,同时只将准确性降低到最低程度。在这项工作中,来自麻省理工学院(MIT)的研究团队展示了通过在相邻层之间共享键和值头,进一步推进MQA的可能性,从而产生一种新的注意力设计——跨层注意力(CLA)。
详情
MQA和GQA都修改了注意力块的设计,使多个查询头可以共享一个键/值头,从而将不同键/值头的数量减少了一大截,同时只将准确性降低到最低程度。在这项工作中,来自麻省理工学院(MIT)的研究团队展示了通过在相邻层之间共享键和值头,进一步推进MQA的可能性,从而产生一种新的注意力设计——跨层注意力(CLA)。