高通公司申请按嵌入群激活量化专利,用于提供按嵌入群激活量化的处理器实现的方法

2024-06-04 20:35:56 - 金融界网站

转自:金融界

本文源自:金融界

金融界2024年6月4日消息,天眼查知识产权信息显示,高通股份有限公司申请一项名为“按嵌入群激活量化”,公开号CN202280070845.0,申请日期为2022年10月。

专利摘要显示,用于提供按嵌入群激活量化的处理器实现的方法包括在转换器神经网络的第一层处接收顺序数据。经由该转换器神经网络的该第一层处理该顺序数据以生成激活张量。将该激活张量分成多个嵌入群。这些嵌入群中的每个嵌入群具有不同的量化参数的集合。基于该不同的量化参数的集合中的对应量化参数来单独地量化这些嵌入群中的每个嵌入群。将所量化的嵌入群与一组权重相乘以生成输出。

今日热搜