模型量化技术综述:揭示大型语言模型压缩的前沿技术
选择这个范围的过程被称为校准,其目的是找到一个范围,包括尽可能多的值,同时最小化量化误差。执行这一校准步骤对所有类型的参数来说并不相同。权重(和偏置)我们可以将LLM的权重和偏置视为静态值,因为在运行模型之前就已知这些值。例如,Llama3的~20GB文件主要由其权重和偏置组成。由于偏置的数量(百万级)远...
以差异为中心的财务分析
一方面可以调整当前实际数据的核算原则、分类规则,进行更加精细化的分类等;另一方面可以考虑调整目标数据的口径,例如选择去年同期数据进行对比,但由于会计准则更新,今年采用了新的核算规则,这时就可以将去年同期数据按照新规则进行调整,另计算出的差异结果更有利用和分析价值。步骤三:计算差异差异的计算比较简单,使用实际...
量化专题 | 从跨期模仿行为中寻找公募基金的领先者、跟随者和独行者
本文从基金的从众行为特征出发,主要做了以下3件事情:1)从跨期模仿持股的角度构建定量基金因子刻画基金的从众行为特征,包括跨期跟随效应因子与跨期领先效应因子;2)根据因子给基金分类,研究不同类型基金的投资行为与投资能力;3)构建可以落地投资的定量FOF策略。基金因子构建:首先基于公募主动权益基金的重仓持股信息...
【平安证券】基金深度报告-量化资产配置系列报告之四:引入货币...
我国信贷数据较为丰富,代表性的原始指标包括贷款数据、货币供应量数据、社融数据等,常见的派生指标包括M2-社融同比、M1-PPI同比、信贷脉冲等。信贷指标体系具有显著的领先滞后关系,对于观测货币到信用派生的整个过程具有重要价值。由于社融数据时间长度较短,我们使用新增社融数据对其历史数据进行补全。具体做法如下:由于社融...
量化策略 · 技术指标在商品期货市场里的应用
1、量化交易策略绩效指标在量化交易策略中,我们通过多次资产组合,对风险资产的权重进行动态调整。除了关注截面上资产组合本身的风险、收益率之外,还应该关注制定策略在时序上的稳定性、胜率、风险等。常用的业绩评价指标主要包括:1.1年化收益率(AnnualizedReturns)...
Python配对交易策略Pairs Trading统计套利量化交易分析股票市场|...
协整检验程序的步骤:检验每个分量系列的单位根单独使用单变量单位根检验,例如ADF、PP检验(www.e993.com)2024年9月10日。如果单位根不能被拒绝,那么下一步就是检验分量之间的协整关系,即检验是否是I(0)。如果我们发现时间序列为单位根,那么我们继续进行协整过程。有三种主要的协整检验方法:Johansen、Engle-Granger和Phillips-Ouliaris...
多模态大模型发展及高频因子计算加速GPU算力 | 英伟达显卡被限...
图像-语言多模态模型有六大任务:表征、对齐、推理、生成、迁移和量化。其中,对齐最为关键,也是当前多模态模型训练的主要难点。表征研究如何表示和总结多模态数据,反映各模态元素之间的异质性和相互联系;对齐旨在识别所有元素之间的连接和交互;推理从多模态证据中合成知识,通常涉及多个推理步骤;...
收藏!数据资产入表全流程|计量|财务|会计|总账|合规性_网易订阅
数据资产识别是整个入表流程的基础和起点。这个阶段的主要目标是全面了解企业拥有的数据资源,并确定哪些数据可以被视为资产。1.1定义数据资产范围首先,企业需要明确定义什么是数据资产。一般来说,数据资产是指企业拥有或控制的、能够产生经济价值的数据集合。这可能包括客户数据、交易记录、产品信息、市场调研数据等。
计算力学:量化涌现的又一条路径
这种路径被称作层次的??-机器重构算法。粗略地说,主体首先构建出一个非常简单的模型来预测,然后增加分辨率。当达到当前模型水平的计算能力上限时,便“创新”出一个新的模型类别。这种进化路线没有固定的路径,下表展示了一个可能的过程。图4.0级模型:直接描述数据流本身;1级模型:假设序列有周期性,周期长度为D...
高性能 LLM 推理框架的设计与实现
第一件事情是把用户的输入进行向量化,tokenize的过程指的是将用户输入的文本转换为向量,相对于prefill整个阶段来说,大概要占掉10%的时间,这是有代价的。之后就会进行真正的prefill计算,这一过程会占掉大概80%的时间。计算之后会进行sampling,这个过程在Pytorch里面一般会用sample、topp。在大...