新视角设计下一代时序基础模型,Salesforce推出Moi

为了在自回归模型中获取准确、鲁棒的标准化统计值,作者引入掩蔽率r作为超参数,它指定整个序列中专门用于正则化器计算的部分,不对这些patch计算预测损失。最后,一个输入投影层来负责把patch投影到和Transformer一样的维度,生成时序token。文章转载:[znud1.tntcw)2.稀疏混合专家Transformer文章...

火山引擎丢出视频大模型「王炸」,云厂商从「价格战」回归「卷性能」

一是技术突破和全栈能力等优势，在技术上，字节在这两款视频模型上做了大量技术创新，比如通过??效的DiT融合计算单元、全新设计的扩散模型训练??法和深度优化后的Transformer结构，让整个??成视频的动作更灵动、镜头更多样、细节更丰满。

湘商总部基地落户大泽湖海归小镇 推动湘商回归集群发展

中新网长沙9月14日电(付敬懿)湖南湘商总部基地14日落户长沙望城区大泽湖·海归小镇,基地将瞄准湘商总部经济聚集区、湘商科创资源汇聚地、湘商优质产业转承地、全球湘商回归首选地四大核心定位,引领湘商产业回归、资本回流、项目回投、人才回聚、总部回建。湘商总部基地落户长沙市望城区大泽湖·海归小镇举行。

速来!因果与大模型的双向赋能丨因果科学第五季强势回归

Li,Haoxuan,etal."Debiasedcollaborativefilteringwithkernel-basedcausalbalancing."ICLR2024,Spotlight.该研究分析了现有方法在学习倾向得分时在满足因果平衡约束方面的局限性,并提出了一个基于核函数在再生核希尔伯特空间中近似平衡函数的方法,以更好地满足因果平衡约束。Li,Haoxuan,etal."Re...

清华提出时间序列大模型:面向通用时序分析的生成式Transformer |...

训练方法:统一格式+自回归生成不同于语言、图像有着相对固定的格式,时序领域的数据存在异构性,例如变量数目,采样频率和时间跨度等,因此,进行大规模时序预训练的首要难题在于如何统一异构的时间序列。为将异构时间序列转换为统一格式,作者团队提出了一种单序列(SingleSeriesSequence,S3)格式。

【信达金工】涵盖价量与基本面因子的多模型结合神经网络

2.在预测中性化收益率的场景下,“以原始(未经过市值行业中性化)量价与基本面因子为特征,以原始收益率排序百分位为标签,最后中性化处理模型输出的原始收益率预测值”和“以市值行业中性化的量价与基本面因子为特征,以中性化后的收益率排序百分位为标签,模型直接输出中性化收益率”有何区别,哪种方法更优?

傅一航老师《大数据挖掘工具:SPSS Statistics入门与提高》培训

比如标准化??变量派生：根据旧变量生成新的变量??变量精简：降维，减少变量个数7、数据降维??常用降维方法??如何确定变量个数??特征选择：选择重要变量，剔除不重要的变量??从变量本身考虑??从输入变量与目标变量的相关性考虑??对输入变量进行合并??因子分析（主成分分析）...

中控技术发布时序大模型:TPT推动流程工业迈向高阶智能化之路

庆幸的是,公司和这支专业团队并没有放弃,他们回归到利用时间序列数据的初心,并追踪全球领先技术,吸取经验借鉴并进行大量尝试,最终在算法层面取得了重大突破,让这个高性能、高可迁移性的TPT大模型得以问世。如今看来,一切努力都是值得的。在流程工业企业的设备运维、生产控制、人员管理等层面,TPT展现出极其显著的价值。

原创基于机器学习视角的新老券利差分析

图1左上展示了2017年以来新老券利差时序情况的传统描述。首先,本文对样本的观测周期进行归一化处理,以提取数据的内在结构(图1右上)。其次,本文使用局部回归方法对样本进行平滑处理,在减少数据噪声的同时能够适应数据的局部变化(图1左下)。最后,本文采用Fisher-Rao度量下的函数型数据弹性对齐方法,通过仿射等弹性变换将...

超详细讲解时间序列分析和预测(含实例代码)

数据平稳性与差分法:基本模型:自回归移动平均模型(ARMA(p,q))是时间序列中最为重要的模型之一。它主要由两部分组成:AR代表p阶自回归过程,MA代表q阶移动平均过程。平稳性要求经由时间序列所得到的的拟合曲线在未来一段时间内仍能顺着现有形态‘惯性’延续下去...