长序列预测 & 时空预测万字长文:一文带你探索多元时间序列预测的...

2.1长序列预测:建模历史,预测未来目标:长序列预测的核心是通过对长期历史数据的模式进行建模,进而进行长期预测。它主要聚焦于时间维度模式的建模,试图找到时间序列中长期依赖的规律。早期的统计与机器学习方法:最早的长序列预测工作采用了经典的统计方法(如ARIMA、ETS),以及一些机器学习模型(如GBRT、SVR)。但随着数据...

北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba

序列由4个MixCon块组成,每个MixCon块含8层L=8,注意力层和Conba层比例为2:6(a:c=2:6),每隔一层(e=2)用MoE替换MLP模块,模型有16个专家(n=16),每个令牌使用2个顶级专家(K=2)。上下文长度分析MixCon在单块80GBA800GPU上的最大上下文长度...

使用祖先序列重建设计高功能热稳定蛋白

最后,基于重组CYP102库筛选获得的热稳定性数据,通过高斯过程景观建模使变性温度又提高了约5.3°C。以CYP102A1为例,酶的重组进化已证明能够产生具有多样性和新颖特性的突变体库,其探索的可行序列空间范围比随机或位点饱和诱变等方法更广。然而,当在定向进化实验中体外重组在自然进化过程中不同进化分支上产生的结构上...

...为后续的金相显微三维建模工作提供高动态范围的金相显微图像序列

先按粗步进在Z轴方向上等间隔地采集一组图像序列，动态地选择出亮度最低、亮度最高和亮度适中且纹理最佳的焦面高度；然后，在亮度适中且纹理最佳的焦面高度上标定相机响应曲线；接着，在已知的三个焦面高度上基于灰度聚类和相机响应曲线计算全局最优的3个曝光时间，分别对应最短、居中和最长...

千万IP创科普丨时间序列+预训练大模型

图3(a)KernelSynth的示意图,KernelSynth是一种基于高斯过程(GP)的合成时间序列生成方法。从核库中采样核函数,然后使用二进制操作(×或+)随机组合。生成的合成时间序列在高斯过程的前置中使用了组合后的核函数。图中展示了每个步骤中来自不同核函数的随机样本,颜色分别为红色和蓝色。(b)KernelSynth生成的合成时间序...

从图神经网络到几何深度学习:AI4Science 的下一个颠覆性突破在何处?

实现这一点主要依赖于两个步骤:首先,周边节点可以是直接相连的邻居,也可以是更广泛范围内受共同特征影响的节点;其次,需要整合这些特点,例如通过全连接网络(MultilayerPerceptron,MLP)来提取数据特征(www.e993.com)2024年11月3日。这一过程不仅涉及中心节点,还需考虑每个节点及其邻近节点间的关系,包括不同层级间点与点之间的关联。因此,可以将整个...

京东大模型革命电商搜推技术:挑战、实践与未来趋势

基于ML的CTR/CVR建模:利用机器学习模型预测点击率(CTR)和转化率(CVR),优化搜索结果的排序。LTR排序模型:通过学习排序(LTR)模型,进一步提升搜索结果的相关性。用户反馈数据学习:利用用户的搜索和点击反馈数据,不断优化和调整搜索算法,形成基于数据驱动算法迭代闭环。

揭开OpenAI草莓模型神秘面纱——重塑大语言模型的逻辑能力

Quiet-STaR的运行分为三个主要步骤:1.并行生成推理:在输入序列中,并行处理所有的输入token,从而生成多个推理候选。插入学习到的<|startofthought|>和<|endofthought|>token来token每个推理的开始和结束。2.基础和推理后预测相结合:从每个推理后的隐藏状态输出中,训练一个“混合头”——一个浅层的多层感知器,产...

一个大模型建模所有图结构关系!港大等发布最新图大语言模型HiGPT

2.1上下文异质图Tokenizer为了使我们的HiGPT能够适应各种具有不同节点和边类型的异质图场景,我们提出了一种上下文异质图tokenizer。这种方法捕捉到了不同异质图中存在的各种语义关系,达到了统一建模的目的。它包括两个重要组件:上下文参数化异质性投影器和参数分配器。上下文自适应投影器利用语言对异质图中的不同...

量化专题 · 基于比价的多信号配对交易策略研究

比价序列建模方法选择前面的报告中提到,为了保证比价序列信息提取的完整性,并且简化模型参数,我们选择HP滤波器对比价序列进行周期趋势分解。HP滤波器通过优化以下目标函数得到趋势项的解三信号生成机制在这一部分我们介绍策略中信号的生成方法。策略一共用到4种信号,分别是趋势预测信号,趋势规则信号,周期预测信号和周...