扩散模型失宠?端侧非自回归图像生成基础模型Meissonic登场,超越SD...

然而,这些扩散模型与自回归语言模型的工作原理和架构显著不同,导致在视觉和语言任务上实现统一生成方法面临挑战。这种差异不仅使这些模态的整合变得复杂,还凸显了需要创新的方法来弥合它们之间的差距。自回归文本到图像模型(如LlamaGen)通过预测下一个token生成图像,但由于生成的图像token数量庞大,自回归模型在效率和分辨...

谷歌Fluid 颠覆共识,AI 文生图领域自回归模型超越扩散模型

Fluid模型结合了连续标记和随机生成顺序后,当其规模扩大到105亿参数时,Fluid在重要基准测试中超越了StableDiffusion3扩散模型和谷歌此前的Parti自回归模型。与Parti相比,Fluid显示出显著的改进:拥有200亿参数的Parti在MS-COCO上达到了7.23的FID分数,而仅有3.69亿参数的小型Fluid...

DeepMind联合MIT开发Fluid,让自回归模型实现文生图的大规模扩展

该研究团队开发的新模型Fluid,通过采用连续Token和随机顺序策略,成功实现了自回归模型在文生图任务上的大规模扩展,不仅在多项基准测试中达到了领先水平,还提出了关于自回归模型的新见解。自回归模型在自然语言处理领域取得了巨大成功,但在计算机视觉特别是文生图任务中的表现一直不如扩散模型。为了探究背后的原因,...

谷歌Fluid颠覆共识:两大因素被发现,AI文生图领域自回归模型超越...

当其规模扩大到105亿参数时,“Fluid”在重要基准测试中超越了StableDiffusion3扩散模型和谷歌此前的Parti自回归模型。值得注意的是,“Fluid”显示出了与拥有200亿参数的Parti相比显著的改进:拥有3.69亿参数的小型“Fluid”模型在MS-COCO上达到了7.23FID分数。这一结果表明,“Fluid”的性能并不受其参数数量限制。

黄金涨得无法解释?大摩新定价模型拟合度达0.94,明年初剑指3100美元

我们的回归模型显示，基准情况下，美国10年期TIPS收益率（1.30）、DXY（102）和CPI指数（319），以及ETF流动和中央银行购买的近步伐持续，今年一季度金价大约是2800美元/盎司的水平，而在激进预测下，金价或达到3100美元/盎司。此外，由高价格激励的矿山和回收供应增长，以及珠宝需求的疲软，应该有助于2025年中期开始...

迈向多语言医疗大模型:大规模预训练语料,开源模型与全面基准测试

模型打分结果对比分析(www.e993.com)2024年11月24日。图a展示了按照BLEU分数、人工质量排序和GPT-4质量排序的量化分数。图B展示了自动指标和人类评估之间的相关性，其中k代表拟合直线的斜率，t代表坎德尔相关系数。公开英文评测基准模型测评为了在英语基准测试上与现有的大型语言模型进行公平比较，研究团队还基于MMed-Llama3基座...

谷歌&MIT何恺明团队:视觉大模型像LLM一样高效扩展100亿参数自回归...

基于连续token的模型比离散token模型在视觉质量上更好。随机顺序生成与光栅顺序相比在GenEval测试上得分明显更好。受到这些发现启发,团队训练了Fluid,一个基于连续标记的随机顺序自回归模型。扩展至百亿参数的Fluid在MS-COCO30K上zero-shot条件下实现了6.16的FID分数,并在GenEval基准测试中获得了0.69的整体得分。

城市该如何提高青年幸福感?

为考察基准模型回归结果的可靠性,研究采用随机抽样(在全样本中随机抽取50%的样本进行回归分析)替换变量(将青年城市发展指数替换为GDP)的方法进行稳健性检验。随机抽取50%样本、替换变量后城市发展综合指数与幸福感仍然呈正相关关系,且分别在1%和5%的水平上显著,因此结果是稳健的。

清华提出时间序列大模型:面向通用时序分析的生成式Transformer

任务统一:生成式模型应对多种任务Timer与GPT类似进行生成式自回归,为进一步扩展模型的通用性,文章将典型时序分析场景统一为生成式任务。(1)时序预测(Forecasting):Timer一次推理输出一个序列片段,通过多步自回归给出任意长的预测结果。作者团队发现,在预测上下文长度不超过预训练序列长度的情况下,模型不会出现明显的多...

何恺明新作:无需矢量量化的自回归图像生成|大模型周报

传统观点认为,用于图像生成的自回归模型通常都伴随着向量量化的token。麻省理工学院计算机科学与人工智能实验室(MITCSAIL)何恺明团队与来自GoogleDeepMind和清华大学的合作者发现,虽然离散值空间有助于表示分类分布,但它并不是自回归建模的必要条件。