NeurIPS 2024 | 极致压缩,二值化扩散模型在图像超分辨率任务上的...

我们设计了适用于二值化的UNet结构,通过一致像素下采样(CP-Down)和上采样(CP-Up)确保维度一致性和全精度信息传递,同时提出通道混洗融合(CS-Fusion)增强跳跃连接中的信息融合。此外,针对扩散模型的多步机制,我们设计了时间步感知重分布(TaR)和激活函数(TaA),以适应不同时间步的激活分布,提升二值化模块的表示...

清华团队提出“智能体医院”:医生智能体可实现自我进化|大模型

在此模块的基础上,他们采用DiT结构进行上采样,并开发了一种无限超分辨率模型,能够对各种形状和分辨率的图像进行上采样。综合实验表明,这一模型在生成超高分辨率图像方面达到了机器和人工评估的SOTA性能。与常用的UNet结构相比,这一模型在生成4096*4096图像时可以节省5倍以上的内存。httpsarxiv...

手机上0.2秒出图、当前速度之最,谷歌打造超快扩散模型Mobile...

然而作为FoundationModel,它的不足也很明显,主要包括了两方面:一是扩散模型的大量参数导致计算速度慢,尤其是在资源有限的情况下;二是扩散模型需要多步才能采样,这进一步导致很慢的推理速度。拿最火的的StableDiffusion1.5(SD)为例,其基础模型包含了接近10亿参数,我们在iPhone15Pro上将模型量化后...

寒武纪-AI解决方案面试7道|含解析

编码器(下采样部分):逐层提取特征,使用卷积层和池化层进行下采样。每个卷积层后通常跟着一个ReLU激活函数,以增加网络的非线性表达能力。解码器(上采样部分):逐层恢复图像的空间分辨率。通过上采样(如转置卷积)和跳跃连接(skipconnections)将编码器中的特征图与对应的解码层特征图结合,从而保留了空间信息。U-...

字节版Sora火爆24小时,同名论文再次被热议

首先,团队采用广泛使用的2DUNet作为扩散模型,该模型由一系列空间下采样层和一系列空间上采样层构建,并插入了跳跃连接。具体来说,它由两个基本模块构建,即2D卷积模块和2D注意力模块。通过插入时间层将2DUNet扩展为3D变体,其中在2D卷积层之后插入1D时间卷积层,2D注意力层之后插入1D时间注意力层。

车圈最大AI「黑马」吉利:自研语音大模型登顶,性能超SOTA 10%

首先,从语音数据中提取HuBERT特征和基频(F0),然后将这些特征输入到一个ResNet模型中进行处理(www.e993.com)2024年11月27日。随后,数据经过编码下采样和解码上采用过程,最终还原成音频信号。在解码器上采样阶段的每一步,引入目标说话人embedding特征,实现改变说话音色但不改变说话内容的效果。

使用Mamba运动互补(MV-MOS): 多视角实现3D动态物体分割

其中，Up(·)表示PixelShuffle上采样操作。最终预测输出与物体的可移动标签一起用于计算损失以训练运动分支，并增强其辨别物体可移动性的能力。此外，语义分支上采样层的输出与骨干网络输出的特征图结合，为运动分支的上采样阶段提供指导。此过程公式如下：最终输出不仅结合了来自双视图残差图的运动信息，还在下采样和上...

使用Pytorch中从头实现去噪扩散概率模型(DDPM)

采样算法可以总结如下:1、从标准正态分布生成随机噪声。对于从最后一个时间步开始向后移动的每个时间步:2、通过估计反向过程分布来更新Z,该分布的均值由前一步的Z参数化,方差由该时间步模型估计的噪声参数化。3、为了稳定性,添加少量噪声回到图像中(下面会解释原因)。

告别3D高斯Splatting算法,带神经补偿的频谱剪枝高斯场SUNDAE开源了

然后,我们利用一个轻量级神经网络来建模基元之间的关系并补偿频谱剪枝后的质量下降。这个网络由一个具有skip-connection的四层全卷积U-Net组成,它聚合来自不同基元的信息。使用平均池化进行下采样,并使用双线性插值进行图像上采样。该网络以光栅化的特征图为输入,输出RGB图像。

看透物体的3D表示和生成模型:NUS团队提出X-Ray

这个模型改编自StableVideoDiffusion（SVD）的时空VAE解码器，专门从头开始训练，以4倍的因子上采样合成的X-Ray帧，同时保持原始的层数。解码器能够在帧级和层级上独立进行注意力操作。这种双层注意力机制不仅提高了分辨率，还显著改善了图像的整体质量。这些功能使得视频上采样模型成为在高分辨率X-Ray生成中更加协调和...