建议收藏!100篇必读论文|大模型月报(2024.04)

他们以交互式图像编辑应用为目标,在这些应用中,用户从空白画布或图像开始,使用二进制掩码和文本提示指定一系列局部图像修改。他们的生成器分两阶段运行。首先,上下文编码器处理当前画布和用户掩码,生成一个紧凑的全局上下文来适应要生成的区域。其次,以该上下文为条件,基于扩散的transformer解码器以“lazy”的方式合成...

论文解读:使用带门控卷积进行生成式深层图像修复方法

粗糙生成器以掩码图像、掩码图像和可选的用户草图图像作为输入,对缺失区域进行粗糙重建。然后,粗填充的图像将被传递到第二个细化生成器网络进行细化。请注意,DeepFillv1中提出的上下文注意(CA)层被用于此细化网络。对于鉴别器,本文采用了著名的PatchGAN结构[3]。除了使用PatchGAN之外,作者还对鉴别器的每个标准卷积...

WGAN、CSGAN、ADC-GAN…你都掌握了吗?一文总结图像生成必备经典...

图像生成模型的发展非常快,所以与其它几个topic不同,图像生成中必备的TOP模型介绍主要以近两年的SOTA模型为主。一、条件性生成模型1.1WGANWGAN即WassersteinGAN。GAN网络训练的重点在于均衡生成器G与鉴别器D:若鉴别器太好,loss不再下降,则生成器就学不到东西,也就无法继续提升生成图像的质量。所以在原始GAN的...

ACM MM最佳论文全文:通过多对抗训练,从图像生成诗歌

为避免长序列(所有诗行一起)导致的曝光偏差问题以及无可用的特定损失函数来定量评测生成诗歌的问题,我们提出使用多对抗训练的诗歌生成递归神经网络(RNN),并通过策略梯度对其进行进一步优化。我们使用两个判别网络来对生成诗歌与给定图像的相关性以及生成诗歌的诗意提供奖励。我们对多模态诗集、单模态诗集以及多模态诗集(EX)...

AI视野:Nijijourney APP正式上架App Store;微软AutoGen框架爆火...

PIXART-α是一款基于Transformer技术的高质量图像生成模型,显著降低了培训成本,同时保持了与最新图像生成器相匹敌的图像质量,有助于环境友好和高分辨率图像合成。PIXART-α论文网址:httpsarxiv/abs/2310.00426PIXART-α项目网址:httpspixart-alpha.github.io/...

GANs的优化函数与完整损失函数计算

这就相当于说,不是训练生成器最小化图像是假的概率,而是最大化图像是真实的概率(www.e993.com)2024年11月19日。因为在本质上这两种优化方法是相同的,我们可以在图中看到:论文中使用的生成器损失函数是:在实际使用时,编写生成器损失函数通常采用上述公式的负数形式,目的不是使函数最大化而是使其最小化。因为这样就方便了使用Tensorflow等库来...

拯救单身狗:这个对象生成器帮你看看未来对象长啥样

Pix2pix使用成对的图片数据,学习从一个图像到另一个图像的转换方式,并生成能够以假乱真的图像。使用pix2pix实现不同风格和用途图像的互相转换。在Pix2pix中,生成器采用encoder-decoder或U-Net的架构。两种Pix2pix的生成器架构。那么,应该怎么使用这个项目呢?

3D行业专题研究报告:AI的下一个涌现

已有的应用公司包括付费应用Kaedim,用户最少仅需上传一张照片,Kaedim3D即可识别出图中物体的3D形态,并用可导入几乎所有主流软件的格式输出给用户;另外,免费3D模型生成工具PIFuHD可以配合其他2D图像生成软件生成3D模型,但模型并不能直接导入虚幻引擎或者研发引擎当作游戏角色或者NPC。

一文看尽SOTA生成式模型:9大类别21个模型全回顾!

Dreamfusion使用一个从二维扩散模型的蒸馏中得到的损失取代了CLIP技术,即扩散模型可以作为一个通用的连续优化问题中的损失来生成样本。相比其他方法主要是对像素进行采样,在参数空间的采样比在像素空间的采样要难得多,DreamFusion使用了一个可微的生成器,专注于创建从随机角度渲染图像的三维模型。

视频生成经典模型资源(一):TGAN、VGAN、MoCoGAN、SVG、vid2vid...

采用均匀分布的方法对z0进行采样。接下来,应用反卷积层扩展其长度,同时减少通道的数量。除通道数和一维反卷积外,反卷积层的设置与图像生成器的设置相同。与原始的图像生成器一样,在反卷积后插入一个批处理归一化(BN)层,并使用ReLU作为激活函数。Imagegenerator...