科学家开发多模态大模型,能准确定位图像物体位置,助力提升大模型物理理解水平
来源:DeepTech深科技
新加坡国立大学博士研究生张傲是第一作者,新加坡国立大学博士后研究员姚远担任通讯作者。
能直接定位对象的准确位置,将多模态大模型的图像理解拓至区域级推理
如上可以看出,目前的多模态大模型通常建立在大语言模型的基础之上,通过配备视觉感知模块来获取多模态感知能力。
例如,由谷歌DeepMind团队推出的视觉语言模型Flamingo,借助具有重采样器的预训练视觉骨干提取视觉信息,并通过交叉注意机制将它们合并到文本特征中。
BLIP-2和Kosmos模型则是直接将视觉特征作为软提示词,输入进大语言模型。
不过,这些已存在的多模态大模型只能将整个图像作为输入和输出的文本,也就是仅仅局限于从整体上理解图像,无法处理区域级推理任务,比如基于多模态对话,定位图片中的某个对象。
因此,为了进一步提高视觉理解水平,实现用于区域级推理的多模态大模型,当前的解决方案一般选择利用Pix2seq方法[2],也就是把对象的边界框坐标,转换为大语言模型能够理解的一系列纯文本标记。
而后者只需根据这种纯文本标记,就可以生成对象坐标,用户也就能够知道对象在图像中的位置。
但是,该方法也存在一定的缺陷,即只擅长生成对象的边界框,这难以直接地拓展到最能表示对象准确位置的图像掩膜。
其中,需要说明的是,在图像处理和计算机视觉领域,掩膜指的是在不影响图像其他部分的情况下,对图像局部区域进行某些精细的操作。
“我们希望多模态大模型能够非常方便地拓展到复杂的位置形式,就提出把对象的位置信息转化成特征形式,然后全部用该特征进行编码解码,以完成所有对象定位格式的统一。”张傲解释道。
据此,他们构建了pix2emb方法。该方法的关键思想在于,先把全部有关位置的信息建模为嵌入,然后通过相应的解码器将其解码为目标格式。
具体来说,研究人员分别引入了“”和“”这两个新的标记,其中前者充当定位的触发器,后者充当对象位置嵌入的占位符。
在文本生成过程中,前者会触发定位解码,它的隐藏状态就可以用于检测和分割,而预测或提供的对象位置,则被编码到后者标记的嵌入中,以供对象引用。
图丨NExT-Chat的整体框架。图像和给定的边界框分别由图像编码器和框编码器进行编码。在解码过程中,的隐藏状态被输入到框和掩膜解码器中,从而实现目标检测和分割。(来源:arXiv)
实现对象定位、区域描述、推理等能力,通过定性方式和定量方式进行验证
采用上述方法,该课题组通过一个包含预训练、指令调优和分割训练三个阶段的训练过程,完成了对NExT-Chat的训练。
在第一阶段,他们使用Flickr30KEntities、VisualGenome等各种来源的混合数据集,在保持冻结图像编码器的同时,对包含框解码器的整个大语言模型进行训练。
据了解,该阶段的训练耗时约59小时,用了8个A100GPU(80G)。
在第二阶段,又进一步采用来自VQAv2、RefCOCO、Flickr30KEntities等测试集的数据对模型进行微调,同样使用8个A100GPU(80G),训练时长为10小时。
经过前两个阶段的训练,该模型已经具备边界框解码能力,也就是能够进行对话和图像定位。
而在第三阶段,研究人员则通过8个A100GPU(80G)的3小时训练,将模型的能力拓展至分割。
据张傲介绍,NExT-Chat训练完成以后,他和团队便通过定性和定量两种方式,对其有效性进行了验证和评估。
首先是定性验证。研究人员通过对不同场景进行实验,验证了NExT-Chat的功能。
例如,如下图所示,在定位复杂对象方面,该模型能够准确地检测并分割查询的对象,如背景中的熊。
在这里,值得一提的是,为了确保NExT-Chat不会偏向特定对象,该团队通过不同的查询对它进行测试,也就是让它分别查找背景中的四只熊。
而后,该课题组又让该模型根据给定的边界框生成对象描述,以评估NExT-Chat在区域描述上的有效性。
如下图所示,当输入“给我一个图片中区域的描述”时,NExT-Chat始终能够生成专门针对所提供区域的准确描述,即左图的“树是绿色的”,以及右图的“一个白色的灯开关”。
“可以看出,在右图这张有人存在的图片中,NExT-Chat可以对背景里的小物体进行准确的描述,比如这个白色的灯开关。”张傲表示。
更有意思的是,该模型除了具备上述能力,还具有针对给定问题生成详细解释的能力。
如下图所示,当对该模型提问“图中男子的潜在工作是什么?请包括对象位置并解释”时,它能够通过分析上下文线索,比如男子穿的制服和骑的马,来推断他的职业可能是一名警察,或负责公共安全保护等职务的执法人员。
其次是定量验证。研究人员将NExT-Chat和LLaVA、MiniGPT-4等现有的SOTA多模态大模型,进行了综合评估。
结果显示,该模型在幻觉、分割、检测等视觉定位任务中,均取得比较优秀的效果。
此外,他们还验证了区域描述等其他任务,发现NExT-Chat也都能在不经过专门训练或微调的情况下,达到比此前基于少样本学习训练出的模型更好的效果。
据张傲介绍,该研究始于2023年6月,前后经历半年时间。一开始,该课题组仅仅打算做出有关掩膜的定位。
但当对模型的效果进行初步验证的时候,他们发现该领域已经有其他课题组用相似的方法实现了掩膜功能。
因此,为增强成果的创新性,他们在该功能的基础上进行了扩展,不仅让模型能够同时描述多个物体的位置,还额外增加了位置输入的能力。
另外,考虑到掩膜是一种非常昂贵的标注,所以他们也采用将少量昂贵的标注和大量廉价的标注相结合的方式,实现在不影响模型效果的前提下,对昂贵标注需求的缩减。
而在目前研究的基础上,该团队也计划进一步增强NExT-Chat检测和分割的效果、性能和速度,使它能够被更好地部署在手机或其他终端上。
参考资料:
1.A.,Zhang,Y.,Yao,W.,Ji.etal.NExT-Chat:AnLMMforChat,DetectionandSegmentation.arXiv:2311.04498(2023).https://doi.org/10.48550/arXiv.2311.04498
2.T.,Chen,S.,Saxena,L.,Li.etal.Pix2seq:Alanguagemodelingframeworkforobjectdetection.arXiv:2109.10852(2021).https://arxiv.org/abs/2109.10852
运营/排版:何晨龙