精确率提升7.8%!首个多模态开放世界检测大模型MQ-Det登NeurIPS 2023
对于第i个类别,输入视觉示例v_i,其首先和目标图像进行交叉注意力(X-MHA)得到以增广其表示能力,而后每个类别文本t_i会和对应类别的视觉示例进行交叉注意力得到,之后通过一个门控模块gate将原始文本t_i和视觉增广后文本融合,得到当前层的输出这样的简单设计遵循了三点原则:(1)类别可扩展性;(2...
NeurIPS 2023 | MQ-Det:首个支持多模态查询的开放世界目标检测大...
获取多模态查询能力的难点:如何得到这样一个具备多模态查询的模型,存在三个挑战:(1)直接用有限的图像示例进行微调很容易造成灾难性遗忘;(2)从头训练一个检测大模型会具备较好的泛化性但是消耗巨大,例如,单卡训练GLIP[1]需要利用3000万数据量训练480天。多模态查询目标检测:基于以上考虑,作者提出了一种简单有效...
让大模型看图比打字管用,NeurIPS 2023新研究提出多模态查询方法...
论文提出了一种基于多模态查询的目标检测方法MQ-Det,只需要给输入加上一个图片示例,就能让大模型找东西的准确率大幅提升。在基准检测数据集LVIS上,无需下游任务模型微调,MQ-Det平均提升主流检测大模型GLIP精度约7.8%,在13个基准小样本下游任务上,平均提高了6.3%精度。这究竟是怎么做到的?一起来看看。以下内容...
如何“保养”可重复使用火箭?
随着可重复运载技术与维护技术的发展,可通过日常维护来延长运载火箭的使用寿命,有利于每次发射时火箭任务可靠性目标的实现。参考民用飞机的实践,其一般在日常起飞前、短停、降落后都会进行简单的检查与维护,及时排除可能发生的故障与偏差,保证其可靠性与安全性,以提高航班的正点率。其工作项目有目视检查、操作测试、勤...
唐驳虎:面对史上最热的夏天,AI可以做点什么?
动作规范识别准确率超过95%,异物识别准确率达98%。避免安全事故,缩短停机时间,同时提升井下巡检人员的工作效率。让AI成为矿工规范作业的好帮手,保障井下作业安全。在智能空调节能控制项目中,通过空调系统的历史耗电数据和空调使用数据,在达到客户目标温度范围内的前提下,实现空调的节能控制。基于盘古大模型和多模型多数...
从“通用”到“应用”,大模型落「向下」扎根工业制造
经实测,“工小匠”在项目样本需求量减少70%的情况下,平均检测准确率仍能达95%以上,大大缩短了项目周期以及产线的改造成本,提高了解决方案的应用适配能力(www.e993.com)2024年9月10日。可靠的数据增广路径微亿智造在通用大模型基础上根据工业质检、智能生产、智能监控等场景设计了多重解决方案,如轻量级快速交付解决方案、高召回人机协作解决方案...
上海交大王亚飞副教授团队:“露天矿山无人驾驶运输系统”助力矿山...
研发团队还以多尺度障碍物在矿山多场景下的目标特征为对象,构建了覆盖全生产场景的目标检测数据集,并针对扬尘等恶劣场景进行了数据增广,研发了具备全尺度和多场景适应性的轻量化目标检测技术。通过采用该技术建立了满足复杂矿山场景应用的新型神经网络模型,提升了矿山复杂场景目标检测跟踪的效率。提出的检测算法可同时滤除...
【项目申请】共210万,截止2月23日!国家铁路智能运输系统工程技术...
立足铁路侵限检测技术框架构建,围绕恶劣环境下的数据增广、图像增强和模型泛化等关键问题开展研究。通过研究基于AI大模型驱动的生成算法,利用数据的高质量扩充提升铁路侵限检测模型的泛化能力;研究基于物理原理约束的自然灾害异常场景AI生成算法,提升恶劣环境下铁路侵限场景数据的质量;最终形成一套面向新一代智慧铁路侵限场...
面向航班化的可重复运载器可靠性维护技术与寿命分析
许多学者已经针对小子样问题开展了相关研究,通过采用参数修正、小子样数据样本增广等方法,来建立小子样数据下的寿命预测模型。近年来,小子样理论(在试验数据较少的情况下,通过数据融合方法进行分析与评估的理论)快速发展,成为对复杂系统进行试验分析和寿命预测的一种重要手段。在基于智能模型的剩余寿命预测方法中,支持向量...
光学精密工程·封面 | 芯片表面微小缺陷目标检测
3.微小目标测量精度提升方法研究由于重建前后USAF1951分辨率板中目标在高频特征体现上有所差异(如图3所示),计算机处理结果并不相同。作者通过对重建前后同一目标进行测量,对比了提出算法对目标测量精度的影响。作者分别从垂直和水平方向对重建前后的线宽尺寸进行了测量,并计算了相应的误差。误差曲线如图4所示,重建后的测量...