神经网络泛化能力研究!
此外,目前最有效的提高OOD泛化的方法似乎是在更多样化的数据集上进行预训练,但这种方法通过扩展训练分布本质上模糊了“OOD”的概念。此外,理论研究也表明,许多享有理论保证的OOD泛化算法在实践中并不卓越。这些限制强调了识别和理解OOD泛化背后的基本因素的必要性。尤其是,当前的文献普遍认为OOD泛化失败是由于虚假相关性...
大模型+图文识别:远光软件打造数据价值化神器
大模型加持泛化及扩展能力更强劲区别于传统OCR的“硬编码”方式,远光图文识别智能底座创新性地融入大语言模型。基于多年沉淀的元数据集对大语言模型进行微调,增强大语言模型对单据、卡证、表单等业务理解和推理能力,并通过合理设计提示词工程优化识别提取结果,实现信息提取的高效与精准,从而有效克服传统OCR泛化能力差、...
摩尔线程国产GPU智算集群扩展至万卡规模
近日,在上海世界人工智能大会期间,国产GPU创企摩尔线程宣布对其夸娥(KUAE)智算集群解决方案进行重大升级,从当前千卡级别大幅扩展至万卡规模。该集群以全功能GPU为底座,旨在打造能够承载万卡规模、具备万P级浮点运算能力的国产通用加速计算平台。摩尔线程创始人兼CEO张建中向观察者网表示,相信通用人工智能(AGI)一定...
首次证实白盒Transformer可扩展性!马毅教授CRATE-α:鲸吞14亿数据...
最后,为了评估CRATE-α模型的性能,研究人员采用了零样本学习的方法,在ImageNet-1K数据集上测试模型的准确率,该方法可以有效地评估模型在面对未见过类别数据时的泛化能力,提供了一个衡量模型可扩展性和实用性的重要指标。从实验结果中可以看到,1.模型尺寸的影响:CRATE-α-CLIPA-L/14在预训练和微调阶段的ImageNe...
IDC:360 XDR处于扩展检测与响应平台市场领导者地位
当前,新技术应用的不断增多使得企业网络风险的暴露面进一步扩大,潜在的网络攻击风险加剧,促使企业探寻更专业、更全面、更自动化的安全防护体系,助力安全运营实现降本增效,扩展检测与响应(XDR)产品应运而生。IDC在报告中指出,XDR不应该仅仅是各类遥测数据的汇聚和展示平台,而是应该充分发挥多源数据优势,利用大数据...
港大开源图基础大模型:强泛化能力,前向传播预测新数据
03OpenGraph模型主要由统一图Tokenizer、可扩展的图Transformer和基于大语言模型的知识蒸馏技术组成(www.e993.com)2024年9月8日。04实验结果显示,OpenGraph在零样本预测中显著优于现有方法,具有出色的泛化能力。05未来,团队将增加框架的自动化能力和学习各种图结构的通用且可迁移的模式,推动模型的应用范围和效果。
瞭望|欧盟泛化“经济安全”做法不安全
在地缘政治局势日趋复杂的背景下,兼顾发展和安全已成为各经济体普遍共识,但欧盟追求“经济安全”不应无限制地泛化。以泛政治化、泛安全化眼光看待正常的经贸和科技联系,将导致经济体系壁垒化,加剧全球经济和产业格局碎片化,冲击欧盟自身经济发展稳定性,最终得到的将是不安全的苦果。在法国拉博勒,一名男子在海上风力...
OpenCity 大模型预测交通路况:零样本下表现出色,来自港大百度
可扩展性:OpenCity展示了有希望的缩放定律,表明该模型有潜力在最小的额外训练或微调需求下有效地扩展和适应新的、以前未见过的场景。长时间交通预测面临挑战当前的交通预测模型,主要面临着三大挑战。一是跨区域空间泛化能力。当前交通预测模型的一个关键局限是它们在空间泛化能力欠佳。
陈丹琦团队新作:Llama-2上下文扩展至128k,10倍吞吐量仅需1/6内存
01陈丹琦团队发布了一种新的LLM上下文窗口扩展方法:CEPE(ContextExpansionwithParallelEncoding),将Llama-2窗口扩展至128k,同时仅需原来1/6的内存。02CEPE通过添加两个小组件来实现扩展:小型编码器用于对长上下文进行块编码,交叉注意力模块插入到解码器的每一层,用于关注编码器表示。
快速识别恶性肿瘤细胞,厦大和上海交大开发域泛化深度学习算法
恶性细胞spots主要通过标记基因或拷贝数变异(CNV)事件来识别。目前,迫切需要一种精度高、泛化性能好、易于扩展以处理多种数据类型的无参考恶性细胞注释算法。厦门大学和上海交通大学的研究团队提出了Cancer-Finder,一种基于域泛化的恶性细胞注释策略,可以从具有不同分布的多个数据集中学习泛化模型。这允许在具有未定...