KDD2024最佳学生论文解读,中科大、华为诺亚:序列推荐新范式DR4SR
为了实现数据集重生成,研究团队提出了一种新颖的以数据为中心的范式——用于序列推荐的数据集重生成(DR4SR),旨在将原始数据集重生成一个信息丰富且具有通用性的数据集。具体来说,研究团队首先构建了一个预训练任务,使得数据集重生成成为可能。接着,他们提出了一种多样性增强的重生成器,以在重生成过程中建模序列...
AI时代数据投毒攻击的防范策略与应对措施
或者,可以扩充现有数据集以减轻数据中毒。这种主动方法有意将受控变化引入训练数据集,例如随机旋转、平移和噪声添加。数据增强的优点是扩展数据集,同时保持其固有特征。此外,样本量的增加削弱了任何毒害数据集的尝试。合成建模-该过程涉及创建多个不同的模型,通过使用许多不同的建模算法或不同的训练数据集来预测结果。...
「机器学习之父」Mitchell 撰文:AI 如何加速科学发展,美国如何...
当前的机器学习方法对于发现人类无法检查的庞大数据集中的统计规律极为有用(例如,AlphaFold是在大量蛋白质序列及其精心测量的3D结构上进行训练的)。新机遇的关键部分是将当前的机器学习方法(发现数据中的统计相关性)扩展到两个重要方向:(1)从发现相关性转向发现数据中的因果关系,(2)从仅从大型结构化数据集学习转...
减轻幻觉新SOTA,7B模型自迭代训练效果超越GPT-4,上海AI lab发布
为了解决这个问题,上海AIlab设计了一个迭代自训练框架——ANAH-v2,它像滚雪球一样,一边扩大幻觉检测的数据集,一边提高标注者的准确性。这个框架利用期望最大化算法,每次循环都会先用现有的幻觉标注工具给新数据打上“幻觉”标签,然后用这些新数据训练一个更厉害的标注工具。通过迭代,检测工具越来越强,数据集也...
公理训练让LLM学会因果推理:6700万参数模型比肩万亿参数级GPT-4
具体来说,他们基于GPT-2架构训练了一个基于解码器的有6700万参数的模型。该模型有12个注意力层、8个注意力头和512嵌入维度。他们在每个训练数据集上从头开始训练了该模型。为了理解位置嵌入的影响,他们还研究了三种位置嵌入设置:正弦位置编码(SPE)、可学习位置编码(LPE)和无位置编码(NoPE)。结果如...
张涛:生成式人工智能训练数据集的法律风险与包容审慎规制 | 比较...
从理论与实践来看,生成式人工智能的训练数据集具有双重法律地位:一是从功能定位的角度看,在人工智能时代,训练数据集已经成为数字基础设施的重要组成部分;二是从法律属性的角度看,训练数据集是一种聚合型权益客体,涉及多个主体的多种权益(www.e993.com)2024年9月9日。(一)训练数据集的功能定位:数字基础设施...
一段视频胜过千言万语,上海交大、北航、小红书提出 Vript|大模型...
8.英伟达推出HelpSteer2:用于训练更好奖励模型的开源数据集高质量的偏好数据集对于训练奖励模型至关重要,这些模型可以有效地指导大语言模型(LLM)生成与人类偏好一致的高质量响应。随着LLM变得更强大、更符合人类偏好,OpenAssistant、HH-RLHF和HelpSteer等许可偏好数据集也需要更新,从而保持对奖励建模的有效性...
LLM用于时序预测真的不行,连推理能力都没用到
评估结果表明,对于时间序列预测任务而言,使用大型数据集进行预训练实在没有必要。为了检验预训练期间学到的知识能否给预测性能带来有意义的提升,该团队实验了在时间序列数据上,对LLaTA进行不同组合的预训练和微调的效果。预训练+微调(Pre+FT):这是原始方法,即在时间序列数据上微调预训练语言模型。对于这里的...
Aquila-Med LLM:开创性的全流程开源医疗语言模型
Aquila-Med是智源研究院针对医疗领域复杂性提出的解决方案,通过构建大规模的中英双语医疗数据集进行持续预训练,并开发高质量的SFT和DPO数据集,以提升模型在单轮、多轮对话以及医疗选择题中的表现。目前,智源研究院开源了Aquila-Med的模型权重,数据集和整个训练过程,旨在为研究社区提供有价值的资源。方法Aquila-Med...
2024北京智源大会开幕,智源推出大模型全家桶及全栈开源技术基座...
为加速推进大模型技术的产业应用进程,智源研究院构建并开源了IndustryCorpus中英文多行业数据集,包含总计3.4TB预训练数据集,其中中文1TB,英文2.4TB,覆盖18类行业,分类准确率达到80%,未来计划增加到30类。智源通过构建多行业数据算子,训练行业分类和质量过滤模型,实现高效的高质量预训练数据处理流程,并提出了一套提升精...