深度解析RAG大模型知识冲突,清华西湖大学港中文联合发布

这种技术的代表——检索增强的大型语言模型(Retrieval-AugmentedLargeLanguageModel,RALM)——能够直接利用检索得到的文档信息进行内容生成,无需进行额外的训练,这一优势使其在工业界得到了广泛应用,例如NewBing搜索引擎。然而,自2023年起,RALM在处理知识冲突方面面临的问题逐渐成为研究的焦点。知识冲...

用AI大模型「改造」QQ浏览器搜索,腾讯独家揭秘_腾讯新闻

如图7所示,QQ浏览器??搜索构建了从预训练->post预训练->第一轮finetune->第二轮finetune的pipeline。图7A:预训练采用百科,新闻,H5等1000亿级别数据进行无监督预训练。预训练任务采用MaskLM,将字级别mask升级为Phrase+词级别和实体级别mask,同时以一定概率替换为同义或者近义...

ACL 2024公布7篇最佳论文,华中科技大学本科生一作成果获奖

具体来看,研究人员通过使用ResNet-101骨干网络的简单分类器定制OBS-OCR工具,专门针对包含88,899个现代汉字类别的大型数据集进行训练,以评估模型的输出。结果表明,定制OCR工具实现了99.87%的识别准确率,证明了破译结果的可靠性。同时,该研究还广泛引入了开源中文OCR工具PaddleOCR1,从而进行进一步的...

揭秘Skywork-13B:国产AI大模型的开源革命,性能超群引领多语言处理...

更厉害的是,昆仑万维还开放了一个600GB、150BTokens的高质量中文语料数据集「Skypile/Chinese-Web-Text-150B」,而且全面开放商用,开发者无需申请,零门槛就能用上。▲ModelScope一键直达:??Skywork-13B下载地址(ModelScope):httpsmodelscope/organization/skywork??Skywork-13B下载地址(G...

建议收藏!100篇必读论文|大模型月报(2024.04)

来自上海AILab和香港中文大学的研究团队提出了InternLM-XComposer2-4KHD——将LVLM分辨率提升到4KHD(3840x1600)及更高分辨率。同时,考虑到并非所有场景都需要超高分辨率,它支持从336像素到4K标准的各种不同分辨率,大大拓宽了其适用范围。

大模型时代程序员应有的正确姿势

本课程深入浅出讲解GPT大语言模型核心原理,以及其在软件开发全生命周期(包括在软件需求分析、领域建模、架构与设计、数据库设计、程序开发、代码重构、开发者测试、缺陷修复等方面)的实践方法,同时深入讲解GPT在开发过程中的各种最佳实践,包括:提示工程PromptEngineer-ing、精调FineTuning以及安全方面的最佳实践等,帮助...

回望2023 | 全球亿元拍品大赏!看顶级艺术品市场究竟在卖什么...

另一件回流的博物馆级巨制,以1.817亿元成交的赵孟頫小楷《临黄庭经》涉及到鉴定、鉴赏、题跋、用印、分期、生平、交往、婚姻、行游、地理、系年、书论、递藏、传播等等问题,是中国文物拍卖30年来,内容最为丰富的赵孟頫作品。赵孟頫(1254～1322)1302作、1322年题小楷《临黄庭经》手卷...

RRHF、DPO、RSO,一些RLHF的平替汇总|算法|rm|实验|dpo|rlhf|rrhf...

ReMax是港中文在2023.10提出的工作,核心是对RLHF中RL阶段的PPO算法进行了简化。强化的难点是怎么把多步之后的最终目标转化成模型loss,针对这个问题有不同解决方案,目前OpenAI所使用的RL策略叫PPO[5],是他们自己在2017年提出的一个经典RL算法(OpenAI早期真的做了很多强化的工作)。

周鸿祎约架雷军梗被热传:雷军曾派人到朝阳公园踩点、研究站位和...

微软紧急撤回“现阶段最先进AI模型”WizardLM-2:忘了测试4月21日消息,微软本周公布并开源了最新一代大语言模型WizardLM-2,该模型的性能号称超越了GPT-4和Mistral,不过在相关模型上架后,微软突然又删除了所有项目文件和代码文件,之后未再次上线。目前微软相关工程师在?平台发文解释了原因,声称他们紧急下架模型的原因...

3090单卡5小时,每个人都能训练专属ChatGPT,港科大开源LMFlow

使用LMFlow,你也有能力训练一个只属于自己的模型!每个人可以根据自己的资源合理选择训练的模型,用于问答、陪伴、写作、翻译、专家领域咨询等各种任务。模型和数据量越大,训练时间越长,效果越佳。目前该研究也在训练更大参数量(650亿)和更大数据量的中文版模型,效果还会持续提升。