Adam优化器再次改进,用长期记忆限制过高学习率,北大孙栩课题组提出
最近北京大学孙栩课题组提出了一种新的优化器AdaMod。这是一种基于Adam的改进优化器,具有自动预热试探法和长期学习速率缓冲。AdaMod的名称来自Adaptive(自适应)和MomentalBound(矩限制)。在训练过程中,AdaMod可以轻松击败Adam,同时对学习率超参数、训练曲线都不那么敏感,并且不需要预热。优点AdaMod的原理是,在...
北京大学“青年教师学术沙龙”第十、十一期活动举行
报告分享环节,北京国际数学中心文再文老师介绍了他在随机优化算法方面开展的研究工作;心理学院李晟老师从知觉学习机制的角度介绍了认知神经科学的发展;信息学院孙栩老师分享了其研究团队围绕自然语言生成关键技术研究的最新进展;工学院王启宁老师以“迈向学科交叉的机器人技术”为题介绍了当前国内外机器人研究的现状以及他的团队...
孙茂松领衔,智源NLP重大研究方向发布智源指数,汇报10余项近期成果
自然语言处理(NLP)是智源重大学术研究方向之一,由清华大学孙茂松教授任该方向首席科学家,北京语言大学杨尔弘教授任项目经理,学者包括李涓子、穗志方、刘洋、万小军、何晓冬,青年科学家包括刘知远、韩先培、孙栩、严睿、张家俊、赵鑫、杨植麟、李纪为等。自然语言处理方向智源学者在智源研究院的支持下,自然语言处理重大研究方...
西电学霸|知乎小V保研北大,tql的李磊是个什么star?
同时我还要感谢我的北大导师孙栩老师,他给了我这样一个机会,接触到更广阔的平台。谢谢你们!小西这次李磊同学把他的一些主页也分享给学弟学妹了哦~对哦,向大家安利学霸的分享。小电No.1李磊同学的GitHub↑↑↑点击即可查看No.2李磊同学的知乎主页↑↑↑点击即可查看No.4小西小电的结语~看完...
打造北京自然语言处理方阵,智源研究院发布新研究方向
清华大学长聘教授李涓子、北京大学教授穗志方、清华大学长聘副教授刘洋、北京大学研究员万小军、京东AI研究院常务副院长何晓冬等5人担任自然语言处理智源研究员,清华大学副教授刘知远、中科院软件所研究员韩先培、北京大学研究员孙栩、北京大学研究员严睿、中科院自动化所副研究员张家俊等5人担任自然语言处理智源青年科学家。
聚焦机器“读、写、说、译”,探寻NLP未来之路
北京大学孙栩研究员开展了关于稀疏化深度学习的研究,提出简单有效的算法来简化神经网络,仅用全梯度的子集来更新模型参数,大幅降低了训练和解码复杂度(www.e993.com)2024年10月21日。百度主任架构师孙宇介绍了百度最近提出的知识增强语义表示模型ERNIE,基于实体、短语等知识进行建模,在语言推断、语义相似度等多个任务上取得了大幅提升。“自动问答”...
资本大鳄布控2000亿宠物经济局
北京大学孙栩老师和微软亚洲研究院发表在AAAI(美国人工智能协会)2019上的研究弹幕生成课题的论文,相关案例就使用了B站知名UP主“花花与三猫”的猫咪视频。连科学家都要吸猫,何况我们普通人。1992年中国设立小动物保护协会,宠物作为人类的伴侣这一理念开始宣传,短短几十年,中国宠物市场从无到有,2017年已蓬勃发展至...
【大公网】香港求是科技基金会在皖颁发2015年度求是奖
今次“求是杰出青年学者奖”获得者共有10人,分别为中国科学技术大学马明明、清华大学焦雷、李雪明、沈渊,北京大学孙栩,浙江大学柏浩、王立铭,复旦大学孔令欣,上海交通大学丁最廷以及中国医科科学院基础医学研究所石磊。其中孔令欣是今次唯一一名女性获奖者。此间,她代表青年学者发言时称,自己是在香港出生并长大,对香港求...
【中安在线】“2015求是奖”颁奖典礼在合肥举行
2015年度“求是杰出青年学者奖”获得者分别是:中国科学技术大学马明明,清华大学焦雷、李雪明、沈渊,北京大学孙栩,浙江大学柏浩、王立铭,复旦大学孔令欣,上海交通大学丁显廷,中国医学科学院基础医学研究所石磊等十位青年学者。1995~2001年,基金会设立了“求是杰出青年学者奖”,为一批优秀青年学者安心科研、迅速成长发挥了雪...
智源研究院再次发力,孙茂松领衔打造北京学派 NLP 最强军团
继今年8月份北京智源人工智能研究院举行“智能信息检索与挖掘”重大研究方向发布会之后,今天,智能研究院再次发力,发布“自然语言处理”重大研究方向,由清华大学计算机系孙茂松教授领衔,李涓子、穗志芳、刘洋、万小军、何晓东、刘知远、韩先培、孙栩、严睿、张家俊等十位NLP领域的著名中青年学者共同组成“北京学派”NLP最强...