Adam优化器再次改进,用长期记忆限制过高学习率,北大孙栩课题组提出
这篇文章的第一作者是DingJianbang,通讯作者是孙栩副教授,他本科毕业华中科技大学,2010年从东京大学博士毕业,曾在微软公司美国雷蒙德研究院实习。他的研究方向为自然语言处理、机器学习、深度学习,曾担任EMNLP、IJCNLP等国际学术会议的领域主席。之前的AdaBound优化器就是孙栩组的骆梁宸同学提出的。本文的第一作者也感...
EMNLP 2023 最佳论文放榜!北京大学联合微信AI团队获国内首篇...
论文作者来自北京大学孙栩教授团队和微信AI团队,其中论文的第一作者王乐安是在微信AI团队实习的北大研究生(本科为北京大学智能科学与技术系2019级全系第一名),这也是他中稿的第一篇自然语言处理领域主会论文。在论文的研究过程中,北京大学孙栩教授团队和微信AI团队紧密合作,在研究方向、核心问题、实验改进、以及论文修...
北京大学“青年教师学术沙龙”第十、十一期活动举行
活动特邀信息学院黄铁军教授,工学院院长、研究生院常务副院长张东晓教授,教务部部长傅绥燕教授,科学研究部副部长韦宇,学科办公室副主任张存群,信息与工程科学部办公室主任刘小鹏出席。沙龙由人事部副部长俞蕖主持。第十期活动现场报告分享环节,北京国际数学中心文再文老师介绍了他在随机优化算法方面开展的研究工作;心理学...
西电学霸|知乎小V保研北大,tql的李磊是个什么star?
我确实想感谢我本科生的导师徐悦甡老师,就是他带领我进入了科研的大门,发表了第一篇文章,很怀念那些和老师一起修改论文的夜晚,在他的信任与教导之下,我成长为更好的自己。同时我还要感谢我的北大导师孙栩老师,他给了我这样一个机会,接触到更广阔的平台。谢谢你们!小西这次李磊同学把他的一些主页也分享给学弟...
孙茂松领衔,智源NLP重大研究方向发布智源指数,汇报10余项近期成果
自然语言处理(NLP)是智源重大学术研究方向之一,由清华大学孙茂松教授任该方向首席科学家,北京语言大学杨尔弘教授任项目经理,学者包括李涓子、穗志方、刘洋、万小军、何晓冬,青年科学家包括刘知远、韩先培、孙栩、严睿、张家俊、赵鑫、杨植麟、李纪为等。自然语言处理方向智源学者...
聚焦机器“读、写、说、译”,探寻NLP未来之路
北京大学孙栩研究员开展了关于稀疏化深度学习的研究,提出简单有效的算法来简化神经网络,仅用全梯度的子集来更新模型参数,大幅降低了训练和解码复杂度(www.e993.com)2024年10月21日。百度主任架构师孙宇介绍了百度最近提出的知识增强语义表示模型ERNIE,基于实体、短语等知识进行建模,在语言推断、语义相似度等多个任务上取得了大幅提升。“自动问答”...