一文看懂LLM推理,UCL汪军教授解读OpenAI ο1的相关方法
他将在10月12号本周星期六早上于香港科技大学(广州)RLChina2024大会(httprlchina/rlchina_2024/)上作相关内容的主题报告,并发布其团队开发的LLM推理开源框架以推动o1相关模型的发展。链接:httpsgithub/openreasoner/openr/blob/main/reports/Tutorial-LLM-Reasoning-Wang.pdfo1的...
李沐重返母校上海交大,从LLM聊到个人生涯,这里是演讲全文
我真的干了很多乱七八糟的事情,可以说是过着「打卡式人生」,就连论文都是打卡式发论文。我在上海交通大学待了近七年,又在香港科技大学待了两年,后来去了CMU待了5年,在伯克利和斯坦福大学各待了6个月。我也进过大公司,在百度待了两年,在Amazon干了7年,这是我的第二个创业公司。那么,...
李沐上海交大演讲摘要:从LLM大模型到人生规划
(2)李沐的打卡式人生从上海交通大学毕业后,李沐都干了啥?自述:“乱七八糟”,过着「打卡式人生」,包括写论文一路名校:上海交大→香港科技大学→CMU→伯克利→斯坦福学术、企业和创业有什么区别?目标上看:去大公司,解决商业问题,给公司创造价值,接着升职加薪;读PhD,解决学术问题,保证自己能毕业;而...
仅用10万美元MIT训了一个Llama2级的大模型;谷歌提出无限上下文...
12.CT-LLM:仅20亿参数,基于中文的大型语言模型来自开源研究社区MultimodalArtProjection、复旦大学和香港科技大学的研究团队及其合作者,推出了一个20亿参数的大型语言模型(LLM)——CT-LLM。据介绍,CT-LLM主要采用中文文本数据,并使用了由12000亿个token组成的庞大语料库,其中包括8000亿个中文...
走近李生教授:培养出周明、王海峰等数位AI科学家,NLP国际最高奖项...
1991年,周明博士毕业。在周明的博士论文答辩会上,李生教授邀请了清华大学的张钹教授和黄昌宁教授,以及国防科技大学的胡守仁教授。现在来看,这场博士论文答辩会的专家阵容可谓相当豪华。张钹教授于1995年被评为中国科学院院士,黄昌宁教授也是中国最早从事自然语言处理的科学家之一,胡守仁教授曾经领导了中国第一台军用专...
清华等推出开源大模型水印工具包MarkLLM,支持近10种最新水印算法
研究方向为安全可信大模型等;何志威,上海交通大学博士生,研究方向为大模型水印、大模型智能体等;高梓添,悉尼大学本科生,研究方向为大模型水印;赵宣栋,UCSB博士生,研究方向为可信生成式AI等;胡旭明,香港科技大学/香港科技大学(广州)助理教授,研究方向为安全可信大模型、信息抽取等;闻立杰,清华大学长聘副...
LLM-as-Agent:大模型赋能时空智能体 | 周三直播·时序时空大模型...
赖思奇,香港科技大学(广州)信息枢纽人工智能学域博士生,武汉大学计算机科学本科毕业。研究方向包括数据挖掘、智慧交通、大语言模型等,并在SIGIR及SIGKDD上发表多篇论文。其提出的《LLMLight:交通信号控制智能体》被包括"量子位"在内的多家知名人工智能媒体报道。
轨迹大模型应用:LLM for Human Mobility | 周三直播·时序时空大...
集智俱乐部联合美国佐治亚理工学院博士&松鼠AI首席科学家文青松、香港科技大学(广州)助理教授梁宇轩、中国科学院计算技术研究所副研究员姚迪、澳大利亚新南威尔士大学讲师薛昊、莫纳什大学博士生金明等五位发起人,共同发起以,鼓励研究人员和实践者认识到LLM在推进时序及时空数据挖掘方面的潜力,共学共研相关文献。读书会第一期...
清华等高校推出首个开源大模型水印工具包MarkLLM,支持近10种最新...
主要作者包括:潘乐怡(第一作者),清华大学本科生,研究方向为大模型水印等;刘瑷玮,清华大学博士生,研究方向为安全可信大模型等;何志威,上海交通大学博士生,研究方向为大模型水印、大模型智能体等;高梓添,悉尼大学本科生,研究方向为大模型水印;赵宣栋,UCSB博士生,研究方向为可信生成式AI等;胡旭明,香港科技大学/香港...
ICML 2024 | 脱离LoRA架构,训练参数大幅减少,新型傅立叶微调来了
本文介绍了香港科技大学(广州)的一篇关于大模型高效微调(LLMPEFTFine-tuning)的文章「Parameter-EfficientFine-TuningwithDiscreteFourierTransform」,本文被ICML2024接收,代码已开源。论文地址:httpsarxiv/abs/2405.03003项目地址:httpsgithub/Chaos96/fourierft...