第六届“科学探索奖”颁奖 每位奖金300万为基础科研“投射一束光”

“1秒的1/60,是人眼的时间分辨率;0.1纳秒,是5G赫兹传输一个字节所需的时间;但今天,我要讲的是更短的时间尺度,十的负十三次方秒,万亿分之一秒。”数学物理学领域获奖人、清华大学教授周树云的研究领域,是在万亿分之一秒的时间尺度上,用光来调控固体材料的物理性质,改造它的“基因”。“深地工程科学的前沿探索...

图灵奖得主杨立昆:大语言模型是通往AGI的一条歧路

如果我们计算一下视觉信息输入量,视神经的传输速率大约是每秒20兆字节。相比之下,我们通过语言理解或阅读时,信息输入速率只有大约每秒12字节,要少得多。因此,通过一万六千小时的视觉暴露,一个四岁孩子接收到的信息量达到了10的15次方字节,是目前已公开的最大规模大语言模型训练量的50倍以上。这意味着...

月之暗面杨植麟:如果有 10 亿的上下文长度,今天的问题都不是问题|...

做「长」是因为杨植麟判断AI-Native产品的终极价值是提供个性化的交互,而losslesslong-context是实现这一点的基础——模型的微调长期不应该存在,用户跟模型的交互历史就是最好的个性化过程,历史上每一代技术都是在提升contextlength。杨植麟身上的标签有天才AI科学家、连续创业者……在这次深度访谈中,...

AI周报|OpenAI被曝解散“超级智能对齐”团队;多家美国AI创业公司...

大模型的能力接下来有非常大的提升空间,当前产业仍处于开端,刚做到10的25次方运算,接下来26、27、28、29次方的运算,我们希望能够把精力和优先级放在‘爬楼梯’上,而不仅仅只是‘看风景’。"杨植麟在主旨演讲中谈到。点评:5月14日,OpenAI发布了新一代旗舰生成模型GPT-4o,该产品新增了文本、语音、图像三种模态...

中国AI大模型背后的五大推手,打得不可开交

一方面,对标正在开发GPT-5、继续向微软筹钱的OpenAI,大模型企业需要的算力会更多。另一方面,大模型更侧重于落地千行百业,也需要云厂商的开发工具及API更加便捷易用,让国内大模型也能“5分钟开发一个应用”。正如百度创始人、董事长兼CEO李彦宏所说:“我们看国外,除了有几十个基础大模型之外,已经有上千个AI原生应...

为什么计算机采用 8 位字节 | Linux 中国

还有人提到,一些具有36位字大小的计算机可以让你选择字节大小-根据上下文,你可以使用5或6或7或8位字节(www.e993.com)2024年11月19日。原因2:与二进制编码的十进制一起工作20世纪60年代,有一种流行的整数编码叫做二进制编码的十进制(binary-codeddecimal)(缩写为en.wikipedia),它将每个十进制数字编码为4位...

历史上的今天:1024 程序员节;中文维基百科上线;iPad mini 诞生十...

1024程序员节是中国程序员的一个常见节日;1024是2的10次方,二进制计数的基本单位之一。而程序员专业从事前端和后端程序开发、系统运维、测试,这个职业就像1024这个数字,用最低调的、坚固的、核心的功能模块构建技术世界。回顾科技历史上的10月24日,还发生过哪些关键事件呢?

单片机中的字及字节详解

1千字节(KiB,Kilibyte)=1024字节(2的10次方字节)(1KiB=1024B)1字节(Byte)=8位(bit)注意:MiB和MB,KiB和KB等的区别:1KB(kilobyte)=1000byte1KiB(kibibyte)=1024byte1MB(megabyte)=1000000byte1MiB(mebibyte)=1048576byte这是因为硬盘生产商是以GB(十进制,即10的3次方=1000,如1MB=1000KB)计算的...

【黑马早报】字节跳动成立抖音集团或赴港上市;长沙调查组进驻...

5.腾讯视频起诉字节跳动索赔千万腾讯视频发现,字节跳动公司旗下产品今日头条上存在大量未经授权的《风味人间》《有翡》侵权短视频,以侵犯著作权及不正当竞争为由起诉字节跳动公司,两案共索赔1000万。目前,该案已由海南自由贸易港知识产权法院立案受理。(文汇报)...

新加坡国立大学尤洋:高性能 AI 的突破丨GAIR 2023

以A10080G为例计算GPT-3训练所需的内存数,GPT-3有大概1750亿参数,为方便计算取整数2000亿,等于200乘以10的9次方,每个单精度占用4个字节,仅参数就要占800G内存,梯度也占了800G内存。按照当前的优化方法储存一阶矩(firstmoment)、二阶矩(secondmoment)等信息均为800G。也就...