大模型内部也有功能分区,MIT团队揭示其“大脑”结构

图|Gemma2-2b第12层SAE特征的顶级PCA组件的3D点云可视化(来源:arXiv)此外,研究还分析了点云的聚类熵,发现概念空间确实存在明显的聚类现象,特别是在模型的中间层。这种聚类程度远高于各向同性高斯分布的预期,表明概念在特征空间中的分布具有复杂的内在结构。研究者们使用k-NN方法估计了点云分布...

AI「长脑子」了?LLM惊现「人类脑叶」结构并有数学代码分区,MIT...

而类似「大脑」的中间尺度结构,则展现出了明显的空间模块化特征,团队将其描述为空间集群和共现集群之间的对齐。比如,数学和代码特征形成了一个「脑叶」,跟神经功能磁共振图像中观察到的人类大脑功能分区相似。团队运用多个指标,对这些功能区的空间局部性进行了量化分析,发现在足够粗略的尺度上,共同出现的特征簇在空...

大脑和人工智能正在趋同吗?

现在我们可以全面探究大脑中的神经元活动,或许能够解开其中一个最大的谜团:分布在众多神经元中的信息是如何整合成统一的感知,并用于决策之中。大脑的结构是分层的,每一层都在不同的时间尺度上负责决策,无论是在感觉系统还是运动系统中。我们可以构建拥有多个子网络的深度多模态模型,将它们整合成一个统一系统,从而获得...

中国科学家绘制多物种小脑皮层单细胞空间分布图谱

继一年前发布世界首套猕猴大脑皮层单细胞空间分布图谱之后,中国科学院脑科学与智能技术卓越创新中心蒲慕明院士领衔的联合团队在小脑上也取得突破:绘制出小鼠、狨猴和猕猴的小脑皮层单细胞空间分布图谱并进行跨物种对比。该成果9月27日在线发表于国际学术期刊《科学》。中国科学院脑科学与智能技术卓越创新中心研究员孙怡迪...

Nature | 基于人脑DNA甲基化-染色质构象单细胞图谱,揭秘大脑发育...

成年人的大脑包含数百种细胞类型,其在分子特征、形态、解剖结构和功能特征方面表现出丰富的多样性;大多数皮质神经元在妊娠早期和中期产生,但高度不同的细胞类型分子特征通常在妊娠晚期和青春期之间出现。近年来,单细胞和转录组分析揭示,产前晚期和产后早期发育中特征性基因表达重塑,在人脑发育过程中普遍存在的转录组动力...

独家| 收藏!两张图读懂脑血管堵塞后梗死分布及症状

独家|收藏!两张图读懂脑血管堵塞后梗死分布及症状不同的脑血管闭塞后,梗死分布区域差异显著(上图),可以根据梗死分布情况,定位受累血管:上图展示了脑血管堵塞后,出现的相应部位缺血区域,及导致的临床症状:来源:安贞霍晓川

宇宙星系分布,和大脑神经元高度重合,宇宙有可能是活的吗?

这是天文学家绘制的宇宙地图,这是脑科学里的人类大脑神经元分布图,对比这两张图后,你会发现宇宙和大脑的形状高度相似。因此有科学家认为,宇宙可能是一个具备思维能力的大脑,我们可能就生活在它的梦里,因为从原理上来看,构成大脑的几百亿个神经元,和组成宇宙的数千亿个星系,都遵循着同样的规则,如果意识真的是大...

《千脑智能》:通向超人类AI的未来之路

杰夫·霍金斯和他的团队发现,大脑使用类似地图的结构来建立一个世界的模型——不仅仅是一个模型,而是成千上万个我们所知道的一切的模型,也就是千脑智能理论。这一发现为创造机器智能提供了清晰的路线图。霍金斯多年深耕于大脑研究的领域,终于在这本书中给出了答案。

Science|新的成像方法首次揭示大脑内部氧气分布与流动的景象

如今,一项新的研究介绍了一种新的生物发光成像技术,该技术创造了非常详细、视觉上引人注目的小鼠大脑内部氧气分布与流动的景象。这项易于复现的技术革新将极大地助力科研人员更准确地探究诸如中风或心脏病发作导致的大脑缺氧状况。此外,这项新技术还揭示了久坐生活方式为何会增加罹患阿尔茨海默病等疾病的风险。

PNAS:上海交大团队在大脑神经元网络的结构连接重构方面取得重要进展

C.HH网络的结构连接重构。图中为网络内所有神经元对的因果连接强度在对数坐标下的统计分布(呈现明显的双峰结构),其中左侧较宽的分布为没有直接结构连接的神经元对的因果连接强度的分布,而右侧较窄的分布为有直接结构连接的神经元对的因果连接强度的分布。D.实验中小鼠接受不同视觉影像刺激时记录大脑神经元活动的...