追问weekly | 过去一周,脑科学领域有哪些新发现?

神经网络在学习新任务时,常常会出现“灾难性遗忘”,即学习新任务时丢失旧任务的知识。相比之下,生物大脑具有更强的灵活性。为了解决这一问题,加州理工学院的MattThomson教授和他的团队开发了一种名为功能不变路径(FunctionallyInvariantPath,FIP)的新算法。研究团队采用微分几何框架,将神经网络的权重空间视为具有...

陈姿含:人工智能算法决策中的敏感个人信息保护 | 法律科学202406

是人为性歧视(主观性歧视)的延伸;第二种歧视是算法决策选取样本时存在的歧视,其产生原因是机器学习作为一种训练算法的方法,不需要明确编程就可以获得学习能力,但是其分析信息的能力受到输入样本的影响,这种歧视之所以会产生源于样本性偏差;第三种歧视是模拟生物大脑的神经网络从代表性样本中自主捕获敏感个人信息特征而引发...

2024健康险行业研究报告:年收入有望首次突破万亿元,带病体成为...

4、社商融合的关键是数据共享,数据结构化是未来方向。政府方面,除了对医保商保数据共享的支持外,对商保提供营销背书或研究支持也是必要的。5、未来,保险产品趋向个性化,科技赋能作用愈加凸显;中端医疗险将逐步多元,并逐步惠及非标体;个性化保费牵涉到保险评估和销售流程,或暂不能实现。6、服务责任化将经营风险的...

Nature论文 “浅脑理论”:深度神经网络或许不是下一代AI的核心架构?

浅脑假设认为大脑具有浅层结构,由大量并行的递归神经网络组成,每个网络不仅向亚皮层区域投射,而且具有高度复杂的微电路,从而能够利用浅的皮质-亚皮质回路和皮质层次结构之间的“横向”形成的计算能力进行快速而强大的计算。浅层大脑结构的基本单元是一个包含L5p神经元的单一丘脑-皮层-亚皮层回路。浅脑假说模型有三个...

消息队列选型看这一篇就够了

Broker:无状态Proxy服务,负责接收消息、传递消息、集群负载均衡等操作,它对client屏蔽了服务端读写流程的复杂性,是保证数据一致性与数据负载均衡的重要角色。Broker不会持久化保存元数据。可以扩容但不能缩容;BookKeeper:有状态,负责持久化存储消息。当集群扩容时,Pulsar会在新增BookKeeper和Segment(即Book...

Hinton万字访谈:用更大模型“预测下一个词”值得全力以赴

在访谈中,Hinton谈到了很多话题,包括当前大模型的技术路线、多模态学习的重要性、数字计算与共享知识、智能系统的意识与情感以及他的合作者和优秀学生……Hinton认为,大型语言模型通过寻找不同领域的共同结构来进行编码,这种能力使它们能够压缩信息并形成深层次的理解,发现现实世界中人类尚未发现的万事万物的联系,这...

天才创始人对谈AI教父Hinton:多模态是AI的未来,医疗将发挥AI最大...

借助共享权重，数字系统的思维迁移十分高效主持人：您是最早想到使用GPU的人之一，我知道Jensen（黄仁勋）很喜欢你。2009年你就告诉Jensen，这可能是训练神经网络的一个绝佳办法。当初要使用图形处理单元（GPU）训练神经网络，您是怎么想的？Hinton：记得在2006年，我有位研究生，是十分优秀的计算机视觉专家。一次会议上...

特斯拉研究报告:如何理解特斯拉的当下与未来?

2022年AIDay特斯拉发布了人形机器人botOptimus,我们认为人形机器人与FSD在数据调度、数据处理、算法模型等关键能力上具有较高共用性,具体而言:Optimus的硬件生产可共享特斯拉汽车的供应链;Optimus的软件架构中可应用FSD的感知算法、规划控制模型(机器人的规控场景更复杂),同时机器人涉及室内环境...

大模型扫盲系列——大模型实用技术介绍(上)

最后我们可以看到显式的参数是在9.3b左右,但由于使用了权重共享(weighttying),最后整体参数在8.5b左右,这种类似操作也出现在GPT-2和XLNet等模型中,利用输入嵌入层和最后输出的LMHead分类层中共享相同的权重,总的来说还是比Llama2要大一些。从这个计算步骤下来,会发现基本上理清楚了Gemma的整体模型结构,这里再...

GTC 2024预习课:深入H100 GPU Hopper架构

左边显示的是A100,线程块之间共享内存的唯一方法是使用全局内存。然而,如右图所示的HopperH100,由于我们知道集群中的线程块是共存的,我们可以直接进行块与块之间的通信,通过本地共享内存。新的SM到SM网络可以降低延迟,而不是通过L2引用全局内存。分布式共享内存的主要优点是允许更大的问题在集群中协作执行。由于一个集...