神经网络结构复杂度及其功能表现:梯径理论与算法信息论
最近,北京师范大学珠海校区-复杂系统国际科学中心副教授刘宇等人在Nature旗下子刊npjComplexity杂志发表最新研究,用梯径(Ladderpath)方法研究神经网络的结构复杂度,并指出其结构复杂度与功能表现之间的关系。这为我们提供了一个看待神经网络的新视角。刘宇老师是集智俱乐部「」读书会的发起人之一。「AIByComplex...
风靡中国10年,20万读者打出9.1高分,这位学者沉淀6年再出新作……
赫拉利书中提出了“非生物网络”的概念,这代表了现代社会信息网络的一种新形态。在人类文明的大部分历史中,信息的生产、传播和处理都依赖于人类的智力和社会结构。这种“碳基”信息网络虽然强大,但依然受到人类生物局限的约束,依赖于人类的沟通、合作和记忆能力。然而,随着计算机技术和人工智能的发展,信息网络开始向...
“猫一杯”彻底“凉”了?曹林:要对结构性网络造假穷追不舍
它们分食着流量盛宴,公众却承受着舆论空间垃圾化的后果:从盲目相信,到揭穿后的震惊,再到后来什么都不敢相信,走向新闻和信息的虚无主义。“猫一杯”只是“暴利驱动下事件营销”释放出的一种毒素,只有对这种利益驱动的结构性造假穷追不舍,才能重建新闻的公信力,才可以自信地跟孩子讲新闻。详情请点击:跟评送礼...
Science长文综述:什么是科学学
科学可以被视为一个不断扩大和演化的思想、学者和论文网络。科学学探寻基于科学结构和动态的普遍或特定领域的普世规律。2.进展科学可以被描述为一个复杂的、自组织的,不断进化的网络。它由学者、论文和思想组成。这种描述问题的方法解释了很多潜在的模式,例如,对合作网络的研究和对引用网络的研究解释了新学科的...
“全球南方”是伪概念?西方学者解释不了就否定问题
约瑟夫·奈代表的就是旧知识体系对新的世界变化做出的一种掩耳盗铃式的拒斥,一种无能的拒斥。最近这两天特别火的阿根廷新任总统米莱,我感觉他有可能就是旧知识最后回光返照的代表人物。我也接触了很多左翼人士,包括南方国家的很多学者与专业人士,他们对旧体系的批判非常深入,理论上也非常精致繁琐,但是我发现一个...
脑网络中的因果涌现理论应用:来自信息分解的启示
1.脑领域与因果涌现强相关的学者2.因果涌现理论在脑网络中的应用2.1NIS及NIS+框架2.2Luppi等人对信息分解及其架构的讨论2.3Luppi等人对意识问题的综述2.4Varley等人对信息论指标的讨论3.展望在因果涌现领域,其中比较具有代表性的两个方向分别是:ErikHoel及其同事结合干预主义因果(intervent...
世界进入“大争之世”,中美将产生结构性冲突
因此,调整和改革全球安全治理的结构及模式成为了当务之急。一些学者提出,建立新的国际安全秩序至少需确保国家间的互动基于相互性原则,大国对国际规范和制度的影响应保持在合理范围内;国际安全秩序应建立在独立、平等及法治的基础之上,同时认可各国在规则制定上的多样性;各国还应保持其“本土民主价值观”的独立性,而不...
端到端自动驾驶系统的关键技术是什么?
在2017年,Google提出了神经网络结构Transformer(图1),大幅提升了网络表达能力,在CV、NLP等多个领域大放异彩,Transformer现已成为大模型的基础网络结构之一。Transformer是以注意力机制为核心的编解码器结构,其主要结构为注意力、位置编码、残差连接、层归一化模块。Transformer被广泛应用于NLP、CV、RL等领域的大模型中。
创新复杂性:创新过程作为具有多层规则的复杂结构
第二个空白缺口,与创新过程中所涉及的规则有关。在采用规则概念理解创新的观点方面,Dopfer等学者给出了一些可能有助于识别创新过程中所涉及的多层次规则的理论线索,尽管他们并未详细阐述这些理论。制度理论、动态能力理论、资源理论、网络理论、学习理论以及演化经济学或许都对此有所贡献。
诺奖之后的复杂科学:18位学者勾勒未来20年复杂系统研究图景
网络鲁棒性的另一个重要应用在脑科学研究,大脑无疑是一个鲁棒的复杂系统,然而了解疾病如何影响大脑功能非常重要。为了解决这个问题,我认为我们需要接受大脑活动的随机性,并进一步了解大脑功能和大脑网络拓扑结构之间的相互作用。多亏了网络科学的基础性成就,我们已经知道:网络对随机损伤的鲁棒性在很大程度上取决于网络的...