残差神经网络作者张祥雨,投身 AI 大模型
最新出现在大模型大牛转会名单上的重磅大牛,是90后AI大牛张祥雨,ResNet(残差神经网络)四位作者之一,孙剑首位深度学习博士生,未来科学大奖得主。现在,他出现在了国产大模型独角兽阶跃星辰的引援传闻中。而且六小强之一的阶跃星辰,据说最近还不止这一位AI大牛。不过截至发稿,阶跃星辰暂未作出明确回应。张祥...
基于改进SSD模型的风电叶片内腔缺陷检测 | 科技导报
本文针对风电叶片内腔结构复杂、缺陷种类多样、难以准确检测等问题,提出了改进的单次多边界框检测器(SSD)缺陷检测算法,并提出3方面改进:通过将SSD基础网络由可变形卷积神经网络(VGG-16)变成残差网络(ResNet101)以优化预测边界框的回归和分类任务的输入特征;通过加入全卷积空间注意力模块(FCSE)使模型更加关注重要特征,从...
【深度学习】6种卷积神经网络压缩方法
之前的二值连接算法只对权重进行了二值化,但是网络的中间输出值依然是单精度的,于是Rastegari等人对此进行了改进,提出用单精度对角阵与二值矩阵之积来近似表示原矩阵的算法,以提升二值网络的分类性能,弥补二值网络在精度上弱势。该算法将原卷积运算分解为如下过程:可以看到的是权重二值化神经网络(BWN)和全精度...
科学家为脉冲神经网络引入新架构,为未来基于神经形态网络的超大...
与此同时,团队和团队还分别提出两种不同残差深度的脉冲网络,目前已经成为领域内的通用残差架构。这两种架构能让脉冲神经网络做到几百层的深度,而且能够避免脉冲退化的问题,解决了大规模脉冲神经网络训练在深度和规模上的技术瓶颈。虽然脉冲神经网络与人工神经网络之间的性能间隙已经被极大缩小,但是这还远远不够。Transfo...
港大马毅:现在大模型的「知识」,不等同于「智能」
马毅:目前大家普遍用经验在做尝试,没有比较完善和清晰的理论来做指导,试错时间会比较长。像现在流行的MoE(MixtureofExperts)技术,它的框架用白盒理论能推导出来,其实就是残差神经网络(ResNet)在优化信息增益的过程中自然会推导出来的结构,每一层都会有多个途径。
人工智能行业专题报告:从RNN到ChatGPT,大模型的发展与应用
相较于前文所介绍的循环神经网络,LSTM与GRU对于长序列问题的处理效果更佳,并在在自然语言处理、语音识别、时间序列预测等领域得到了更加广泛地应用(www.e993.com)2024年10月23日。1.2.2.1.长短期记忆网络-LSTMLSTM是一种改进的RNN,旨在有效地处理和捕捉长期依赖关系的序列数据,它的核心思想是引入一种特殊的内部状态机制,以更好地...
前沿综述:面向复杂系统建模的多模态图学习
一旦完成多模态图学习的结构学习阶段,基于图卷积和图注意力的传播模型(即多模态图学习的组件3)就会根据已学习到的注意力分数,来衡量图中节点邻居的权重。另外,图降噪网络、内部图神经网络以及残差图卷积网络这样的方法会考虑边相似性,以表示出图像区域间的相对距离。
CV最新论文|11月7日 arXiv更新论文合集
该神经网络模型组成两个子网络:一个利用一维残差块从输入序列,而另一个则使用1D残差块进行提取频谱图表示的特征。在实验中,比较对有/没有数据增强的不同现有DNN模型的研究是在肌萎缩侧索硬化症(ALS)数据集和风力涡轮机上进行故障(WTF)数据集。实验结果表明,所提方法在ALS数据集上...
【重磅推送】OpenFOAM/Fluent结合深度学习,拿下海洋工程CFD模拟新...
2、全方位技能提升:Fluent专题涵盖先进的计算方法(如伪谱法、CNN、GAN、NeuralODE、PINN等)、软件工具应用(Fluent软件、Python编程)、深度学习流场超分辨率、神经网络在湍流模拟中的应用(物理信息神经网络(PINN)和基于图神经网络(GNN))、神经网络在空气动力学中的应用、流动生成与可视化技术(反向追踪算法、Tecplot、Houd...
神经网络的性能改进
你需要去实验,尝试不同架构,从结果中得到推论然后再尝试。我建议的一种方法是:使用一些经过证明的架构去替代你自己创造的。例如:对于图像识别任务,你有VGG网络,Resnet(残差网络),谷歌(Google)的Inception网络等。这些都是开源的且已经被证明有高的精确度,因此,你可以使用他们的架构再根据你的目的来微调他们。