LLM蒸馏到GNN,性能提升6.2%!Emory提出大模型蒸馏到文本图|CIKM 2024

LLM蒸馏到GNN,性能提升6.2%!Emory提出大模型蒸馏到文本图|CIKM2024新智元报道编辑:LRST新智元导读Emory大学的研究团队提出了一种创新的方法,将大语言模型(LLM)在文本图(Text-AttributedGraph,缩写为TAG)学习中的强大能力蒸馏到本地模型中,以应对文本图学习中的数据稀缺、隐私保护和成本问题。通过训练一个...

gnn是什么意思? gnn是什么梗?

GNN原本是图神经网张的缩写,但是却由于一个事件,让大家当做狗男女的意思。2016年,王宝强离婚事件一直处于新闻头条,随之流行的还有三个字母“GNN”。GNN的出处2016年8月16日晚,陈翔在微博发布了一条微博,配文只有三个大写英文字母“GNN”。配图是两张水浒传的插图,一张是武松举刀杀敌,一张则是武大郎、潘金莲...

WWW 2023 | 更少的内存,更快的速度,更高的准确度——GNN大图训练...

(3)简化的GNN(如LightGCN和PPRGo)在大多数情况下优于经典的GNN(如GraphSAGE、GAT和GIN),这和LightGCN等工作中得到的结论一致,即:卷积层中的线性变换与激活函数对嵌入的学习可能有着不利影响。表1各模型在百万级数据集上的准确率为了研究不同模型的训练效率,我们记录了训练过程中xGCN、LightGCN和PPRGo在验证集...

“GNN,简直太烂了”,一位Reddit网友的深度分析火了

在大型邻域“上采样”的GNN和node2vec等基于随机漫步的方法都是在做高阶嵌入。性能增益,在哪儿呢?过去5年中,大多数GNN论文提供的结果,对从业者没有太多帮助。正如OpenGraphsBenchmark(OGB)论文所指出的那样,GNN论文的实证部分是在少数具有2000-20000个节点的小图(Cora、CiteSeer、PubMed)上进行的。这...

2021年的第一盆冷水:有人说别太把图神经网络当回事儿

图神经网络(GNN)是机器学习中最热门的领域之一,在过去短短数月内就有多篇优秀的综述论文。但数据科学家MattRanger对GNN却并不感冒。他认为这方面的研究会取得进展,但其他研究方向或许更重要。博客链接:httpssinglelunch/2020/12/28/why-im-lukewarm-on-graph-neural-networks/...

NeurlPS 2022 | BOND:在静态属性图上对无监督异常节点检测进行...

定义1:在静态属性图上的无监督异常节点检测(缩写为OND)一个静态特征图定义为,其中是顶点的集合,是边的集合是节点的特征矩阵(X的第i行表示图中第i个节点的特征向量)(www.e993.com)2024年11月8日。给定图G,OND问题的目标是学习一个函数,该函数为G中的每一个节点分配一个实值的异常分数。然后对于用户指定的k值,选择异常...