栏目分类

热点资讯

第四色色

91 国产港大新式图基础模子AnyGraph：挑战Scaling Law，精确建模千般化结构模式和特征空间

发布日期：2024-09-19 18:41 点击次数：134

新式图基础模子来了——91 国产

AnyGraph，基于图混杂人人（MoE）架构，特意为竣事图模子跨场景泛化而生。

通过 MoE 架构、路由算法、SVD 要津和 MLP 辘集等，AnyGraph 贬责了跨域和域内图异构性问题，并进行了高效跨域模子老师。

简略精确建模千般化的结构模式和特征空间。

在38 个不同畛域数据集上进行实验，AnyGraph 在零样本猜度、推广定律、消融实验和效能实验等方面均发达出色。

AnyGraph 由来自香港大学的筹画东谈主员完成。

对于 AnyGraph 的更多细节咱们接着往下看。

AnyGraph 长啥样？

跟着图结构数据在各个畛域的日益普及，对具有出色泛化才调的图学习模子的需求愈发蹙迫。

现实应用中，图学习模子需灵验移交散布偏移并安妥新的图畛域，但刻下的先进模子在的确的泛化性能方面时时发达不及，严重依赖忙碌的微调历程，难以安妥践诺应用中千般的图结构和散布。

受得手的基础模子在贯串视觉媾和话数据方面的启发，通用的图基础模子具有巨大后劲，可从千般的图结构数据中学习可移动的暗示，从而高效安妥各式图畛域和任务。

黑丝探花

可是，构建灵验的自安妥图基础模子濒临诸多挑战，包括：

结构异质性：不同图数据集的结构性格和数据散布千般，如节点度散布和图结构复杂度的各异，灵验处理这千般种性对诞生妥洽模子至关雄伟。

特征异质性：图的节点和边特征具有异质性，包括特征的类型、维度和语义的各异，灵验处理特征异质性对构建通用图模子至关雄伟。

快速安妥才调：灵验图基础模子应能快速安妥新的图数据集和畛域，无需大王人重新老师或微调，能快速退换参数和学习战略以移交新图数据的结构和散布特征。

推广定律：像计较机视觉和当然谈话处理畛域的得手基础模子一样，图基础模子应能展现出推广定律，即性能跟着模子限制或老师数据集的增多而系统晋升，通过独揽这一景观，图基础模子能解锁前所未有的才妥洽泛化才调。

为移交这些挑战，该论文提议了基于混杂人人（MoE）架构的 AnyGraph模子。

图混杂人人框架贬责跨域图异构性

为了建模不同应用畛域之间的异构图结构模式，AnyGraph 收受了一种混杂人人（Mixture-of-Expert，MoE）的模子架构。

该架构由多个图人人模子构成，每个模子王人不错颓败对输入的图数据进行猜度。

在遐想中，不同的人人模子应当雅致处理具有特定模式的图数据。

AnyGraph 遐想了一种路由算法，用于将输入的图数据分拨给最善于处理它的人人模子，进行老师或者猜度。

图人人路由算法

基于图自监督学习任务的灵验性，AnyGraph 的路由算法收受一种自监督的圆寂函数，通过计较人人模子在输入图上的自监督圆寂大小，来磋商模子与该输入数据的匹配进程。

具体来说，AnyGraph 在输入图数据中采样一定的边算作正例，并马上采样相同数目的节点对算作负例。

通过计较人人模子对两种边猜度分数的差值，不错看出模子对正例的识别才调，用于代表模子与数据的匹配进程。

基于老师频率的路由修正

尽管上述要津不错高效、准确地找到最善于处理输入数据的人人模子，但该要津常常酿成一种"赢者通吃"的次优为止：

由于老师早期的各式马上身分，少量数人人模子，以致一个模子，形成了对其他人人模子的上风，路由算法因此91 国产不再将老师数据分拨给其他模子，酿成了其他模子基本未经老师、而最优模子过于通用无法专精的为止。

这种情况与蓝本的遐想不同，无法作念到每个模子专注于处理特定类别的图数据。

因此，AnyGraph 爱戴每个人人的老师次数信息，将其纳入匹配分数的计较中去，为较少履历老师的人人模子提供更多的老师契机。

AnyGraph 的快速安妥才调

值得留神的是，基于上述 MoE 架构，AnyGraph 在每次老师和测试的历程中，仅需要激活它 1/K 的模子参数。

这意味着计较本事和存储支拨上的极大优化，使其相对于同参数的其它非 MoE 模子具有极大的效能和安妥性上风。

因此，AnyGraph 在移交新数据时不错进行高效的微调；迎濒临和一些原始老师数据差距极大的情况时，还不错幸免新数据对蓝本的模子参数产生过大的影响。

自安妥且高效的图人人模子贬责域内图异构性

不同图数据的贯串矩阵和特征常常具有不同的维度，为了弥合这一差距，AnyGraph 的图人人模子进行结构和特征妥洽，具有不同维度的贯串矩阵和节点特征矩阵被映射为具有固定维度的运行节点表征。

基于奇异值剖判（SVD）在索求雄伟隐特征方面的灵验性，AnyGraph 独揽 SVD 要津来构建这一妥洽映射历程。

具体来说，筹画东谈主员使用 SVD 对贯串矩阵和特征矩阵分别进行特征剖判，每次得到两个具有固定维度的节点特征矩阵，以及一个特征值对焦矩阵。

筹画东谈主员将这些信息进行整合、归一化，得到具有换取维度的节点运行特征矩阵，而这些矩阵记载了原始贯串矩阵和特征矩阵的信息，又具有了换取的维度。

使用 SVD 进行这一历程具有一些潜在的上风。

SVD 这种压缩要津会按照隐含特征维度的重猛进程进行排序，也即是说，其为止的第一个特征维度是 SVD 合计最雄伟的维度，而终末一个维度是其合计最不雄伟的特征维度。

这一性格潜在地规整了不同数据集之间的 SVD 特征，后续模子不错笔据这一特质更容易地学习通用的猜度辘集。

高效且鉴定的特征编码

为了在保捏效能的同期取得对图特征建模的鉴定才调，AnyGraph 的图人人模子收受多层感知机辘集（MLP）进行可学习的猜度。

值得留神的是，每个人人模子王人只收受了浅薄的 MLP 辘集，这种遐想无法进行复杂的图关系建模，举例 GAT 和 GraphTransformer 中的结构学习才调。

但 AnyGraph 在顶层收受了 MoE 架构，它的遐想初志是通过千般化但浅薄的特征变换来处理总体上复杂的图学习任务。通过集成多个特征变换 MLP，AnyGraph 不错得手袒护不同的图数据子集，达到鉴定的图猜度才调。

高效的跨域模子老师

为了最大化 AnyGraph 的跨图泛化才调，AnyGraph 的老师样本是由不同数据集的老师样本混杂并马上排序得到。

每个批次的老师样本包含一个图、该图当中一个批次的边、该图的预处理信息（运行节点表征和分拨的最好人人模子）。

AnyGraph 收受泛泛应用的边猜度任务算作预老师任务，使用交叉熵圆寂算作优化筹算。在老师历程中，筹画东谈主员会进行依期的特征和结构推行，包括重新进行基于 SVD 的表征运行化、在人人路由时进行结构采样。

AnyGraph 恶果何如？

AnyGraph 的实验考据收受了38 个来自不同应用畛域的图数据集，包括链路猜度和节点分类两个类别，涵盖电阛阓景（用户的购买、浏览和评分步履，商品间的共现关系），学术辘集（论文的援用关系及学者的互助关系），生物信息辘集（药品、卵白质之间的相互影响关系），以及诸如邮件辘集、网站之间的连续关系、以及谈路辘集。

为了更好地进行跨数据集的笼统性评价，实验将所罕有据集鉴识为两个数据集汇聚 Link1 和 Link2，它们在总体上和单个畛域内王人具有独揽数目的边，但各自包含的数据集不具有换取开始和换取的特征构建要津。

筹画东谈主员使用其中一个老师模子，并在另一个汇聚上进行零样本测试。此外，所罕有据集还按照拂用畛域鉴识红了电商、学术辘集和其他三种类别，以进行更细致的畛域测试，其他类别主要由生物信息辘集构成，包含了其他较小的类别。

零样本猜度才调

最初进行了 AnyGraph 和基线要津的对比实验，基线要津包括图神经辘集、图预老师要津、图教导微调要津、以及两种图基础模子。