【儀表網 研發快訊】2月11日，中國科大蘇州高等研究院醫學影像智能與機器人研究中心DDL實驗室團隊(Data Darkness Lab)在大規模圖神經網絡訓練系統方面的研究論文“Capsule: an Out-of-Core Training Mechanism for Colossal GNNs”被國際知名學術會議ACM International Conference on Management of Data(SIGMOD)2025錄用。
 

示意圖：Capsule系統工作流框架
 

　　圖神經網絡(GNN)的主流訓練框架，如DGL和PyG，利用GPU的并行處理能力從圖數據中提取結構信息，在推薦系統、自然語言處理、計算化學和生物信息學等領域展現出卓越性能。盡管GPU在GNN訓練中提供了強大的計算優勢，但其有限的顯存容量難以容納龐大的圖數據，因而現有GNN系統在大規模圖數據上的擴展性方面仍面臨挑戰。對此，DDL實驗室團隊提出了一種新的核外(Out-of-Core)GNN訓練框架——Capsule，為大規模圖神經網絡訓練提供了高效的解決方案。與現有的核外GNN框架不同，該系統通過圖劃分和圖裁剪策略將訓練子圖結構及其特征完全放入GPU顯存之中從而消除了反向傳播過程中CPU與GPU之間的I/O開銷，進而顯著提升了系統性能。此外，Capsule通過設計基于最短哈密頓回路的子圖加載方式和流水線并行策略，進一步優化了性能。同時，Capsule具備即插即用的特性，能夠無縫集成至主流開源GNN訓練框架中。在大規模真實圖數據集上，Capsule與現有最好的系統相比能夠在僅使用22.24%的內存下帶來最高12.02倍的性能提升，并提供了關于訓練所得嵌入方差的理論上界。
 

　　計算機科學與技術學院碩士生向泳安和人工智能與數據科學學院博士生丁澤中為論文共同第一作者，通訊作者為生物醫學工程學院謝希科研究員，其他合作者還包括人工智能與數據科學學院碩士生郭睿和王上游以及生物醫學工程學院周少華教授。中國科學技術大學為唯一單位。DDL實驗室已連續兩年成功在SIGMOD上發表關于圖計算系統的高水平研究成果，顯示了在該領域的研究能力。
 

　　注：SIGMOD是數據管理領域國際公認的最高水平學術會議之一，由美國計算機協會(ACM)數據管理專業委員會在1975年發起并舉辦，具有悠久的歷史和很高的影響力。在中國計算機學會(CCF)推薦的“數據庫/數據挖掘/內容檢索”A類學術會議中，SIGMOD位居首位。