【儀表網(wǎng) 研發(fā)快訊】近日，The Innovation(IF=33.2)在線發(fā)表了武漢大學(xué)遙感信息工程學(xué)院張永軍/李彥勝教授團隊最新評論文章。論文題目為“Unleashing the potential of remote sensing foundation models via bridging data and computility islands”(打破數(shù)據(jù)與算力孤島，釋放遙感基礎(chǔ)大模型潛力)。李彥勝教授為論文第一作者，張永軍教授、螞蟻集團楊銘研究員為論文通訊作者。合作者包括武漢大學(xué)、俄羅斯科學(xué)院、螞蟻集團、上海人工智能實驗室、美國普渡大學(xué)等國內(nèi)外知名機構(gòu)學(xué)者和研究生。
 

　　在當前的遙感領(lǐng)域，數(shù)據(jù)與算力的分散化問題較為突出，這受到隱私保護、存儲限制、行業(yè)競爭以及地理信息安全等多方面因素的影響。為應(yīng)對這一挑戰(zhàn)，研究團隊著眼于分布式協(xié)同預(yù)訓(xùn)練的新模式，重點圍繞遙感基礎(chǔ)大模型的協(xié)同訓(xùn)練與推理環(huán)節(jié)展開研究，旨在探索如何有效整合分散的遙感數(shù)據(jù)和分布式計算資源，并對協(xié)同式架構(gòu)釋放遙感基礎(chǔ)大模型潛力的可行性進行了分析。在此基礎(chǔ)上，研究團隊呼吁政府數(shù)據(jù)中心、企業(yè)機構(gòu)以及高校研究團隊等各方力量，在確保隱私保護的前提下，共同參與遙感基礎(chǔ)大模型建設(shè)，并共享其時空智能服務(wù)，以構(gòu)建全球協(xié)作網(wǎng)絡(luò)，充分盤活孤島式的遙感數(shù)據(jù)與算力資源。
 

圖1 打破遙感數(shù)據(jù)與算力孤島，邁向地球觀測通用智能
 

　　團隊構(gòu)建了全球首個顧及隱私保護的遙感基礎(chǔ)模型分布式協(xié)同預(yù)訓(xùn)練框架FedSense，可以靈活支持基于對比學(xué)習和掩碼重建的自監(jiān)督學(xué)習。為了解決協(xié)同預(yù)訓(xùn)練面臨的遙感數(shù)據(jù)異質(zhì)性與高通信開銷引發(fā)的惡性循環(huán)挑戰(zhàn)，團隊提出了一種聯(lián)邦互指導(dǎo)學(xué)習方法。在該方法中，服務(wù)器與客戶端進行雙向互相指導(dǎo)，服務(wù)器端引導(dǎo)客戶端進行正交條件下的自穩(wěn)定參數(shù)更新，客戶端引導(dǎo)服務(wù)器進行低比特通信下的知識注入。基于FedSense，團隊實現(xiàn)了10個參與機構(gòu)在百萬量級遙感影像上開展遙感基礎(chǔ)模型高效協(xié)同預(yù)訓(xùn)練。實驗結(jié)果表明，多個參與機構(gòu)通過FedSense開展遙感基礎(chǔ)模型的協(xié)同預(yù)訓(xùn)練，可以實現(xiàn)機構(gòu)之間的高效合作共贏。基于FedSense協(xié)同預(yù)訓(xùn)練的遙感基礎(chǔ)模型相較于基線方法在場景分類、目標檢測、語義分割、變化檢測等8個遙感領(lǐng)域典型的下游任務(wù)數(shù)據(jù)集上，取得了顯著的性能提升。在將通信開銷壓縮至全精度傳輸?shù)?/32時，F(xiàn)edSense仍然能夠保持良好的優(yōu)化性能，并且隨著參與方數(shù)量的不斷增多，模型性能可以實現(xiàn)穩(wěn)步提升。
 

　　圖2 遙感基礎(chǔ)模型分布式協(xié)同預(yù)訓(xùn)練框架FedSense與多機構(gòu)遙感預(yù)訓(xùn)練數(shù)據(jù)集示意圖

 

　　展望未來，團隊將致力于研究多模態(tài)遙感基礎(chǔ)模型的安全可信多方協(xié)同預(yù)訓(xùn)練技術(shù)，響應(yīng)國家發(fā)布的《可信數(shù)據(jù)空間發(fā)展行動計劃》，支持建設(shè)可信可管、互聯(lián)互通、價值共創(chuàng)的遙感數(shù)據(jù)空間，助力邁向地球觀測通用智能。