【儀表網(wǎng) 研發(fā)快訊】上海科技大學信息科學與技術(shù)學院李權(quán)課題組(交互智能與可視分析實驗室ViSeer LAB)聚焦于以人為中心的可解釋性人工智能模型及其應(yīng)用，并通過人機協(xié)同可視分析技術(shù)為解決重大社會問題提供決策支持工具。近日，課題組在可視化與計算機圖形領(lǐng)域期刊《IEEE可視化與計算機圖形學匯刊》(IEEE Transactions on Visualization and Computer Graphics, TVCG)及人機交互領(lǐng)域最有影響力的會議之一ACM計算機人因會議(ACM Conference on Human Factors in Computing，ACM CHI 2025)同期發(fā)表了六篇創(chuàng)新性研究成果。
 

　　面向在線游戲的顯隱特征融合用戶流失預測框架
 

　　蓬勃發(fā)展的在線游戲行業(yè)面臨激烈競爭，為了預測玩家流失，業(yè)界依賴于專注于社交互動動態(tài)的機器學習(ML)模型。但傳統(tǒng)機器學習模型普遍缺乏透明度，盡管可解釋人工智能(XAI)技術(shù)能夠解釋模型決策，但在游戲行業(yè)應(yīng)用仍有限，主要因為非技術(shù)專家(如產(chǎn)品經(jīng)理和游戲設(shè)計師)在解讀計算模型中的顯性和隱性特征時面臨困難。
 

圖1：提出的解釋顯性和隱性特征的算法流程。
 

　　為解決這一問題，李權(quán)組提出了基于顯性-隱性特征解耦的XAI框架，并開發(fā)了高效可視分析系統(tǒng)“Don’tGo”。該框架首次將游戲日志數(shù)據(jù)劃分為顯性特征(如玩家等級、性別、戰(zhàn)斗評分)和隱性特征(如社交網(wǎng)絡(luò)動態(tài)、行為序列模式)，并通過多模態(tài)機器學習模型(AutoInt)實現(xiàn)高效融合。實驗結(jié)果顯示，該模型在F1值、AUC和準確率等指標上顯著優(yōu)于傳統(tǒng)方法，尤其在捕捉用戶流失動態(tài)時展現(xiàn)了更強的魯棒性。為解決“黑箱”問題，團隊結(jié)合SHAP值分析與反事實解釋(Counterfactual Explanations)，構(gòu)建了雙重可解釋框架(圖1)。論文提出的技術(shù)框架已開源(GitHub: DontGo-Framework)。
 

　　該研究由信息科學與技術(shù)學院李權(quán)課題組、網(wǎng)易游戲用戶體驗中心及香港科技大學合作完成，論文以“Deciphering Explicit and Implicit Features for Reliable, Interpretable, and Actionable User Churn Prediction in Online Video Games”為題發(fā)表在TVCG。信息科學與技術(shù)學院2022級碩士研究生王希元與2020級博士研究生謝萊鑫為共同第一作者，李權(quán)教授為通訊作者。
 

　　從需求到解決方案：揭示可視分析中問題驅(qū)動的設(shè)計模式
 

　　可視分析將自動化的分析技術(shù)與交互式的可視化相結(jié)合，從而基于數(shù)據(jù)進行有效的理解、推理和決策。在實際中，研究人員與領(lǐng)域?qū)＜颐芮泻献鳎源_定需求并選擇恰當?shù)慕鉀Q方案來實現(xiàn)需求。由于目前研究人員初始考慮空間中往往缺乏指導，且可視分析社區(qū)中缺乏形式化且可共享的問題解決知識體系，導致最終得出的解決方案不理想。
 

　　圖2：本研究A)對現(xiàn)有的分類框架進行補全，并基于此橋接需求和解決方案; B)將可視分析論文中的需求、數(shù)據(jù)和解決方案之間的關(guān)系概念化為知識圖譜，并以互聯(lián)的路徑或子圖展現(xiàn)設(shè)計模式。
 

　　為了解決此問題，李權(quán)組提出了一種創(chuàng)新的元分析框架。通過對220篇權(quán)威可視分析論文的系統(tǒng)性編碼與知識抽取，構(gòu)建了覆蓋需求、數(shù)據(jù)與解決方案的三維拓撲結(jié)構(gòu)(圖2)。該框架突破了傳統(tǒng)研究中需求與解決方案割裂的局限，首次實現(xiàn)了跨領(lǐng)域問題解決知識的結(jié)構(gòu)化外化，為研究者提供了從需求抽象到技術(shù)落地的全局視角。該工具支持研究者按需求與數(shù)據(jù)類型篩選解決方案，實時生成子圖與案例鏈接，為設(shè)計決策提供量化依據(jù)與跨領(lǐng)域參考。
 

　　該成果由信息科學與技術(shù)學院李權(quán)課題組及康奈爾大學合作完成，并以“From Requirement to Solution: Unveiling Problem-Driven Design Patterns in Visual Analytics”為題發(fā)表在TVCG。信息科學與技術(shù)學院2022級項目型碩士研究生吳宇辰為論文的第一作者，李權(quán)教授為通訊作者。
 

　　通過臨床推理推動基于問題的學習以提升醫(yī)學教育中的鑒別診斷能力
 

　　在現(xiàn)代醫(yī)學教育中，基于問題的學習(PBL)作為一種以學生為中心的教學方法，旨在通過模擬真實的臨床診斷場景，提升學生的實踐能力和解決問題的技巧。現(xiàn)有研究雖然在提高PBL的真實性和沉浸感方面取得了一定進展，但在構(gòu)建邏輯推理鏈和證據(jù)支持的臨床推理方面仍有不足，制約了學生臨床推理能力的提升。
 

　　為此，李權(quán)組開發(fā)了e-MedLearn系統(tǒng)，這是一個以學生為中心的PBL系統(tǒng)，旨在支持更高效的應(yīng)用和實踐基于證據(jù)的臨床推理。該系統(tǒng)不僅提供了豐富的臨床案例和數(shù)據(jù)支持，還具有互動性和實時反饋功能，使學生能夠在真實的臨床場景中進行實踐和學習。為了驗證e-MedLearn系統(tǒng)的有效性，實證研究結(jié)果表明，e-MedLearn系統(tǒng)顯著提升了PBL學習體驗，在提高學生的臨床推理能力和自主學習能力方面表現(xiàn)尤為突出。
 

　　圖3：使用e-MedLearn進行案例分析的過程，在案例選擇之后，包含以下幾個步驟：(a)展示初步的病例數(shù)據(jù)，探索證據(jù)，形成初步的診斷思路。(b)利用檢查或測試的數(shù)據(jù)進行診斷分析，并更新診斷思路。(c)考慮預后并評估分析結(jié)果，反思思路以總結(jié)學習問題。(d)在診斷列表中記錄并更新診斷。(e)在思維導圖中記錄并回顧分析過程中的想法。
 

　　該研究由上海科技大學信息科學與技術(shù)學院李權(quán)課題組和上海臨床研究中心姜暢醫(yī)師合作完成，并以“Advancing Problem-Based Learning with Clinical Reasoning for Improved Differential Diagnosis in Medical Education”為題以全文收錄(Full Paper Track)形式被ACM CHI 2025接收。信息科學與技術(shù)學院2023級碩士研究生徐源松為論文的第一作者，李權(quán)教授和上海臨床研究中心姜暢醫(yī)師為共同通訊作者。 ACM CHI為CCF-A類會議，2025年Full Paper Track共收到5,020份完整投稿，經(jīng)過論文委員會的修改和重新提交流程，最終接收了1,249篇論文，接收率為25.1%。
 

　　支持從碎片化線索進行游戲故事解讀和敘事推斷
 

　　在現(xiàn)代電子游戲領(lǐng)域，游戲敘事的深度與開放性激發(fā)了玩家的創(chuàng)造力，促使他們通過視頻、論壇等多種形式分享對游戲故事的獨特解讀。然而，面對游戲世界中紛繁復雜的敘事線索，如何高效地組織與分析這些內(nèi)容，成為創(chuàng)作者和研究者面臨的重大挑戰(zhàn)。
 

圖4：ClueCart 共集成了左側(cè)的線索分類查詢，和右側(cè)的敘事推斷功能。
 

　　針對這一問題，李權(quán)組開發(fā)了ClueCart，一款專為游戲敘事分析設(shè)計的創(chuàng)新工具(https://cluecart.github.io/ClueCart/ )(圖4)。ClueCart通過結(jié)合文獻綜述、用戶調(diào)研和協(xié)作設(shè)計工作坊，深入探索了敘事線索的分類與組織需求。在此基礎(chǔ)上，研究團隊提出了一個完善的敘事線索分類體系，并設(shè)計了一套高效的游戲線索收集方法。實驗結(jié)果表明，ClueCart在用戶感知、功能支持和故事解讀效率等方面均優(yōu)于傳統(tǒng)工具。研究團隊計劃進一步擴展ClueCart的功能，探索其在跨媒介敘事分析中的應(yīng)用潛力，同時開發(fā)更多支持玩家參與敘事創(chuàng)作的工具。
 

　　該研究成果由信息科學與技術(shù)學院李權(quán)課題組及香港科技大學(廣州)計算媒體與藝術(shù)系合作完成，并以“ClueCart: Supporting Game Story Interpretation and Narrative Inference from Fragmented Clues”為題以Full Paper Track形式被ACM CHI 2025接收。信息科學與技術(shù)學院2022級碩士研究生王希元為論文的第一作者，李權(quán)教授為通訊作者。
 

　　創(chuàng)新醫(yī)療教育技術(shù)突破——CaseMaster系統(tǒng)創(chuàng)新病例匯報訓練模式
 

　　在臨床醫(yī)學教育中，規(guī)范化的病例匯報(Oral Case Presentation)能力培養(yǎng)是醫(yī)學生臨床思維訓練的核心環(huán)節(jié)。傳統(tǒng)教學模式主要依賴教師示范和課堂演練，存在個性化指導不足、反饋周期長、標準化程度低等局限。現(xiàn)有的大多數(shù)數(shù)字化工具主要聚焦語音表達訓練，對病例信息的結(jié)構(gòu)化組織、診斷邏輯鏈的構(gòu)建等關(guān)鍵能力的支持仍顯薄弱，導致學生在自主準備過程中常常出現(xiàn)信息篩選失焦、證據(jù)鏈斷裂等問題。
 

　　圖5：使用CaseMaster進行病例匯報訓練的過程包括以下步驟：(a)審閱患者名單，(b)聚焦于特定患者，(c)通過預設(shè)活動和有序準備展示結(jié)構(gòu)化且邏輯清晰的思維過程，(d)進行口頭病例匯報，以及(e)突出一個有問題的解決方案，另一位用戶就該匯報提供反饋。
 

　　針對這一挑戰(zhàn)，李權(quán)組開發(fā)了創(chuàng)新型訓練系統(tǒng)CaseMaster。該系統(tǒng)是一個以學生為中心的智能訓練平臺，旨在通過結(jié)構(gòu)化的訓練框架和精準的反饋機制，提升醫(yī)學生的病例邏輯構(gòu)建與循證表達能力。CaseMaster通過大語言模型(LLM)與結(jié)構(gòu)化學習框架的深度整合，突破了傳統(tǒng)訓練方法的局限性，為醫(yī)學生提供了閉環(huán)式智能訓練解決方案。初步驗證表明，系統(tǒng)能夠有效提升病例匯報的結(jié)構(gòu)化水平與診斷推理質(zhì)量，尤其在關(guān)鍵信息篩選和邏輯鏈條的完整性方面，獲得了教學專家的高度認可。未來的研究將重點開發(fā)與臨床教學場景深度融合的智能輔助功能，通過優(yōu)化訓練模式與反饋機制，推動病例匯報能力培養(yǎng)向精準化、智能化方向轉(zhuǎn)型。
 

　　該研究成果由上海科技大學信息科學與技術(shù)學院李權(quán)課題組與上海臨床研究中心姜暢醫(yī)師合作完成，并以“CaseMaster: Formulating a Probe for Oral Case Presentation Training with LLM Assistance”為題以最新突破(Late-Breaking Work Track，LBW Track)形式被ACM CHI 2025接收。信息科學與技術(shù)學院2023級博士研究生歐陽陽為論文的第一作者，李權(quán)教授為通訊作者。ACM CHI 2025 LBW Track共收到1,888份完整投稿，最終接收了620篇，接收率為32.83%。
 

　　虛擬現(xiàn)實異步共視技術(shù)突破：彈幕化身系統(tǒng)重塑視頻社交體驗
 

　　在傳統(tǒng)的電視和視頻觀看場景中，親友同步觀看曾是社交互動的核心方式。現(xiàn)代快節(jié)奏的生活與時間差異推動異步共觀模式(如彈幕評論)因此應(yīng)運而生。但二維屏幕和純文本交互依然面臨社交臨場感不足、情感傳達受限等挑戰(zhàn)。
 

　　近期，李權(quán)課題組在融合虛擬現(xiàn)實(VR)與彈幕技術(shù)方面取得突破性進展。課題組提出通過將傳統(tǒng)彈幕轉(zhuǎn)化為沉浸式虛擬形象，解決二維交互中實時性和情感深度不足的問題。用戶調(diào)研顯示，超過80%的受訪者強烈期待在VR環(huán)境中實現(xiàn)更具臨場感的異步共觀功能。為此，課題組以亞洲流行的彈幕文化為靈感，設(shè)計了“虛擬彈幕形象”系統(tǒng)。該系統(tǒng)創(chuàng)新性地將文字評論轉(zhuǎn)化為帶有語音交互能力的虛擬角色，并將其同步嵌入VR觀影環(huán)境中，成功突破了傳統(tǒng)二維界面社交臨場感不足的瓶頸，為異步視頻共視體驗樹立了新的范式。課題組招募了13名具有VR設(shè)計經(jīng)驗的高校學生參與實驗。用戶反饋顯示，虛擬形象的實時語音互動顯著提升了社交臨場感，并激發(fā)了更強的交流意愿。這一研究成果不僅為異步共觀領(lǐng)域注入了新的活力，也為元宇宙時代的社交娛樂場景開辟了創(chuàng)新方向。
 

　　圖6：彈幕虛擬化身系統(tǒng)的設(shè)計過程包括四個關(guān)鍵階段：(a) 獲取和處理原始彈幕數(shù)據(jù)；(b) 對評論進行處理和聚類，并將其映射到彈幕虛擬化身上，這些虛擬化身能夠通過大型語言模型(LLMs)和非語言行為規(guī)則實現(xiàn)實時互動；(c) 彈幕虛擬化身形象選擇面板；(d) 在虛擬現(xiàn)實(VR)環(huán)境中與彈幕虛擬化身共同觀看視頻的體驗。
 

　　該研究由上海科技大學信息科學與技術(shù)學院李權(quán)課題組與中國人民大學合作完成，并以“Danmaku Avatar: Enabling Asynchronous Co-viewing Experiences in Virtual Reality via Danmaku”為題被ACM CHI 2025 LBW Track收錄。信息科學與技術(shù)學院2023級碩士研究生竇小鳳為論文第一作者，李權(quán)教授為通訊作者。