【儀表網 研發快訊】上海科技大學信息科學與技術學院李權課題組(交互智能與可視分析實驗室ViSeer LAB)聚焦于以人為中心的可解釋性人工智能模型及其應用，并通過人機協同可視分析技術為解決重大社會問題提供決策支持工具。近日，課題組在可視化與計算機圖形領域期刊《IEEE可視化與計算機圖形學匯刊》(IEEE Transactions on Visualization and Computer Graphics, TVCG)及人機交互領域最有影響力的會議之一ACM計算機人因會議(ACM Conference on Human Factors in Computing，ACM CHI 2025)同期發表了六篇創新性研究成果。
 

　　面向在線游戲的顯隱特征融合用戶流失預測框架
 

　　蓬勃發展的在線游戲行業面臨激烈競爭，為了預測玩家流失，業界依賴于專注于社交互動動態的機器學習(ML)模型。但傳統機器學習模型普遍缺乏透明度，盡管可解釋人工智能(XAI)技術能夠解釋模型決策，但在游戲行業應用仍有限，主要因為非技術專家(如產品經理和游戲設計師)在解讀計算模型中的顯性和隱性特征時面臨困難。
 

圖1：提出的解釋顯性和隱性特征的算法流程。
 

　　為解決這一問題，李權組提出了基于顯性-隱性特征解耦的XAI框架，并開發了高效可視分析系統“Don’tGo”。該框架首次將游戲日志數據劃分為顯性特征(如玩家等級、性別、戰斗評分)和隱性特征(如社交網絡動態、行為序列模式)，并通過多模態機器學習模型(AutoInt)實現高效融合。實驗結果顯示，該模型在F1值、AUC和準確率等指標上顯著優于傳統方法，尤其在捕捉用戶流失動態時展現了更強的魯棒性。為解決“黑箱”問題，團隊結合SHAP值分析與反事實解釋(Counterfactual Explanations)，構建了雙重可解釋框架(圖1)。論文提出的技術框架已開源(GitHub: DontGo-Framework)。
 

　　該研究由信息科學與技術學院李權課題組、網易游戲用戶體驗中心及香港科技大學合作完成，論文以“Deciphering Explicit and Implicit Features for Reliable, Interpretable, and Actionable User Churn Prediction in Online Video Games”為題發表在TVCG。信息科學與技術學院2022級碩士研究生王希元與2020級博士研究生謝萊鑫為共同第一作者，李權教授為通訊作者。
 

　　從需求到解決方案：揭示可視分析中問題驅動的設計模式
 

　　可視分析將自動化的分析技術與交互式的可視化相結合，從而基于數據進行有效的理解、推理和決策。在實際中，研究人員與領域專家密切合作，以確定需求并選擇恰當的解決方案來實現需求。由于目前研究人員初始考慮空間中往往缺乏指導，且可視分析社區中缺乏形式化且可共享的問題解決知識體系，導致最終得出的解決方案不理想。
 

　　圖2：本研究A)對現有的分類框架進行補全，并基于此橋接需求和解決方案; B)將可視分析論文中的需求、數據和解決方案之間的關系概念化為知識圖譜，并以互聯的路徑或子圖展現設計模式。
 

　　為了解決此問題，李權組提出了一種創新的元分析框架。通過對220篇權威可視分析論文的系統性編碼與知識抽取，構建了覆蓋需求、數據與解決方案的三維拓撲結構(圖2)。該框架突破了傳統研究中需求與解決方案割裂的局限，首次實現了跨領域問題解決知識的結構化外化，為研究者提供了從需求抽象到技術落地的全局視角。該工具支持研究者按需求與數據類型篩選解決方案，實時生成子圖與案例鏈接，為設計決策提供量化依據與跨領域參考。
 

　　該成果由信息科學與技術學院李權課題組及康奈爾大學合作完成，并以“From Requirement to Solution: Unveiling Problem-Driven Design Patterns in Visual Analytics”為題發表在TVCG。信息科學與技術學院2022級項目型碩士研究生吳宇辰為論文的第一作者，李權教授為通訊作者。
 

　　通過臨床推理推動基于問題的學習以提升醫學教育中的鑒別診斷能力
 

　　在現代醫學教育中，基于問題的學習(PBL)作為一種以學生為中心的教學方法，旨在通過模擬真實的臨床診斷場景，提升學生的實踐能力和解決問題的技巧。現有研究雖然在提高PBL的真實性和沉浸感方面取得了一定進展，但在構建邏輯推理鏈和證據支持的臨床推理方面仍有不足，制約了學生臨床推理能力的提升。
 

　　為此，李權組開發了e-MedLearn系統，這是一個以學生為中心的PBL系統，旨在支持更高效的應用和實踐基于證據的臨床推理。該系統不僅提供了豐富的臨床案例和數據支持，還具有互動性和實時反饋功能，使學生能夠在真實的臨床場景中進行實踐和學習。為了驗證e-MedLearn系統的有效性，實證研究結果表明，e-MedLearn系統顯著提升了PBL學習體驗，在提高學生的臨床推理能力和自主學習能力方面表現尤為突出。
 

　　圖3：使用e-MedLearn進行案例分析的過程，在案例選擇之后，包含以下幾個步驟：(a)展示初步的病例數據，探索證據，形成初步的診斷思路。(b)利用檢查或測試的數據進行診斷分析，并更新診斷思路。(c)考慮預后并評估分析結果，反思思路以總結學習問題。(d)在診斷列表中記錄并更新診斷。(e)在思維導圖中記錄并回顧分析過程中的想法。
 

　　該研究由上海科技大學信息科學與技術學院李權課題組和上海臨床研究中心姜暢醫師合作完成，并以“Advancing Problem-Based Learning with Clinical Reasoning for Improved Differential Diagnosis in Medical Education”為題以全文收錄(Full Paper Track)形式被ACM CHI 2025接收。信息科學與技術學院2023級碩士研究生徐源松為論文的第一作者，李權教授和上海臨床研究中心姜暢醫師為共同通訊作者。 ACM CHI為CCF-A類會議，2025年Full Paper Track共收到5,020份完整投稿，經過論文委員會的修改和重新提交流程，最終接收了1,249篇論文，接收率為25.1%。
 

　　支持從碎片化線索進行游戲故事解讀和敘事推斷
 

　　在現代電子游戲領域，游戲敘事的深度與開放性激發了玩家的創造力，促使他們通過視頻、論壇等多種形式分享對游戲故事的獨特解讀。然而，面對游戲世界中紛繁復雜的敘事線索，如何高效地組織與分析這些內容，成為創作者和研究者面臨的重大挑戰。
 

圖4：ClueCart 共集成了左側的線索分類查詢，和右側的敘事推斷功能。
 

　　針對這一問題，李權組開發了ClueCart，一款專為游戲敘事分析設計的創新工具(https://cluecart.github.io/ClueCart/ )(圖4)。ClueCart通過結合文獻綜述、用戶調研和協作設計工作坊，深入探索了敘事線索的分類與組織需求。在此基礎上，研究團隊提出了一個完善的敘事線索分類體系，并設計了一套高效的游戲線索收集方法。實驗結果表明，ClueCart在用戶感知、功能支持和故事解讀效率等方面均優于傳統工具。研究團隊計劃進一步擴展ClueCart的功能，探索其在跨媒介敘事分析中的應用潛力，同時開發更多支持玩家參與敘事創作的工具。
 

　　該研究成果由信息科學與技術學院李權課題組及香港科技大學(廣州)計算媒體與藝術系合作完成，并以“ClueCart: Supporting Game Story Interpretation and Narrative Inference from Fragmented Clues”為題以Full Paper Track形式被ACM CHI 2025接收。信息科學與技術學院2022級碩士研究生王希元為論文的第一作者，李權教授為通訊作者。
 

　　創新醫療教育技術突破——CaseMaster系統創新病例匯報訓練模式
 

　　在臨床醫學教育中，規范化的病例匯報(Oral Case Presentation)能力培養是醫學生臨床思維訓練的核心環節。傳統教學模式主要依賴教師示范和課堂演練，存在個性化指導不足、反饋周期長、標準化程度低等局限。現有的大多數數字化工具主要聚焦語音表達訓練，對病例信息的結構化組織、診斷邏輯鏈的構建等關鍵能力的支持仍顯薄弱，導致學生在自主準備過程中常常出現信息篩選失焦、證據鏈斷裂等問題。
 

　　圖5：使用CaseMaster進行病例匯報訓練的過程包括以下步驟：(a)審閱患者名單，(b)聚焦于特定患者，(c)通過預設活動和有序準備展示結構化且邏輯清晰的思維過程，(d)進行口頭病例匯報，以及(e)突出一個有問題的解決方案，另一位用戶就該匯報提供反饋。
 

　　針對這一挑戰，李權組開發了創新型訓練系統CaseMaster。該系統是一個以學生為中心的智能訓練平臺，旨在通過結構化的訓練框架和精準的反饋機制，提升醫學生的病例邏輯構建與循證表達能力。CaseMaster通過大語言模型(LLM)與結構化學習框架的深度整合，突破了傳統訓練方法的局限性，為醫學生提供了閉環式智能訓練解決方案。初步驗證表明，系統能夠有效提升病例匯報的結構化水平與診斷推理質量，尤其在關鍵信息篩選和邏輯鏈條的完整性方面，獲得了教學專家的高度認可。未來的研究將重點開發與臨床教學場景深度融合的智能輔助功能，通過優化訓練模式與反饋機制，推動病例匯報能力培養向精準化、智能化方向轉型。
 

　　該研究成果由上海科技大學信息科學與技術學院李權課題組與上海臨床研究中心姜暢醫師合作完成，并以“CaseMaster: Formulating a Probe for Oral Case Presentation Training with LLM Assistance”為題以最新突破(Late-Breaking Work Track，LBW Track)形式被ACM CHI 2025接收。信息科學與技術學院2023級博士研究生歐陽陽為論文的第一作者，李權教授為通訊作者。ACM CHI 2025 LBW Track共收到1,888份完整投稿，最終接收了620篇，接收率為32.83%。
 

　　虛擬現實異步共視技術突破：彈幕化身系統重塑視頻社交體驗
 

　　在傳統的電視和視頻觀看場景中，親友同步觀看曾是社交互動的核心方式。現代快節奏的生活與時間差異推動異步共觀模式(如彈幕評論)因此應運而生。但二維屏幕和純文本交互依然面臨社交臨場感不足、情感傳達受限等挑戰。
 

　　近期，李權課題組在融合虛擬現實(VR)與彈幕技術方面取得突破性進展。課題組提出通過將傳統彈幕轉化為沉浸式虛擬形象，解決二維交互中實時性和情感深度不足的問題。用戶調研顯示，超過80%的受訪者強烈期待在VR環境中實現更具臨場感的異步共觀功能。為此，課題組以亞洲流行的彈幕文化為靈感，設計了“虛擬彈幕形象”系統。該系統創新性地將文字評論轉化為帶有語音交互能力的虛擬角色，并將其同步嵌入VR觀影環境中，成功突破了傳統二維界面社交臨場感不足的瓶頸，為異步視頻共視體驗樹立了新的范式。課題組招募了13名具有VR設計經驗的高校學生參與實驗。用戶反饋顯示，虛擬形象的實時語音互動顯著提升了社交臨場感，并激發了更強的交流意愿。這一研究成果不僅為異步共觀領域注入了新的活力，也為元宇宙時代的社交娛樂場景開辟了創新方向。
 

　　圖6：彈幕虛擬化身系統的設計過程包括四個關鍵階段：(a) 獲取和處理原始彈幕數據；(b) 對評論進行處理和聚類，并將其映射到彈幕虛擬化身上，這些虛擬化身能夠通過大型語言模型(LLMs)和非語言行為規則實現實時互動；(c) 彈幕虛擬化身形象選擇面板；(d) 在虛擬現實(VR)環境中與彈幕虛擬化身共同觀看視頻的體驗。
 

　　該研究由上海科技大學信息科學與技術學院李權課題組與中國人民大學合作完成，并以“Danmaku Avatar: Enabling Asynchronous Co-viewing Experiences in Virtual Reality via Danmaku”為題被ACM CHI 2025 LBW Track收錄。信息科學與技術學院2023級碩士研究生竇小鳳為論文第一作者，李權教授為通訊作者。