隨著人工智能技術的快速發展，大語言模型(Large Language Models，LLMs)成為科研領域的熱點話題。上海科技大學信息科學與技術學院系統與安全中心(Systems and Security Center，以下簡稱SSC)在這一領域持續發力，課題組各有側重，為推動大語言模型的應用和部署發揮積極作用。近日，中心多個課題組在相關方面取得了一系列進展。
 

　　陳宇奇課題組題為“DistillSeq: A Framework for Safety Alignment Testing in Large Language Models using Knowledge Distillation”的論文在第33屆ACM國際軟件測試與分析大會(The 33rd ACM SIGSOFT International Symposium on Software Testing and Analysis，ISSTA 2024)發表，上海科技大學為論文第一完成單位。該工作提出了一種名為DistillSeq的框架，旨在利用知識蒸餾技術，針對大型語言模型展開高效且全面的安全對齊測試。鑒于LLMs可能生成有害內容，對其安全性進行全面評估至關重要。然而，傳統的測試方法需要大量的計算資源，成本高昂。DistillSeq 框架通過知識蒸餾顯著減少了測試 LLMs 所需的資源和時間，同時提高了測試的有效性。圖1展示了DistillSeq的工作流程。陳宇奇團隊今后將繼續深入研究，進一步優化蒸餾模型性能，以應對更復雜的測試場景。
 

圖1 DistillSeq的基于知識蒸餾的測試過程示意
 

　　陳宇奇課題組另一篇題為“Efficient Detection of Toxic Prompts in Large Language Models”的論文在第39屆IEEE/ACM國際自動化軟件工程大會(The 39th IEEE/ACM International Conference on Automated Software Engineering, ASE 2024)發表，上海科技大學為論文第一完成單位。值得一提的是，該論文的共同第一作者是上科大信息學院2021級本科生郁鈞哲。陳宇奇、郁鈞哲和新加坡南洋理工大學的研究者合作提出了一種名為 ToxicDetector 的輕量級灰盒方法，旨在高效檢測大型語言模型中的毒性提示，開發一種兼具高效性、可擴展性和魯棒性的解決方案。圖2展示了ToxicDetector的工作原理。在多個數據集上，ToxicDetector 的平均 F1 分數分別為 96.35% 和 96.28%，均優于基線方法。即使在提示被偽裝或篡改的情況下，ToxicDetector 仍能有效檢測毒性提示。
 

圖2 ToxicDetector工作原理示意
 

　　何靜竹課題組研究成果“Artemis: Toward Accurate Detection of Server-Side Request Forgeries through LLM-Assisted Inter-procedural Path-Sensitive Taint Analysis”近日被ACM面向對象編程系統、語言和應用大會(ACM International Conference on Object Oriented Programming Systems Languages and Applications，OOPSLA 2025)錄用，第一作者為2022級碩士研究生季宇辰，何靜竹教授為通訊作者，上海科技大學為論文第一完成單位。當前，服務器端請求偽造(SSRF)漏洞在PHP Web應用程序中是不可避免的。現有的靜態分析工具在檢測相關程序漏洞時，存在兩方面問題：一是缺乏與SSRF有關的功能來提高檢測準確性，二是沒有充分考慮PHP的動態類型特性。該研究提出了名為Artemis的靜態污點分析工具(圖3)，其中使用了大語言模型作為輔助方法。在 250個PHP Web應用程序上進行了評估，Artemis報告了207條真實漏洞路徑(其中106條為真實SSRF)，僅產生了15個誤報。在檢測到的106個SSRF漏洞中，35個是首次發現。這些結果彰顯了Artemis的優秀效力。
 

圖3 Artemis系統架構示意
 

　　張良峰課題組關于評估ChatGPT生成代碼質量的研究發表于國際期刊IEEE Transactions on Software Engineering (IEEE TSE)。使用大語言模型自動生成代碼能夠提高開發效率，減少開發時間，使開發者能夠專注于更高層次的邏輯和任務。但使用LLMs生成的代碼在功能性、復雜性和安全性方面的質量仍需評估。圖4展示了與ChatGPT的交互生成代碼的流程。該工作通過系統性實證評估，揭示了ChatGPT在代碼生成方面的潛力與局限性。結果顯示，未來研究可以探索更高效的提示設計方法，結合更多的代碼質量和安全性評估工具，以優化LLMs在代碼生成任務中的應用。該論文題為“No Need to Lift a Finger Anymore? Assessing the Quality of Code Generation by ChatGPT”，第一作者是碩士研究生劉志杰，論文由張良峰教授與英國、中國香港的合作者等聯合指導，上海科技大學為論文第一完成單位。
 

圖4與ChatGPT交互生成代碼的過程示意
 

　　殷樹課題組在大規模人工智能網絡(例如大語言模型)的檢查點(checkpoint)方法方面，提出了Portus算法。該算法通過優化的數據傳輸路徑和索引結構，顯著提升了DNN檢查點的效率，支持更細粒度的檢查點機制，并為大規模模型訓練提供了高效的容錯解決方案。該成果以“Portus: Efficient DNN Checkpointing to Persistent Memory with Zero-Copy”為題發表在IEEE第44屆國際分布式計算系統大會(IEEE 44th International Conference on Distributed Computing Systems ，ICDCS 2024)。
 

　　王春東課題組就加速圖神經網絡(GNN)訓練等做了系統性優化，提出了GNNDrive算法。該算法旨在減少內存競爭、緩解I/O擁塞和優化數據準備等，以實現在普通經濟型硬件上處理大規模數據的目標，具有一定的實用價值。該論文以“GNNDrive: Reducing Memory Contention and I/O Congestion for Disk-based GNN Training”為題發表在第53屆國際并行處理大會上(53rd International Conference on Parallel Processing，ICPP 2024)。