近期，計算機與軟件學院唐明偉教授所在的研究團隊在多模態表征、指示與生成學習等方向取得較大研究進展，以第一作者或通訊作者身份連續在多個期刊發表論文。包括一篇發表在Knowledge-Based Systems （中科院1區，JCR1區， IF:8.8），三篇發表在Expert Systems with Applications （中科院1區，JCR1區， IF:8.5），一篇發表在ENGINEERING APPLICATIONS OF ARTIFICIAL INTELLIGENCE （中科院1區，JCR1區， IF:8.0）和一篇發表在Information?and?software?technology（中科院2區，JCR1區）在內的6篇論文。詳細內容如下：

論文1：Spatio-Temporal Adaptive Convolution and Bidirectional Motion Difference Fusion for Video Action Recognition發表在國際Top期刊《EXPERT SYSTEMS WITH APPLICATIONS》。第一作者為2023級研究生李林熹，唐明偉教授為通訊作者。

本研究旨在利用深度學習技術，從兩個方向對視頻中的運動進行分析。首先，研究考慮了運動在時空維度上的特征變化，通過采用先進的時空卷積神經網絡結構，在時間和空間上同時對視頻中的動作進行編碼和特征提取。其次，針對視頻動作識別中可能存在的動作模糊性和視角變化問題，引入自適應卷積的方式，使模型能夠根據輸入視頻的特征自適應地調整卷積核，從而更有效地融合動作特征，更好地捕捉和融合視頻中的局部和全局特征，提高動作識別的準確性和魯棒性。

論文網址：https://doi.org/10.1016/j.eswa.2024.124917Get rights and content

論文2：Dual-enhanced Generative Model with Graph Attention Network and Contrastive Learning for Aspect Sentiment Triplet Extraction，由唐明偉教授擔任通訊作者，第一作者為2022級研究生徐皓文，已被國際頂級學術期刊《Knowledge-Based Systems》接受并在線發表。

本文提出了一種結合圖注意力網絡和對比學習的雙增強生成模型（GAC）用于方面情感三元組抽取。在GAC模型中，構建了一個圖三元組損失模塊，該模塊融合了依存句法信息，以加深對復雜句子結構的理解，并利用圖注意力網絡明確定義詞語之間的依賴關系，使模型在識別復雜結構中的方面和觀點時表現得更為出色。此外，設計了三元組表示對比學習模塊，顯著增強了模型識別復雜情感類型以及區分由單詞和句子組成的方面和觀點術語的能力，通過捕捉情感類型和術語長度之間的內在聯系。在實驗部分，該文測試了兩個公共數據集。結果表明，GAC模型在生成三元組方面優于現有方法，證實了所提出的方法在應對ASTE挑戰中的有效性和先進性。

GAC模型總體框架圖

論文網址：https://www.sciencedirect.com/science/article/pii/S0950705124009766

論文3：INA-Net: An Integrated Noise-Adaptive Attention Neural Network for Enhanced Medical Image Segmentation在國際頂級學術期刊《Expert Systems with Applications》上發表。該期刊是中科院SCI分區一區，TOP期刊。論文第一作者為2022級研究生熊健喬，研究生指導老師為宗蓮松副教授，通訊作者為唐明偉教授。

本文提出了集成噪聲自適應注意力神經網絡INA-Net，創新性地引入了輕量級的噪聲-距離注意模塊，有效結合局部和模擬噪聲特征與全局信息，提高了對復雜混合噪聲的魯棒性。同時，邊緣感知空間注意力（ESA）和多尺度通道注意力（MCA）模塊的加入，進一步增強了特征信息和邊界感知。此外，動態噪聲編碼模塊和傅里葉小波分析（FW-Parser）通過處理高頻噪聲分量，提高了分割的準確性。實驗結果表明，INA-Net在處理毛發干擾、血管閉塞和模糊病變邊界等方面具有顯著優勢，為準確識別皮膚病變提供了關鍵支持。

INA-Net模型圖

論文網址：https://doi.org/10.1016/j.eswa.2024.125078

論文4：A vulnerability detection algorithm based on residual graph attention networks for source code imbalance （RGAN）在國際頂級學術期刊《Expert Systems with Applications》上發表。論文第一和通訊作者為唐明偉教授，第二作者為研究生唐威。

為了增強模型在現實世界不均衡樣本分布中的性能，本文構建了一個基于序列注意力和圖注意力的漏洞檢測模型MAVD。MAVD使用注意力機制強化局部代碼塊的特征提取，構建帶有殘差連接的圖注意力神經網絡來沿著控制流的方向進行學習和更新節點特征。同時，本文從損失函數的角度出發，提出了新的不平衡數據集處理方式。最后在貼近現實分布的不均衡數據集上進行訓練和驗證，驗證模型在現實世界的應用可能性。

論文網址：https://doi.org/10.1016/j.eswa.2023.122216

論文5：Incorporating syntax and semantics with dual graph neural networks for aspect-level sentiment analysis發表在國際頂級學術期刊《Engineering Applications of Artificial Intelligence》上。論文第一作者2021級研究生王鵬程，通訊作者為唐明偉教授。

本文主要提出了兩個不同的模型，利用圖神經網絡對方面級情感分析展開研究，提出了一種新的自適應圖卷積分割網絡模型。首先，在數據預處理階段，通過合并兩個數據集的標記信息來增加單詞的信息容量，再通過自適應標記劃分模塊劃分合適的標記信息給后續模塊以提取特定的信息。然后，通過BERT模塊生成特定輸入的詞嵌入信息，以突出特定單詞標記信息對情感信息提取的作用。再將兩部分的詞嵌入信息分別輸入到雙語法感知編碼器和語義輔助模塊中，雙語法感知編碼器結合句法依賴樹和組成樹獲得明確的語法知識，語義輔助模塊利用GCN編碼自注意力矩陣獲得額外的語義信息。最后，將雙語法感知模塊和語義輔助模塊輸出結合起來，放入到分類器進行情感分類。

論文網址：https://doi.org/10.1016/j.engappai.2024.108101

論文6：A Dual Graph Neural Networks Model using Sequence Embedding as Graph Nodes for Vulnerability Detection的研究論文在國際頂級學術期刊《INFORMATION AND SOFTWARE TECHNOLOGY》上發表。論文第一作者為研究生凌苗桂，通訊作者為唐明偉教授。

本研究旨在利用深度學習技術，提供一種快速且高效的自動化源代碼檢測方案，從而及時地發現源代碼中可能存在的漏洞風險。首先考慮源代碼內在的圖結構化信息的重要性，以及本身的序列特征，使用序列嵌入作為圖的節點信息，能夠同時利用了源代碼的序列信息和圖信息。其次考慮到不同的圖神經網絡在漏洞檢測的優點，使用兩個不同的圖神經網絡結合的方式提取特征，最后將其融合。圖卷積網絡能夠很好保留圖的結構化信息，而圖注意力網絡更多關注節點之間的關系。二者相互結合，使得模型能夠更好地提取源代碼的全局和局部特征，從而提高漏洞檢測的精準度和回歸率。此外，還使用一種基于卷積的特征增強技術，進一步提高模型性能。

    論文網址：https://doi.org/10.1016/j.infsof.2024.107581