广东技术师范大学“多模态智能计算”科研团队
1、团队发展介绍
“多模态感知与智能计算”科研团队以任金昌教授在高光谱图像分析、多模态融合与智能计算领域的研究积累为基础，在中科院外籍院士Tariq Durrani教授协助下，依托广东技术师范大学人工智能学院，汇聚相关方向研究力量，服务学科建设与高层次应用型人才培养。核心团队成员共16人，均具有博士学位，其中教授4人、3名副教授、2名校聘副教授及7名讲师。
团队面向高光谱等多模态遥感解译、智慧农业、医疗健康、工业检测及信息安全等应用，研究图像、视频、光谱、脑电与文本图谱等多源数据的表征、融合和智能分析，推动智能感知算法与实际应用相结合。结合成员研究基础，凝练三个方向：1）多模态感知与视觉计算；2）认知智能与可信信息处理；3）智联网与智能控制。侧重低空经济和具身智能及其在精准农业、无损检测、工业巡检与自动化、应急救援、智慧海洋、可持续发展、智慧交通等方面的重点应用。通过科研项目、研究生培养及产学研合作，提升理论研究与工程应用能力。
2、科研成果
表1 科研团队主持的代表性项目
序号 |
项目来源 |
项目（课题）名称 |
负责人 |
起止时间 |
经费
（万元） |
1 |
国家高层次人才项目 编号：无 |
基于高光谱等多模态融合理论和方法 |
任金昌 |
2025-12-01 |
300 |
2 |
国家自然科学基金 / 面上项目 |
多模态图像感知及其特征融合安全性关键技术研究（62072122） |
赵慧民 |
2021—2024 |
57 |
3 |
国家自然科学基金 / 面上项目 |
面向安全性的分布式压缩感知视频处理关键技术研究（61672008） |
赵慧民 |
2017—2020 |
53 |
4 |
国家重点研发计划项目 |
多模态生物信息数据融合分析和应用研究（22ZG0006） |
赵慧民（院方负责人） |
2023—2025 |
200 |
5 |
国家自然科学基金 / 面上项目 |
基于压缩感知理论的稳健性视频水印技术研究（61272381） |
赵慧民 |
2012—2016 |
80 |
6 |
国家自然科学基金
面上项目 |
视频大数据时空协同关联及视觉跟踪模型研究 |
詹瑾 |
2018—2021 |
59 |
7 |
国家自然科学基金青年科学基金项目（C类） |
空-地跨视角语义对齐机理及其紧凑表征方法研究
|
曾宪贤 |
2027-2029 |
30 |
8 |
国家自然科学基金青年科学基金项目（C类） |
环境噪声与通信受限共扰下的路侧多视角三维协同感知方法研究 |
王锦萍 |
2027-2029 |
30 |
9 |
广东省应用型科技研发专项资金项目 / 2016B010127006 |
基于安全身份认证的电子商务云平台关键技术及其产业化 |
赵慧民 |
2016—2018 |
300 |
10 |
广州市科技计划 / 重点实验室项目 / 201605030001 |
广州市数字内容处理及其安全性技术重点实验室 |
赵慧民 |
2015—2018 |
200 |
11 |
广州市科技计划
重点研发计划 |
基于智联网的水稻丸粒化包衣种无人机精准条播技术研发与应用 |
任金昌 |
2023-11-23 |
100 |
12 |
广东省教育厅“创新强校”项目 |
基于高光谱分析的多模态数据融合方法研究 |
任金昌 |
2022-12-23 |
100 |
13 |
广东省省级重大计划项目 / 2014KZDXM060 |
云计算的压缩感知安全性关键技术 |
赵慧民 |
2014—2017 |
50 |
14 |
广东省重点建设学科科研能力提升项目 / 2021ZDJS025 |
数据驱动控制的多模态感知及其安全性处理方法研究 |
赵慧民 |
2022—2023 |
50 |
15 |
广东省教育厅创新团队项目 / 2017KCXTD021 |
多维信号的智能计算及其安全性处理技术 |
赵慧民 |
2018—2020 |
50 |
16 |
广东省普通高校重点实验室项目 / 2019KSYS009 |
多模态识别及智能控制安全重点实验室 |
赵慧民 |
2020—2022 |
50 |
17 |
广东省省级科技计划项目（国际科技合作领域） / 2021A0505030074 |
多模态图像处理及其数据融合技术研究 |
赵慧民 |
2021—2022 |
50 |
18 |
广东省自然科学基金 / 重点项目 / 2016A030311013 |
基于深度学习和压缩感知的隐写分析研究 |
赵慧民 |
2016—2018 |
30 |
19 |
广东省重点建设学科
科研能力提升项目 |
数物空间新型图像标识的表示机理及跨域智能感算协同方法研究 |
陈荣军 |
2026—2028 |
100 |
20 |
广东省自然科学基金
面上项目 |
基于多假设扩散模型的跨模态3D目标动作识别研究 |
詹瑾 |
2024—2026 |
15 |
21 |
广东省自然科学基金
面上项目 |
面向农业场景低空遥感图像三维重建关键技术研究 |
曾宪贤 |
2024—2026 |
15 |
22 |
广东省教育厅重点
科研平台项目 |
面向跨模态三维视觉融合的特征嵌入和模型研究 |
詹瑾 |
2023—2025 |
50 |
23 |
企业横向科研项目 |
基于智联网多模态感知的工业泄漏边缘计算设备智慧检测技术研究 |
陈荣军 |
2024—2029 |
80 |
24 |
|
|
|
|
|
表2 团队主要科研论文
序号 |
作者 |
论文 |
时间 |
期刊 |
备注 |
1 |
任金昌、陈荣军等 |
Blind sonar image quality assessment via machine learning: Leveraging micro-and macro-scale texture and contour features in the wavelet domain |
2025 |
Engineering Applications of Artificial Intelligence |
SCI |
2 |
陈荣军、曾宪贤、袁君、黎嘉文、任金昌等 |
Large-Scale Cross-Modal Hashing via Kolmogorov-Arnold Representation Theorem and Optimal Transport |
2025 |
Knowledge-Based Systems |
SCI |
3 |
郑鹏根等 |
SAR target recognition through adaptive kernel sparse representation model based on local contrast perception |
2024 |
Signal Processing |
期刊论文 |
4 |
王锦萍、任金昌等 |
FusDreamer: Label-efficient Remote Sensing World Model for Multimodal Data Classification |
2025 |
IEEE Transactions on Geoscience and Remote Sensing |
SCI |
5 |
刘勋、任金昌等 |
MSLKCNN: A Simple and Powerful Multi-scale Large Kernel CNN for Hyperspectral Image Classification |
2025 |
IEEE Transactions on Geoscience and Remote Sensing |
SCI |
6 |
王锦萍等 |
Mutually Beneficial Transformer for Multimodal Data Fusion |
2023 |
IEEE Transactions on Circuits and Systems for Video Technology |
SCI |
7 |
林凯瀚等 |
Detecting deepfake videos using spatiotemporal trident network |
2024 |
ACM Transactions on Multimedia Computing, Communications and Applications |
SCI |
8 |
郭俊成等 |
Anatomical structures detection using topological constraint knowledge in fetal ultrasound |
2024 |
Neurocomputing |
SCI |
9 |
曾宪贤等 |
Hard Decorrelated Centralized Loss for Fine-Grained Image Retrieval |
2021 |
Neurocomputing |
期刊论文 |
10 |
黎嘉文、吕巨建、陈荣军、王磊军、曾宪贤、袁君、胡翔磊等 |
A rhythmic encoding approach based on EEG time-frequency image for epileptic seizure detection |
2025 |
Biomedical Signal Processing and Control |
SCI |
11 |
袁君、曾宪贤、黎嘉文、吕巨建、陈荣军等 |
Data-driven real-time home energy management system based on adaptive dynamic programming |
2025 |
Electric Power Systems Research |
SCI |
12 |
胡翔磊等 |
Efficient JPEG batch steganography using intrinsic energy of image contents |
2021 |
IEEE Transactions on Information Forensics and Security |
期刊论文 |
13 |
吕巨建、黎嘉文、林凯瀚、陈荣军、王磊军、曾宪贤、任金昌等 |
Contour extraction of medical images using an attention-based network |
2023 |
Biomedical Signal Processing and Control |
SCI |
14 |
王磊军、曾宪贤、詹瑾、黎嘉文、陈荣军等 |
Transformer-Based Detection for Highly Mobile Coded OFDM Systems |
2023 |
Entropy |
SCI |
15 |
李倩玉等 |
MuLAN: Multi-level attention-enhanced matching network for few-shot knowledge graph completion |
2024 |
Neural Networks |
SCI |
16 |
詹瑾、郑鹏根等 |
Salient superpixel visual tracking with graph model and iterative segmentation |
2021 |
Cognitive Computation |
SCI |
17 |
刘勋等 |
GPNet: Simplifying Graph Neural Networks via Multi-channel Geometric Polynomials |
2025 |
Information Sciences |
SCI |
18 |
郭俊成等 |
Unsupervised Ultrasound Image Quality Assessment with Score Consistency and Relativity Co-learning |
2024 |
MICCAI 2024 |
会议论文 |
19 |
李倩玉等 |
Capsule neural tensor networks with multi-aspect information for Few-shot Knowledge Graph Completion |
2023 |
Neural Networks |
SCI |
20 |
王磊军、黎嘉文、曾宪贤、詹瑾、陈荣军等 |
A Transformer–LSTM Hybrid Detector for OFDM-IM Signal Detection |
2026 |
Entropy |
SCI |
表3 授权发明专利
序号 |
专利号 |
专利名称 |
专利类型 |
发明人 |
授权年份 |
1 |
ZL202310509885.7 |
基于三维时空网络的深度伪造视频检测方法 |
发明专利 |
林凯瀚等 |
2024 |
2 |
ZL202111074096.2 |
基于双流网络的伪造人脸检测方法、系统及存储介质 |
发明专利 |
林凯瀚等 |
2022 |
3 |
CN112766340B |
基于自适应空间模式的深度胶囊网络图像分类方法及系统 |
发明专利 |
王锦萍等 |
2024 |
4 |
ZL202011424449.2 |
一种多视图图像分类方法、系统、计算机设备和存储介质 |
发明专利 |
刘勋等 |
2023 |
5 |
ZL202011424450.5 |
一种半监督节点分类方法、系统、计算机设备和存储介质 |
发明专利 |
刘勋等 |
2023 |
6 |
ZL201910337627.9 |
一种基于超像素时空显著性分割的视觉跟踪方法 |
发明专利 |
詹瑾等 |
2023 |
7 |
ZL201810312684.7 |
一种物流自动分拣远程诊断系统及其方法 |
发明专利 |
李倩玉等 |
2020 |
3、科研过程与研究情况
团队长期从事高光谱图像分析、计算机视觉与多模态融合研究，具有国家级及国际合作重大科研项目的研究基础。其中，团队在本校承担的“基于高光谱分析的多模态数据融合方法研究”获广东省重点建设学科科研能力提升项目支持，经费100万元。团队结合这一研究积累，开展多源数据表征、跨模态融合与智能识别研究，面向遥感监测、智慧农业和工业检测等应用，探索异构数据互补与复杂场景分析方法。
在认知智能与可信信息处理方面，研究胎儿超声图像分析与质量评价、脑电信号处理、情感计算与脑机接口、知识图谱与自然语言处理，以及深度伪造检测、数字隐写和多媒体取证。相关研究涵盖医学影像结构识别、生理信号建模、知识表示和数字内容可信性分析，着重探索感知数据、认知表征与安全机制的结合，支持医疗健康与信息安全等场景中的智能应用。
在智联网与智能控制方面，研究图像智能感知、边缘计算、多模态大模型与具身智能，开展细粒度视觉分析、三维重建、智能无线通信和数据驱动的能量管理与优化控制研究。结合嵌入式系统、智能机器人、农业物联网与工业检测等应用，探索算法轻量化、系统集成和感知控制协同方法，推动多模态信息处理与实际工程需求衔接。
图1 团队开展多模态图像分析学术报告（2023年）
团队积极开展国际学术交流与合作，是拓展研究视野与研究生联合培养的重要基础。2023年4月，他在校作海洋状况监测学术报告，交流多模态图像融合、遥感与现场检测研究。2025年11月，团队成员参加学校与英国格林威治大学联合培养博士研究生合作交流会，围绕联合培养、师资交流与合作科研展开讨论。
图2 与英国格林威治大学联合培养博士研究生交流现场
图3 联合培养博士研究生合作交流会合影（2025年）
团队重视科研与人才培养结合。陈荣军、任金昌指导的“基于多模态大模型与具身智能的低成本康养机器人”项目获2025年第二十届中国研究生电子设计竞赛华南赛区一等奖，体现了多模态感知、智能决策与系统实践相结合的培养思路。
