本网讯 近日，电信学院2021级模式识别与智能系统专业研究生曹亿亿在中科院合肥物质科学研究院陈雷副研究员、电信学院孙光灵老师的共同指导下,在国际期刊《Computers and Electronics in Agriculture》（IF=6.757，中科院农业综合1区，农林科学TOP期刊）上发表题为“Cucumber disease recognition with small samples using image-text-label-based multi-modal language model”的研究论文。
该项研究工作是针对小样本学习方法仅从单个图像模态中提取信息，对具有语义相关性的其他模态（文本模态信息）中的特征信息没有充分利用。
从模型角度看，现有的基于多模态的病害识别方法一般采用双塔模型，不同模态学习到的特征分布在不同的特征空间，没能充分发挥模态间的关联作用。论文提出了一种端到端的基于“图像-文本-标签”信息的多模态语言模型识别方法，结合“图像-文本”多模态对比学习、图像自监督对比学习和标签信息在统一“图像-文本-标签”空间中衡量样本的距离，以提高模型表征学习能力，进而提高病害识别的准确性。
上述研究得到了国家自然科学基金项目（32071901, 32271981）的资助。电信学院高度重视研究生培养质量，注重研究生培养过程的学术创新。本次高水平论文发表是电信学院与中科院合肥物质科学研究院联合攻关的结果，为学院创新人才培养奠定了基础。（图/文：孙光灵 审稿：孙长城 ）