2025年11月3日，人工智能领域国际知名期刊《Expert Systems with Applications》刊发精密仪器研究中心团队在多模态视觉异常检测领域的最新成果，题目为“FDFR-Net: A fruit ripeness classification method using multimodal learning technique （基于视触觉多模态融合的水果成熟度分类）”。硕士生汪阳枫为第一作者，余文勇副教授和中国农业大学王想副教授为通讯作者。

中国水果年产量超2亿吨，但采后损失率达13.2%，当前水果成熟度分类多依赖单一模态数据，视觉方法仅能捕捉外观特征，光谱技术侧重内部化学成分，阻抗检测聚焦生理生化变化，均存在信息片面性。

研究中心与中国农业大学合作，给芒果定制电子皮肤，提出特征-决策融合网络（FDFR-Net），整合RGB图像、高光谱图像（HSI）和阻抗（IMP）三种模态数据，通过两阶段融合策略实现芒果成熟度的无损精准分类，为采后水果分级提供了可行的技术方案。整体研究架构可见图1。

图1 整体研究框架

RGB与HSI数据因特征量大、噪声频繁，通过特征级融合减少计算量并抑制噪声；IMP数据因数据量小、特征维度低，若直接参与特征级融合易导致特征损失，故单独进行决策级特征提取后，与RGB+HSI的决策特征按2:1权重加权融合，充分发挥各模态数据的互补优势。

同时，研究构建了高质量的多模态芒果成熟度数据集，不仅通过SOC 710-e高光谱成像系统、阵列式柔性阻抗传感器等设备完成非破坏性数据采集，还基于颜色、气味、口感制定了四级成熟度标注标准，并通过硬度与 SSC 检测验证样本标签客观性，四类样本在硬度-SSC散点图中呈现良好聚类效果，有助于模型训练与性能验证。

此外，FDFR-Net在保证高精度的同时兼顾实用性，在配备 RTX 4060的设备上可实现每秒 215 张图像的处理速度，便于在农业场景中低成本部署。

在多模态数据采集环节，研究采用高光谱成像系统搭建芒果信息采集暗箱以记录芒果外观特征与内部理化信息，如图2所示。

图2 多模态数据采集

阻抗数据则通过阵列式柔性阻抗传感器采集，如图3所示，该传感器以PI为基底，采用CO₂激光直写仪制备石墨烯电极电路，可覆盖芒果单侧40%-60%表面积，通过4个参考电极测量16个工作电极的相对阻抗，输出4×4阻抗矩阵以反映成熟度与成熟均匀性。

图3 (a) 阵列柔性阻抗传感器系统。(b) 芒果阻抗信息获取过程。

DFR-Net网络如图4所示，结构围绕 “特征提取-两阶段融合-分类输出” 设计，特征提取阶段，RGB与HSI数据输入改进的CNN模块，经卷积、批量归一化后得到初始特征。IMP数据则通过 1×1 卷积、批量归一化、ReLU激活及全连接层提取决策特征。融合阶段，首先对RGB与HSI的初始特征求和完成特征级融合，经Fusion_conv模块优化后，生成参考决策特征向量。将该向量与IMP提取的参考决策特征向量加权求和，实现决策级融合。

图4 DFR-Net网络

实验性能验证方面，FDFR-Net经200轮训练后，训练损失逐步收敛，验证集准确率稳定在95%左右，表明模型未出现过拟合且具备良好泛化能力；测试集混淆矩阵计算结果显示，模型准确率94.23%、精确率94.45%、召回率94.25%、F1分数0.9435，显著优于单模态模型（CNN_RGB 准确率 86.54%、CNN_HSI 准确率 83.33%）与其他融合方法（RGB+HSI 融合准确率87.18%、决策级融合的 Decision-Net 准确率 89.10%、特征级融合的Feature-Net准确率85.26%、像素级融合的Pixel-Net准确率78.21%）。消融实验进一步验证各模态与融合策略的有效性。

本研究提出了实时多模态芒果成熟度分类分选线方案，全流程自动化操作可大幅提升采后分级效率，减少人工干预导致的误差，有效降低芒果在存储、运输与销售环节的损耗。未来研究将优化数据获取速度与成本，满足不同水果、不同成熟度等级的精细化分类需求，进一步提升多模态学习技术在水果产业中的实用价值。

本研究得到了国家自然科学基金项目（52375494）的资助。

论文信息：

Y. Wang, X. Jin, W, Huang, X. Wang, and W. Yu, “FDFR-Net: A fruit ripeness classification method using multimodal learning technique,” Expert Syst. Appl. 299, 130126 (2026).