原名：Identification of chrysanthemum using hyperspectral imaging based on few-shot class incremental learning

译名：基于小样本类增量学习的高光谱成像菊花鉴定

期刊：Computers and Electronics in Agriculture

5年影响因子：8.3

在线发表时间：2023.10.29

通讯作者：张楚

第一单位：湖州大学信息工程学院

文章亮点

采用NIR-HSI对菊花的产地和品种鉴定进行了研究。

采用先进的深度学习和可视化方法进行分类。

研究了使用重放训练策略的少样本类增量学习。

Few-shot Class-Incremental 学习方法取得了良好的效果。

01研究背景

现代医学的研究理念强调对药物机制的理解和对药物成分的精确分析。在中药从药材来源、采收加工、病虫害防治、有效成分检测等环节，都需要严格的科学监控，需要具有丰富中药知识的专业人员。然而，中医专科医生分布不均，整体规模亟待扩大。此外，一些中药材具有相似的外部特征，生长在特殊的地理位置，难以区分、采集和保存，这大大增加了原产地选择、成分分析、质量检测和科学栽培的难度（曹等，2021）。与其他中草药类似，菊花的有效成分和相应浓度因品种和地产不同而有所不同，这会显着影响其治疗效果（He et al.， 2021）。另一方面，菊花被用作凉茶，以充分发挥其作为中药的医疗益处。菊花一直是许多人的日常必需品，其产量大，经济利润丰厚。菊花的价格因产地和品种而异。因此，鉴定菊花的地理产地和品种对其菊花的现代医疗利用具有重要影响。

02研究方案

本研究利用高光谱成像结合深度学习技术，对14个菊花类别的产地和品种进行了分类。利用卷积神经网络，将小样本类增量学习（class-IL）方法应用于小样本菊花类别的检测。通过采用重播训练策略，可以有效解决与严重样本限制和不平衡课程相关的挑战。当从4个类别逐步扩展到14个类别时，每个新类别仅包含30个样本，测试数据集上实现的准确率达到80.13%。与传统的监督学习相比，这种显着的性能表现出 15.75% 的微弱优势，后者利用了近 100 倍的增量训练样本量。这种方法始终优于传统的监督学习方法，从而展示了其卓越的可扩展性。它促进了小样本学习和深度学习模型的实际实施，提供了一个经过证实的框架，以使用高光谱成像和相关技术处理各个领域的真实场景。

03研究结果

在实际应用中，不同来源的中药种类繁多，样本量有限，新类别可能不断涌现，少样本IL类对中药的连续、快速、无损检测具有重要意义（Huang et al.， 2022， Xu et al.， 2022 ），包括菊花。尽管小样本IL类具有明显的潜力，但其在HSI技术中药检测领域的应用仍然相对有限。本研究已证明，增加有限的新菊花类别具有显着效果。然而，对于长期的少样本类IL，仍然需要增加样本量，以避免灾难性遗忘和模型泛化困难等问题（Zhang et al.， 2022）。因此，可以尝试继续优化学习策略，结合生成模型在现有样本的基础上增加少样本数量，并利用一些模型参数正则化度量来优化训练策略，如弹性权重整合（EWC）和突触智能（SI）。本研究利用Replay训练策略结合HSI技术，为实现中医少样本IL类提供了有效的技术参考。

图1为菊花样品在NIR光谱区（993-1690nm，SPECIM FX17相机）获得的平均光谱，各光谱波长的标准差呈变化趋势。结果表明，不同种类的菊花样本的光谱特征存在大量的重叠，使得仅依赖余弦相似度或欧氏距离时，样本类别的区分具有挑战性。一维光谱特征的利用在准确分类不同类别的菊花样品方面存在重大困难，特别是在具有大量测试样本特征的情况下。

Fig. 1. The NIR average spectra of 14 classes of chrysanthemum samples with standard deviation.

图2清楚地说明了在1100 nm、1250 nm、1390 nm和1520 nm处的光谱波长有助于提高模型在精确区分不同类别的菊花样品方面的熟练程度。1100 nm通常与C-H拉伸振动的第二泛音有关，这种振动存在于碳水化合物、脂质和蛋白质等分子中。1250 nm和1390 nm通常与有机分子中羟基中发现的O-H拉伸振动的第二和第一泛音有关。1520 nm通常与N-H拉伸振动的第一个泛音有关，这存在于蛋白质和酰胺等分子中（石川等，2021，Tian等，2022）。

Fig. 2. 1D-GradCAM weight of

04研究结论

本研究采用HSI对菊花的品种和产地进行准确分类，特别关注基于CNN的少射IL类的应用。通过使用CSL方法探索类别限制条件下的模型性能，观察到在一定范围内增加样本量对性能增强的影响最小。然后，我们尝试使用重放训练策略将十个类别的菊花分类模型扩展到 14 个类别。由于模型性能受到训练策略的严重影响，因此微调新旧样本的比率和某些训练超参数导致少样本类 IL 的性能与全样本 CSL 相当，即使每个添加的类别只有 30 个样本。随后，我们进一步尝试扩展四类菊花分类模型。结果发现，当新类别扩展到旧类别的两倍以上时，准确性显着降低。然而，适当增加样本量可以大大提高性能，最终在少样本中仍优于CSL，而不会随着增量样本的增加而显著降低样本精度。这些发现为HSI技术检测中药小样本提供了有力的技术和方法指南，为持续精确鉴定中药样本描绘了明确的轨迹。