基于多模态融合的单阶段连续手势识别方法

作者:张磊
更新时间:

本文提出了一种单阶段连续手势识别模型,该模型可以通过单个模型对单个视频中的多个手势进行检测和分类。该方法学习手势和非手势之间的自然转换,不需要预处理分割阶段来检测单个手势。为了实现这一点,引入了一种多模态融合机制,以支持来自多模态输入的重要信息的集成,并且可以扩展到任意数量的输入模式。此外,本文还提出了单模态特征映射和多模态特征映射模型,分别映射单模态特征和融合多模态特征。为了进一步提高性能,提出了一种基于中点的方法来促进标注结果和预测结果之间的平滑对齐。该框架可以处理可变长度的输入视频,并在两个具有挑战性的数据集上显示出良好的性能。