基于图嵌入和区域注意力的多标签文本分类

作者:王进; 徐巍; 丁一; 孙开伟; 王利蕾
更新时间:

针对传统的多标签文本分类模型没有考虑标签之间、标签与文本各部分之间的相关性,以及低频标签预测效果差的问题,采用图嵌入和区域注意技术挖掘标签之间、标签与文本之间的关系。提出了编码图嵌入和区域注意机制解码模型来处理多标签分类任务。采用Bi LSTM作为编码器,利用图嵌入技术生成标签嵌入矩阵。将区域注意机制与单词级和区域级信息相结合,使模型在预测每个标签时考虑文本不同部分的信息,挖掘文本与标签之间的潜在关联。采用循环神经网络和多层感知器作为解码器,结合随机策略梯度算法,减少训练损失,提高多标签分类效果。实验在AAPD和rcv1-v2多标签文本分类数据集上进行。根据数据集的特点设置相关参数。以micro-F1和Hamming Loss为评价指标,将该模型与LP、卷积神经网络等9个经典模型进行比较。结果表明,该模型能够根据高频标签预测低频标签,micro-F1和Hamming-Loss在这两个数据集上都优于经典模型