基于BERT模型的无监督中文单文本关键词提取模型

作者:顾淳; 俞成海; 于洋; 关炜炜
更新时间:

针对现有方法中忽略语义信息和重复提取语义相似的关键词的问题,提出了一种基于双向编码表示(BERT)模型的无监督单文本关键词提取模型。该模型首先对提取的文本进行预处理,选择候选词,然后利用Bert模型的隐藏层结合全文信息,得到候选词的词向量,然后在聚类层添加筛除语义重复的候选词。最后,获得全文语义向量,计算候选词与全文的语义相似度得分,排序后提取关键词。实验结果表明,当提取的关键词数为5和8时,该模型的准确率分别为34.21%和26.34%,优于传统的文本rnka和TF-IDF提取模型。结果表明,该模型通过整合语义信息,提高了中文单文本关键词提取的准确性,改善了关键词重复提取的问题,使提取的关键词更加准确,有效地提高了单文本关键词提取的质量。