基于大语言模型 BERT 的文本分类

谢 　宁
北京阿里巴巴云计算技术有限公司

摘要

随着科学技术的飞速发展，互联网、手机和计算机等已成为我们日常生活中不可缺少的工具，提升了文本信息的
传播速度和传播效率。通过网络能够浏览各行各业的新闻资讯，大量信息的出现要求用户具有一定的筛选能力。因此，学
术界和企业公司已将分类任务作为一个重点的研究方向。BERT 预训练语言模型利用 Transformer 的编码器原理进行构建，
实现了上下文双向特征提取。本文基于 BERT 研究 BERT_RNN、BERT_CNN 模型在新闻分类数据集 Reuters-21578 和
THUCNews 上探究其性能表现。本文实验结果表明 BERT 仍然取得了最高的性能表现，在 Reuters-21578 和 THUCNews
数据集上分别达到了 0.93 和 0.95 的精度。BERT 模型首先进行自监督预训练，再进行监督学习（微调）。预训练 + 微调方
式已成为一种流行训练方式。无标签数据占已有数据集的大部分，如何更好地利用无标签数据是各个领域亟待深入发掘和
探索的问题。

关键词

预训练语言模型；BERT 模型；文本分类；深度学习

参考

[1] 胡少云 , 翁清雄 . 基于词向量融合的建筑文本分类方

法研究 [J]. 微型电脑应用 ,2024,40(02):18-20+25.

[2] 慎金花 , 陈红艺 , 张更平等 . 基于层次分类器的专利

文本分类模型研究 [J]. 情报杂志 ,2023,42(08):157-163+68.

[3] 谢莉萍 . 基于卷积神经网络的中文文本分类研究 [J].

信息与电脑 ( 理论版 ),2023,35(20):94-96.

[4] 金罡 . 基于词嵌入分布式表示特征的卷积循环神经

网络长文本自动分类研究 [J]. 电子技术 ,2022,51(06):52-54.

[5] 王道康 , 张吴波 . 基于 MacBERT-BiLSTM 和注意力

机制的短文本分类研究 [J]. 现代电子技术 ,2023,46(21):123-

128.