随着科学技术的飞速发展，互联网、手机和计算机等已成为我们日常生活中不可缺少的工具，提升了文本信息的 传播速度和传播效率。通过网络能够浏览各行各业的新闻资讯，大量信息的出现要求用户具有一定的筛选能力。因此，学 术界和企业公司已将分类任务作为一个重点的研究方向。BERT 预训练语言模型利用 Transformer 的编码器原理进行构建， 实现了上下文双向特征提取。本文基于 BERT 研究 BERT_RNN、BERT_CNN 模型在新闻分类数据集 Reuters-21578 和 THUCNews 上探究其性能表现。本文实验结果表明 BERT 仍然取得了最高的性能表现，在 Reuters-21578 和 THUCNews 数据集上分别达到了 0.93 和 0.95 的精度。BERT 模型首先进行自监督预训练，再进行监督学习（微调）。预训练 + 微调方 式已成为一种流行训练方式。无标签数据占已有数据集的大部分，如何更好地利用无标签数据是各个领域亟待深入发掘和 探索的问题。