基于大语言模型 BERT 的文本分类

智研平台会员

登录机构账号

复制成功

设置

万方会员

暂未开通会员

开通即享超值福利、会员权益
优质内容推荐

立即开通

个人中心

我的智研

退出登录

简繁

搜索

DOI: 10.12361/2661-3727-07-03-174318

基于大语言模型 BERT 的文本分类

谢　宁

北京阿里巴巴云计算技术有限公司

全文直达

引用

打印

摘要：随着科学技术的飞速发展，互联网、手机和计算机等已成为我们日常生活中不可缺少的工具，提升了文本信息的传播速度和传播效率。通过网络能够浏览各行各业的新闻资讯，大量信息的出现要求用户具有一定的筛选能力。因此，学术界和企业公司已将分类任务作为一个重点的研究方向。BERT 预训练语言模型利用 Transformer 的编码器原理进行构建，实现了上下文双向特征提取。本文基于 BERT 研究 BERT_RNN、BERT_CNN 模型在新闻分类数据集 Reuters-21578 和 THUCNews 上探究其性能表现。本文实验结果表明 BERT 仍然取得了最高的性能表现，在 Reuters-21578 和 THUCNews 数据集上分别达到了 0.93 和 0.95 的精度。BERT 模型首先进行自监督预训练，再进行监督学习（微调）。预训练 + 微调方式已成为一种流行训练方式。无标签数据占已有数据集的大部分，如何更好地利用无标签数据是各个领域亟待深入发掘和探索的问题。

关键词：

预训练语言模型；BERT 模型；文本分类；深度学习

Universe Scientific Publishing

ISSN：2661-3719

年,卷(期)：2025,7(3)