位置: IT常识 - 正文

NLP进阶,Bert+BiLSTM情感分析实战(nlp baseline)

编辑:rootadmin
NLP进阶,Bert+BiLSTM情感分析实战

推荐整理分享NLP进阶,Bert+BiLSTM情感分析实战(nlp baseline),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:nlp bvr,nlp bpe,nlp bpes,nlp bert,nlp bi,nlp进阶书籍,nlp bert,nlp bert,内容如对您有帮助,希望把文章链接给更多的朋友!

Bert+BiLSTM做情感分析

情感分析

情感分析一类的任务比如商品评价正负面分析,敏感内容分析,用户感兴趣内容分析、甚至安全领域的异常访问日志分析等等实际上都可以用文本分类的方式去做,情感分析的问题本质是个二分类或者多分类的问题。

什么是Bert?

BERT的全称为Bidirectional Encoder Representation from Transformers,是一个预训练的语言表征模型。它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练,而是采用新的masked language model(MLM),以致能生成深度的双向语言表征。

该模型有以下主要优点:

1)采用MLM对双向的Transformers进行预训练,以生成深层的双向语言表征。

2)预训练后,只需要添加一个额外的输出层进行fine-tune,就可以在各种各样的下游任务中取得state-of-the-art的表现。在这过程中并不需要对BERT进行任务特定的结构修改。

今天我们使用Bert+BiLSTM实现对菜品正负评价的情感分析预测!

数据集

数据集是我们搜集了一些菜品的正负评价,正面的评价标记为1,负面评价标记为0,将其保存为csv文件。

将数据集放在工程的根目录

下载预训练模型

下载地址:https://huggingface.co/bert-base-chinese/tree/main。

我们的数据集是中文,所以,选择中文的预训练模型,这点要注意,如果选择其他的可能会出现不收敛的情况。将下图中画红框的文件加载下来。

在工程的根目录,新建文件夹“bert_base_chinese”,将下载的模型放进去,如下图:

模型

思路:将bert做为嵌入层提取特征,然后传入BiLSTM,最后使用全连接层输出分类。创建bert_lstm模型,代码如下:

class bert_lstm(nn.Module): def __init__(self, bertpath, hidden_dim, output_size,n_layers,bidirectional=True, drop_prob=0.5): super(bert_lstm, self).__init__() self.output_size = output_size self.n_layers = n_layers self.hidden_dim = hidden_dim self.bidirectional = bidirectional #Bert ----------------重点,bert模型需要嵌入到自定义模型里面 self.bert=BertModel.from_pretrained(bertpath) for param in self.bert.parameters(): param.requires_grad = True # LSTM layers self.lstm = nn.LSTM(768, hidden_dim, n_layers, batch_first=True,bidirectional=bidirectional) # dropout layer self.dropout = nn.Dropout(drop_prob) # linear and sigmoid layers if bidirectional: self.fc = nn.Linear(hidden_dim*2, output_size) else: self.fc = nn.Linear(hidden_dim, output_size) #self.sig = nn.Sigmoid() def forward(self, x, hidden): batch_size = x.size(0) #生成bert字向量 x=self.bert(x)[0] #bert 字向量 # lstm_out #x = x.float() lstm_out, (hidden_last,cn_last) = self.lstm(x, hidden) #print(lstm_out.shape) #[32,100,768] #print(hidden_last.shape) #[4, 32, 384] #print(cn_last.shape) #[4, 32, 384] #修改 双向的需要单独处理 if self.bidirectional: #正向最后一层,最后一个时刻 hidden_last_L=hidden_last[-2] #print(hidden_last_L.shape) #[32, 384] #反向最后一层,最后一个时刻 hidden_last_R=hidden_last[-1] #print(hidden_last_R.shape) #[32, 384] #进行拼接 hidden_last_out=torch.cat([hidden_last_L,hidden_last_R],dim=-1) #print(hidden_last_out.shape,'hidden_last_out') #[32, 768] else: hidden_last_out=hidden_last[-1] #[32, 384] # dropout and fully-connected layer out = self.dropout(hidden_last_out) #print(out.shape) #[32,768] out = self.fc(out) return out def init_hidden(self, batch_size): weight = next(self.parameters()).data number = 1 if self.bidirectional: number = 2 if (USE_CUDA): hidden = (weight.new(self.n_layers*number, batch_size, self.hidden_dim).zero_().float().cuda(), weight.new(self.n_layers*number, batch_size, self.hidden_dim).zero_().float().cuda() ) else: hidden = (weight.new(self.n_layers*number, batch_size, self.hidden_dim).zero_().float(), weight.new(self.n_layers*number, batch_size, self.hidden_dim).zero_().float() ) return hidden

bert_lstm需要的参数功6个,参数说明如下:

NLP进阶,Bert+BiLSTM情感分析实战(nlp baseline)

–bertpath:bert预训练模型的路径

–hidden_dim:隐藏层的数量。

–output_size:分类的个数。

–n_layers:lstm的层数

–bidirectional:是否是双向lstm

–drop_prob:dropout的参数

定义bert的参数,如下:

class ModelConfig: batch_size = 2 output_size = 2 hidden_dim = 384 #768/2 n_layers = 2 lr = 2e-5 bidirectional = True #这里为True,为双向LSTM # training params epochs = 10 # batch_size=50 print_every = 10 clip=5 # gradient clipping use_cuda = USE_CUDA bert_path = 'bert-base-chinese' #预训练bert路径 save_path = 'bert_bilstm.pth' #模型保存路径

batch_size:batchsize的大小,根据显存设置。

output_size:输出的类别个数,本例是2.

hidden_dim:隐藏层的数量。

n_layers:lstm的层数。

bidirectional:是否双向

print_every:输出的间隔。

use_cuda:是否使用cuda,默认使用,不用cuda太慢了。

bert_path:预训练模型存放的文件夹。

save_path:模型保存的路径。

配置环境

需要下载transformers和sentencepiece,执行命令:

conda install sentencepiececonda install transformers数据集切分

数据集按照7:3,切分为训练集和测试集,然后又将测试集按照1:1切分为验证集和测试集。

代码如下:

model_config = ModelConfig() data=pd.read_csv('caipindianping.csv',encoding='utf-8') result_comments = pretreatment(list(data['comment'].values)) tokenizer = BertTokenizer.from_pretrained(model_config.bert_path) result_comments_id = tokenizer(result_comments, padding=True, truncation=True, max_length=200, return_tensors='pt') X = result_comments_id['input_ids'] y = torch.from_numpy(data['sentiment'].values).float() X_train,X_test, y_train, y_test = train_test_split( X, y, test_size=0.3, shuffle=True, stratify=y, random_state=0) X_valid,X_test,y_valid,y_test = train_test_split(X_test, y_test, test_size=0.5, shuffle=True, stratify=y_test, random_state=0)训练、验证和预测

训练详见train_model函数,验证详见test_model,单次预测详见predict函数。

代码和模型链接: https://download.csdn.net/download/hhhhhhhhhhwwwwwwwwww/36305682

本文链接地址:https://www.jiuchutong.com/zhishi/298469.html 转载请保留说明!

上一篇:机器学习中的预测评价指标MSE、RMSE、MAE、MAPE、SMAPE

下一篇:ChatGPT5是否会影响人类的发展和工作?

  • matepad11电脑模式怎么打开

    matepad11电脑模式怎么打开

  • 电脑ram怎么扩大(电脑的ram怎么扩大)

    电脑ram怎么扩大(电脑的ram怎么扩大)

  • 微信二次封号几天可解除(微信第二次封号最长封多久)

    微信二次封号几天可解除(微信第二次封号最长封多久)

  • vivos1视频通话美颜怎么设置

    vivos1视频通话美颜怎么设置

  • 华为mate30pro录音在哪找(华为mate30pro录音机删除了怎么找到)

    华为mate30pro录音在哪找(华为mate30pro录音机删除了怎么找到)

  • 音频,视频和安全摄像头中的电源接头叫什么(音频与视频)

    音频,视频和安全摄像头中的电源接头叫什么(音频与视频)

  • 红米k20pro充电速度(红米k20pro充电变慢是什么原因)

    红米k20pro充电速度(红米k20pro充电变慢是什么原因)

  • 荣耀手环5怎么关机(荣耀手环5i设置)

    荣耀手环5怎么关机(荣耀手环5i设置)

  • 无线网一会卡一会流畅(无线网一会卡一会不卡电脑正常)

    无线网一会卡一会流畅(无线网一会卡一会不卡电脑正常)

  • 蓝牙耳机只能打电话不能听歌(蓝牙耳机只能打电话不能听歌怎么弄)

    蓝牙耳机只能打电话不能听歌(蓝牙耳机只能打电话不能听歌怎么弄)

  • 钉钉截屏会被发现吗(钉钉截图会被公司监控吗)

    钉钉截屏会被发现吗(钉钉截图会被公司监控吗)

  • 抖音刷新后,如何找到上个视频(抖音刷新页面的按钮在哪)

    抖音刷新后,如何找到上个视频(抖音刷新页面的按钮在哪)

  • 遇见软件怎么玩(遇见软件是真的吗)

    遇见软件怎么玩(遇见软件是真的吗)

  • 苹果手机丢了能找回来吗(苹果手机丢了能拍照嫌疑人吗)

    苹果手机丢了能找回来吗(苹果手机丢了能拍照嫌疑人吗)

  • OPPO k5是什么充电接口(oppo k5是多少瓦的充电器)

    OPPO k5是什么充电接口(oppo k5是多少瓦的充电器)

  • mate30pro有必要贴膜吗(华为mate30pro有没有必要贴膜)

    mate30pro有必要贴膜吗(华为mate30pro有没有必要贴膜)

  • 苹果11的充电器和以往的不一样吗(苹果11的充电器14pro能用吗)

    苹果11的充电器和以往的不一样吗(苹果11的充电器14pro能用吗)

  • 滴滴快车能打往返的么(滴滴可以打单子吗)

    滴滴快车能打往返的么(滴滴可以打单子吗)

  • 微博最近访问几天消失(微博最近访问的人多久会消失)

    微博最近访问几天消失(微博最近访问的人多久会消失)

  • 电子照片怎么做(电子照片怎么做成jpg格式)

    电子照片怎么做(电子照片怎么做成jpg格式)

  • 最右动态头像怎么弄(最右动态头像怎么保存)

    最右动态头像怎么弄(最右动态头像怎么保存)

  • 华为手机为什么贵(华为手机为什么变成黑白屏了)

    华为手机为什么贵(华为手机为什么变成黑白屏了)

  • 录音大于30m如何发微信(录音大于30m如何发送)

    录音大于30m如何发微信(录音大于30m如何发送)

  • 华为nova4充电器型号(华为nova4充电器型号对应表)

    华为nova4充电器型号(华为nova4充电器型号对应表)

  • PHPCMS 如何引用图片?(php 引入)

    PHPCMS 如何引用图片?(php 引入)

  • 一般纳税人注销公司麻烦吗
  • 企业所得税如何合理避税?
  • 印花税资本金项目如何缴纳
  • 何谓运输,交通和交通运输
  • 手写报销单据格式图片
  • 小规模公司房租费发票税率
  • 增值税专用发票可以开电子发票吗
  • 开票信息中电话号码变更
  • 分公司独立核算的利弊
  • 通用原始凭证有哪些?
  • 员工集体旅游费会计分录
  • 行政单位发过节费违法吗
  • 工程物资与原材料的区别与联系
  • 事业基金弥补收支差额是什么意思
  • 企业所得税税负怎么算
  • 生产企业出口退税的计算方法
  • 企业以前年度的亏损在哪查
  • 有没有薪酬
  • 打款与发票开具的会计处理方法是怎样的
  • 资金流量表的解读
  • 小额纳税人可以开6%专票吗
  • 小规模企业转为一般纳税人怎么做会计分录
  • 增值税影不影响企业利润
  • w11系统防火墙
  • 发出商品借方余额120000元
  • 个税系统人员信息一直在验证中
  • 企业转让股票交什么税费呢
  • cpu风扇应该怎么调
  • win10网络带宽
  • openssh centos
  • 计提房屋租赁费的会计分录
  • mac系统安装出错
  • 马齿笕对什么病最有效?
  • 库存盘点怎么做账
  • vue获取当前路由地址
  • 博登湖下载
  • pytorch .t()
  • 个人独资企业如何做账
  • 真相 百科
  • python爬虫推荐
  • go语言入门指南
  • 营业额增长率公式
  • php源码破解
  • 物业公司的会计科目有哪些
  • 经销商自用车是指什么
  • 什么叫资本退出
  • 年底进项税额比年初多
  • 批发和零售业行业代码
  • 出口货物的报关时间为货物运抵海关
  • 建筑业成本核算表格
  • 合伙企业对外投资需要全体合伙人同意吗
  • 顾问费交多少税
  • 进口环节增值税额
  • 财务报表年报里面的利息费用怎么填
  • 跨年发票应该如何处理
  • 小规模税收酒店做账报税
  • 发出库存商品没有发票
  • 村料采购会计科目有哪些
  • 怎么做个体户
  • 结算账户分为哪几种?其用途结构如何?
  • mac系统怎么样
  • macOS 10.12 Beta 7更新了什么 macOS 10.12 Beta7更新内容汇总
  • rhel7.5重置密码
  • FreeBSD架? FTP
  • centos7启动卡在界面
  • linux修改分组
  • windows8的ie浏览器在哪
  • 电脑跳出windows 许可
  • gzip与zip
  • linux常用命令详解
  • 在vs中搭建opengl环境
  • Android的AsyncTask官方API谷歌翻译版
  • javascript:openattachment
  • 配置命令提示符怎么打开
  • nodejs orm框架
  • 安卓基于谷歌
  • 个体 税务登记
  • 发票上的税务号
  • 预征率是2%怎么计算
  • 工会经费怎么缴付
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设