位置: IT常识 - 正文

NLP进阶,Bert+BiLSTM情感分析实战(nlp baseline)

编辑:rootadmin
NLP进阶,Bert+BiLSTM情感分析实战

推荐整理分享NLP进阶,Bert+BiLSTM情感分析实战(nlp baseline),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:nlp bvr,nlp bpe,nlp bpes,nlp bert,nlp bi,nlp进阶书籍,nlp bert,nlp bert,内容如对您有帮助,希望把文章链接给更多的朋友!

Bert+BiLSTM做情感分析

情感分析

情感分析一类的任务比如商品评价正负面分析,敏感内容分析,用户感兴趣内容分析、甚至安全领域的异常访问日志分析等等实际上都可以用文本分类的方式去做,情感分析的问题本质是个二分类或者多分类的问题。

什么是Bert?

BERT的全称为Bidirectional Encoder Representation from Transformers,是一个预训练的语言表征模型。它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练,而是采用新的masked language model(MLM),以致能生成深度的双向语言表征。

该模型有以下主要优点:

1)采用MLM对双向的Transformers进行预训练,以生成深层的双向语言表征。

2)预训练后,只需要添加一个额外的输出层进行fine-tune,就可以在各种各样的下游任务中取得state-of-the-art的表现。在这过程中并不需要对BERT进行任务特定的结构修改。

今天我们使用Bert+BiLSTM实现对菜品正负评价的情感分析预测!

数据集

数据集是我们搜集了一些菜品的正负评价,正面的评价标记为1,负面评价标记为0,将其保存为csv文件。

将数据集放在工程的根目录

下载预训练模型

下载地址:https://huggingface.co/bert-base-chinese/tree/main。

我们的数据集是中文,所以,选择中文的预训练模型,这点要注意,如果选择其他的可能会出现不收敛的情况。将下图中画红框的文件加载下来。

在工程的根目录,新建文件夹“bert_base_chinese”,将下载的模型放进去,如下图:

模型

思路:将bert做为嵌入层提取特征,然后传入BiLSTM,最后使用全连接层输出分类。创建bert_lstm模型,代码如下:

class bert_lstm(nn.Module): def __init__(self, bertpath, hidden_dim, output_size,n_layers,bidirectional=True, drop_prob=0.5): super(bert_lstm, self).__init__() self.output_size = output_size self.n_layers = n_layers self.hidden_dim = hidden_dim self.bidirectional = bidirectional #Bert ----------------重点,bert模型需要嵌入到自定义模型里面 self.bert=BertModel.from_pretrained(bertpath) for param in self.bert.parameters(): param.requires_grad = True # LSTM layers self.lstm = nn.LSTM(768, hidden_dim, n_layers, batch_first=True,bidirectional=bidirectional) # dropout layer self.dropout = nn.Dropout(drop_prob) # linear and sigmoid layers if bidirectional: self.fc = nn.Linear(hidden_dim*2, output_size) else: self.fc = nn.Linear(hidden_dim, output_size) #self.sig = nn.Sigmoid() def forward(self, x, hidden): batch_size = x.size(0) #生成bert字向量 x=self.bert(x)[0] #bert 字向量 # lstm_out #x = x.float() lstm_out, (hidden_last,cn_last) = self.lstm(x, hidden) #print(lstm_out.shape) #[32,100,768] #print(hidden_last.shape) #[4, 32, 384] #print(cn_last.shape) #[4, 32, 384] #修改 双向的需要单独处理 if self.bidirectional: #正向最后一层,最后一个时刻 hidden_last_L=hidden_last[-2] #print(hidden_last_L.shape) #[32, 384] #反向最后一层,最后一个时刻 hidden_last_R=hidden_last[-1] #print(hidden_last_R.shape) #[32, 384] #进行拼接 hidden_last_out=torch.cat([hidden_last_L,hidden_last_R],dim=-1) #print(hidden_last_out.shape,'hidden_last_out') #[32, 768] else: hidden_last_out=hidden_last[-1] #[32, 384] # dropout and fully-connected layer out = self.dropout(hidden_last_out) #print(out.shape) #[32,768] out = self.fc(out) return out def init_hidden(self, batch_size): weight = next(self.parameters()).data number = 1 if self.bidirectional: number = 2 if (USE_CUDA): hidden = (weight.new(self.n_layers*number, batch_size, self.hidden_dim).zero_().float().cuda(), weight.new(self.n_layers*number, batch_size, self.hidden_dim).zero_().float().cuda() ) else: hidden = (weight.new(self.n_layers*number, batch_size, self.hidden_dim).zero_().float(), weight.new(self.n_layers*number, batch_size, self.hidden_dim).zero_().float() ) return hidden

bert_lstm需要的参数功6个,参数说明如下:

NLP进阶,Bert+BiLSTM情感分析实战(nlp baseline)

–bertpath:bert预训练模型的路径

–hidden_dim:隐藏层的数量。

–output_size:分类的个数。

–n_layers:lstm的层数

–bidirectional:是否是双向lstm

–drop_prob:dropout的参数

定义bert的参数,如下:

class ModelConfig: batch_size = 2 output_size = 2 hidden_dim = 384 #768/2 n_layers = 2 lr = 2e-5 bidirectional = True #这里为True,为双向LSTM # training params epochs = 10 # batch_size=50 print_every = 10 clip=5 # gradient clipping use_cuda = USE_CUDA bert_path = 'bert-base-chinese' #预训练bert路径 save_path = 'bert_bilstm.pth' #模型保存路径

batch_size:batchsize的大小,根据显存设置。

output_size:输出的类别个数,本例是2.

hidden_dim:隐藏层的数量。

n_layers:lstm的层数。

bidirectional:是否双向

print_every:输出的间隔。

use_cuda:是否使用cuda,默认使用,不用cuda太慢了。

bert_path:预训练模型存放的文件夹。

save_path:模型保存的路径。

配置环境

需要下载transformers和sentencepiece,执行命令:

conda install sentencepiececonda install transformers数据集切分

数据集按照7:3,切分为训练集和测试集,然后又将测试集按照1:1切分为验证集和测试集。

代码如下:

model_config = ModelConfig() data=pd.read_csv('caipindianping.csv',encoding='utf-8') result_comments = pretreatment(list(data['comment'].values)) tokenizer = BertTokenizer.from_pretrained(model_config.bert_path) result_comments_id = tokenizer(result_comments, padding=True, truncation=True, max_length=200, return_tensors='pt') X = result_comments_id['input_ids'] y = torch.from_numpy(data['sentiment'].values).float() X_train,X_test, y_train, y_test = train_test_split( X, y, test_size=0.3, shuffle=True, stratify=y, random_state=0) X_valid,X_test,y_valid,y_test = train_test_split(X_test, y_test, test_size=0.5, shuffle=True, stratify=y_test, random_state=0)训练、验证和预测

训练详见train_model函数,验证详见test_model,单次预测详见predict函数。

代码和模型链接: https://download.csdn.net/download/hhhhhhhhhhwwwwwwwwww/36305682

本文链接地址:https://www.jiuchutong.com/zhishi/298469.html 转载请保留说明!

上一篇:机器学习中的预测评价指标MSE、RMSE、MAE、MAPE、SMAPE

下一篇:ChatGPT5是否会影响人类的发展和工作?

  • 递延所得税计算表模板
  • 车辆购置税计入成本吗
  • 股东是否实缴出资款
  • 公司销售固定资产汽车如何填申报表
  • 统驭科目的作用
  • 地产公司土地分摊方案
  • 厂房面积测绘收费标准
  • 国税2016年第53号公告解读
  • 在纳税申报时如何填写申报表?
  • 会计学考研考哪些科目专硕
  • 办公室设计费取费标准一览表
  • 收到投资款不做资本可以做什么?
  • 小规模企业其他业务收入税率
  • 怎么辨别是非
  • 企业支付宝收款码怎么申请
  • 普通发票上个月的怎么作废
  • 小企业销售费用包括
  • 机器用润滑油怎么使用
  • 新企业几个月没交社保
  • 企业所得税什么时候交
  • 提示内存或磁盘空间不足
  • 海关进口增值税专用缴款书
  • 个人销售自己使用过的物品免征增值税
  • 单位卖二手车需交税吗
  • 苹果手机微信怎么迁移聊天记录到新手机
  • mmc.exe是什么进程
  • 票据承兑与票据贴现的区别
  • php的数组函数
  • linux 硬盘满了
  • 行政事业单位怎么考
  • vue2动态路由
  • php curl_exec
  • centos php7.4
  • 微信小程序开发一个多少钱
  • 周末闲暇时光是什么意思
  • 待摊费用在资产负债表中怎么表示
  • 你要和我一起爬山吗
  • 上个月发票税率怎么查
  • 坏账准备计提范围包括
  • 开办费计入哪个会计科目
  • 收付转凭证和记帐凭证的区别?
  • 科技型中小企业享受优惠税收政策
  • 新会计准则物业公司计提应收账款分录
  • sql怎么搜索表
  • 汇算清缴预缴
  • 生产成本要如何核算
  • 向母公司贷款利率是多少
  • 本期缴纳上期应纳税额怎么填
  • 预付的展会费如何入账
  • 员工出国境有关说法
  • 什么企业可以开培训费发票
  • 委托收款的流程
  • 浅谈基于comsol的锂离子电池仿真
  • windows桌面快捷方式怎么创建
  • ubuntu虚拟机怎么用
  • win7无法安装怎么办
  • win8桌面图片位置
  • 什么是血糖
  • 如何解决win7系统不稳定
  • windows10储存
  • jquery 插件编写
  • Android自定义对话框
  • 怎样用在js中使用css的内容
  • css 网页布局
  • eclipse如何调节字体
  • shell脚本学习指南
  • 深入学习习总书记系列讲话精神
  • jquery插件使用教程
  • 下载随手笔记
  • python内置函数format
  • linux两个版本
  • 安卓activity类
  • 契税减免优惠政策2023年最新
  • 企业购车需要交消费税吗
  • 常州国家税务局待遇
  • 四川国税局普通发票查询?
  • 税控盘托管给百旺的弊端
  • 税务系统电子发票的详细步骤
  • 深圳个体户不注销的后果
  • 伊朗开心果进口价格
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设