位置: IT常识 - 正文

mlp原来是这么回事(mlp是啥啊)

编辑:rootadmin
mlp原来是这么回事

推荐整理分享mlp原来是这么回事(mlp是啥啊),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:mlp/meme,mlp是啥啊,mlp是什么的缩写,mlp是啥啊,mlp是什么意思骂人,mlp网络用语是什么意思,mlp网络用语是什么意思,mlp是啥啊,内容如对您有帮助,希望把文章链接给更多的朋友!

开篇先告诉自己一件事,nerf用的是最快的relu激活,因为relu没有梯度消失现象,所以快,

至于这种现象的解释请看下图(还有elu和prelu这两个梯度保留的更好,nerf跑一跑?嘻嘻!):

ok,开始谈谈mlp,mlp实际上就是一个拥有多层神经网络的所谓多层感知机,感知机都是用来分类的

 由上图可知mlp最大的作用就是可以实现非线性的分类,而为什么可进行非线性分类,就是因为这个隐藏层进行了空间的转换,也就是我前一篇博客说的为了实现非线性必须要的操作。

mlp缺点也挺多的,速度慢算一个,难怪nerf跑得这么慢 ,给一个转载自其他人博客的mlp代码在这:

from __future__ import print_function, division import numpy as np import math from sklearn import datasets   from mlfromscratch.utils import train_test_split, to_categorical, normalize, accuracy_score, Plot from mlfromscratch.deep_learning.activation_functions import Sigmoid, Softmax from mlfromscratch.deep_learning.loss_functions import CrossEntropy   class MultilayerPerceptron():     """Multilayer Perceptron classifier. A fully-connected neural network with one hidden layer.     Unrolled to display the whole forward and backward pass.     Parameters:     -----------     n_hidden: int:         The number of processing nodes (neurons) in the hidden layer.      n_iterations: float         The number of training iterations the algorithm will tune the weights for.     learning_rate: float         The step length that will be used when updating the weights.     """     def __init__(self, n_hidden, n_iterations=3000, learning_rate=0.01):         self.n_hidden = n_hidden         self.n_iterations = n_iterations         self.learning_rate = learning_rate         self.hidden_activation = Sigmoid()         self.output_activation = Softmax()         self.loss = CrossEntropy()       def _initialize_weights(self, X, y):         n_samples, n_features = X.shape         _, n_outputs = y.shape         # Hidden layer         limit   = 1 / math.sqrt(n_features)         self.W  = np.random.uniform(-limit, limit, (n_features, self.n_hidden))         self.w0 = np.zeros((1, self.n_hidden))         # Output layer         limit   = 1 / math.sqrt(self.n_hidden)         self.V  = np.random.uniform(-limit, limit, (self.n_hidden, n_outputs))         self.v0 = np.zeros((1, n_outputs))       def fit(self, X, y):           self._initialize_weights(X, y)           for i in range(self.n_iterations):               # ..............             #  Forward Pass             # ..............               # HIDDEN LAYER             hidden_input = X.dot(self.W) + self.w0             hidden_output = self.hidden_activation(hidden_input)             # OUTPUT LAYER             output_layer_input = hidden_output.dot(self.V) + self.v0             y_pred = self.output_activation(output_layer_input)               # ...............             #  Backward Pass             # ...............               # OUTPUT LAYER             # Grad. w.r.t input of output layer             grad_wrt_out_l_input = self.loss.gradient(y, y_pred) * self.output_activation.gradient(output_layer_input)             grad_v = hidden_output.T.dot(grad_wrt_out_l_input)             grad_v0 = np.sum(grad_wrt_out_l_input, axis=0, keepdims=True)             # HIDDEN LAYER             # Grad. w.r.t input of hidden layer             grad_wrt_hidden_l_input = grad_wrt_out_l_input.dot(self.V.T) * self.hidden_activation.gradient(hidden_input)             grad_w = X.T.dot(grad_wrt_hidden_l_input)             grad_w0 = np.sum(grad_wrt_hidden_l_input, axis=0, keepdims=True)               # Update weights (by gradient descent)             # Move against the gradient to minimize loss             self.V  -= self.learning_rate * grad_v             self.v0 -= self.learning_rate * grad_v0             self.W  -= self.learning_rate * grad_w             self.w0 -= self.learning_rate * grad_w0       # Use the trained model to predict labels of X     def predict(self, X):         # Forward pass:         hidden_input = X.dot(self.W) + self.w0         hidden_output = self.hidden_activation(hidden_input)         output_layer_input = hidden_output.dot(self.V) + self.v0         y_pred = self.output_activation(output_layer_input)         return y_pred     def main():     data = datasets.load_digits()     X = normalize(data.data)     y = data.target       # Convert the nominal y values to binary     y = to_categorical(y)       X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.4, seed=1)       # MLP     clf = MultilayerPerceptron(n_hidden=16,         n_iterations=1000,         learning_rate=0.01)       clf.fit(X_train, y_train)     y_pred = np.argmax(clf.predict(X_test), axis=1)     y_test = np.argmax(y_test, axis=1)       accuracy = accuracy_score(y_test, y_pred)     print ("Accuracy:", accuracy)       # Reduce dimension to two using PCA and plot the results     Plot().plot_in_2d(X_test, y_pred, title="Multilayer Perceptron", accuracy=accuracy, legend_labels=np.unique(y))   if __name__ == "__main__":     main()

mlp原来是这么回事(mlp是啥啊)

这里的隐藏层是全连接层,因为这个隐藏层要换x的空间肯定是要作用于全部的x上,在卷积网络上也有全连接层但那个和这个的意思不太一样(全连接只是表示这一层于上一层所有神经元都连接了,根据各个神经元的参数不同,全连接层的作用自然也是不同的),卷积里的是用来分类,

 这里全连接层的神经元是激活函数(可能有点语义表达错误和sigmoid那些应该不一样,刚看了一下是一样的,因为前一层神经元要先经过全连接层处理,然后经过激活函数处理,使用就是由激活函数判断它是否激活某个条件,我看Alex net用的是relu激活(这个函数在同样数据下激活态会多一点,我觉得可能是因为非饱和,值的范围比较大导致的,不过relu在梯度下降方面表现的似乎不错,先不管这个了))。

你如果前一层的神经元和权重的组合达到了一定的条件,那么这一层的某些神经元就会被激活(达到激活函数的条件了),最后的输出层只要把这些激活的东西拼在一起看是什么就行(当然这个拼起来的结果在数学上的表示是一个抽象值,这点我在之前的博客说过,得到了这个值就可以把它和我训练出来的猫的决策分界的值进行对比,就可以知道是不是猫了)。

有人跟我说全连接的输出维度如果小于输入维度(他称这个为隐层,我觉得和隐藏层的概念不同)是为了更好的拟合,我觉得有道理,减小了输入那原来的特征就只能被迫组合,这样也就必须出来一个组合后的产物(有点像数学上的拟合过程),叫拟合是正常的。放一个转载的连接层代码,方便理解:

import torch.nn as nn import torch.nn.functional as F

class Net(nn.Module):     def __init__(self):         #nn.Module子类的函数必须在构建函数中执行父类的构造函数         #下式等价于nn.Module.__init__(self)         super(Net, self).__init__()         #卷积层“1”表示输入图片为单通道,“6”表示输出通道数,‘5’表示卷积核为5*5         self.conv1 = nn.Conv2d(1, 6, 5)         #卷积层         self.conv2 = nn.Conv2d(6, 16, 5)         #全连接层,y=Wx+b         self.fc1 = nn.Linear(16*5*5, 120)         #参考第三节,这里第一层的核大小是前一层卷积层的输出和核大小16*5*5,一共120层         self.fc2 = nn.Linear(120, 84)         #接下来每一层的核大小为1*1         self.fc3 = nn.Linear(84, 10)

    def forward(self, x):         #卷积--激活--池化         x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))         x = F.max_pool2d(F.relu(self.conv2(x)), 2)         #reshape ,'-1'表示自适应         x = x.view(x.size()[0], -1)         x = F.relu(self.fc1(x))         x = F.relu(self.fc2(x))         x = self.fc3         return x

net = Net() print(net)

 我觉得这几个函数的特点我都要放一下,方便我以后清楚他们各自的作用。

本文链接地址:https://www.jiuchutong.com/zhishi/298765.html 转载请保留说明!

上一篇:分享2款CSS3母亲节主题寄语文字动画特效

下一篇:【疯狂世界杯】css 动画实现跳动的足球(疯狂世界百科)

  • 增值税申报可以作废几次
  • 半年奖个人所得税怎么算的
  • 纳税申报的具体要求
  • 转出未交增值税借方
  • 小规模纳税人是个体户吗
  • 税收的基本特点有
  • 补交以前年度印花税记到哪个会计科目
  • 贸易类公司所得税核定征收税率是多少?
  • 未开票收入增值税如何计提
  • 发票勾选平台已经勾选统计确认,报税平台看不见
  • 小规模纳税人没有收入怎么报税
  • 企业所得税退税怎么做账务处理
  • 金蝶软件如何成批反审核
  • 电梯什么情况下可以换个新的
  • 分公司不独立核算需要开银行账户吗
  • 集体公司改制
  • 其他应付款不需要支付是债务重组么
  • 资产负债一并转让增值税
  • 收到减免退税费是政府补助怎么记账?
  • 小微企业行业划分标准 工信部
  • 企业缴纳社保包含哪些内容
  • 怎么取消电脑开机自动启动软件
  • win11怎么更改壁纸
  • 公司报销医疗费的范围
  • php_fileinfo作用
  • 公司房产税如何征收税率
  • 承包租赁
  • 公司土地被政府占用
  • 现金流量表的编报时间有
  • 时间序列模型ARIMA的优缺点
  • 兼职人员需要
  • 租入厂房需做环保检测吗
  • 售后租回交易形式是什么
  • 利润表本年累计金额和本期金额有什么区别
  • 申请一般人纳税需要什么东西
  • 事业单位财政拨款收入会计分录
  • ecs怎么用
  • 制造车间买来刀具怎么办
  • 将房产以股权形式出售
  • 技术服务合同的税率
  • mysql索引优化的方案
  • mysql批量处理
  • 企业缴纳印花税时需要
  • 利润的敏感性分析怎么做?
  • 存货跌价准备可以转回吗?
  • 失控发票已补交什么意思
  • 印花税如何计算缴纳
  • 贴现利息收入的账务处理
  • 暂估入库后发票整单折扣
  • 将现金存入银行编制什么凭证
  • 单位伙房费用管理制度
  • 借款合同的印花税计税依据
  • 转出未交增值税会计处理
  • 哪些可以做进项税
  • 员工福利费怎么写分录
  • 公司三证合一是指哪三证
  • java连接sqlserver数据库对象名无效
  • MySQL 5.7 mysql command line client 使用命令详解
  • mysql获取当前行数
  • 微软官微
  • linux系统密码设置
  • win7声卡怎么升级
  • mac launchctl
  • windows恶意软件删除工具怎么安装
  • win8应用商店废了
  • win8应用商店无法使用
  • Win10 Mobile RS1预览版14267.1004 修复Lumia 550充电问题
  • cocos2d怎么用
  • 激情台球游戏源码大全
  • python中字符
  • vue.js如何使用
  • mono为什么不能用了
  • 天气球球下载
  • 浅谈一下新冠的好处
  • jq 使用
  • android studio i使用
  • 北京市国家税务局发票查询平台
  • 浦东经济开发区官网
  • 增值税发票勾选操作流程
  • 教育费附加地方教育费附加税率
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设