位置: IT常识 - 正文

mlp原来是这么回事(mlp是啥啊)

编辑:rootadmin
mlp原来是这么回事

推荐整理分享mlp原来是这么回事(mlp是啥啊),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:mlp/meme,mlp是啥啊,mlp是什么的缩写,mlp是啥啊,mlp是什么意思骂人,mlp网络用语是什么意思,mlp网络用语是什么意思,mlp是啥啊,内容如对您有帮助,希望把文章链接给更多的朋友!

开篇先告诉自己一件事,nerf用的是最快的relu激活,因为relu没有梯度消失现象,所以快,

至于这种现象的解释请看下图(还有elu和prelu这两个梯度保留的更好,nerf跑一跑?嘻嘻!):

ok,开始谈谈mlp,mlp实际上就是一个拥有多层神经网络的所谓多层感知机,感知机都是用来分类的

 由上图可知mlp最大的作用就是可以实现非线性的分类,而为什么可进行非线性分类,就是因为这个隐藏层进行了空间的转换,也就是我前一篇博客说的为了实现非线性必须要的操作。

mlp缺点也挺多的,速度慢算一个,难怪nerf跑得这么慢 ,给一个转载自其他人博客的mlp代码在这:

from __future__ import print_function, division import numpy as np import math from sklearn import datasets   from mlfromscratch.utils import train_test_split, to_categorical, normalize, accuracy_score, Plot from mlfromscratch.deep_learning.activation_functions import Sigmoid, Softmax from mlfromscratch.deep_learning.loss_functions import CrossEntropy   class MultilayerPerceptron():     """Multilayer Perceptron classifier. A fully-connected neural network with one hidden layer.     Unrolled to display the whole forward and backward pass.     Parameters:     -----------     n_hidden: int:         The number of processing nodes (neurons) in the hidden layer.      n_iterations: float         The number of training iterations the algorithm will tune the weights for.     learning_rate: float         The step length that will be used when updating the weights.     """     def __init__(self, n_hidden, n_iterations=3000, learning_rate=0.01):         self.n_hidden = n_hidden         self.n_iterations = n_iterations         self.learning_rate = learning_rate         self.hidden_activation = Sigmoid()         self.output_activation = Softmax()         self.loss = CrossEntropy()       def _initialize_weights(self, X, y):         n_samples, n_features = X.shape         _, n_outputs = y.shape         # Hidden layer         limit   = 1 / math.sqrt(n_features)         self.W  = np.random.uniform(-limit, limit, (n_features, self.n_hidden))         self.w0 = np.zeros((1, self.n_hidden))         # Output layer         limit   = 1 / math.sqrt(self.n_hidden)         self.V  = np.random.uniform(-limit, limit, (self.n_hidden, n_outputs))         self.v0 = np.zeros((1, n_outputs))       def fit(self, X, y):           self._initialize_weights(X, y)           for i in range(self.n_iterations):               # ..............             #  Forward Pass             # ..............               # HIDDEN LAYER             hidden_input = X.dot(self.W) + self.w0             hidden_output = self.hidden_activation(hidden_input)             # OUTPUT LAYER             output_layer_input = hidden_output.dot(self.V) + self.v0             y_pred = self.output_activation(output_layer_input)               # ...............             #  Backward Pass             # ...............               # OUTPUT LAYER             # Grad. w.r.t input of output layer             grad_wrt_out_l_input = self.loss.gradient(y, y_pred) * self.output_activation.gradient(output_layer_input)             grad_v = hidden_output.T.dot(grad_wrt_out_l_input)             grad_v0 = np.sum(grad_wrt_out_l_input, axis=0, keepdims=True)             # HIDDEN LAYER             # Grad. w.r.t input of hidden layer             grad_wrt_hidden_l_input = grad_wrt_out_l_input.dot(self.V.T) * self.hidden_activation.gradient(hidden_input)             grad_w = X.T.dot(grad_wrt_hidden_l_input)             grad_w0 = np.sum(grad_wrt_hidden_l_input, axis=0, keepdims=True)               # Update weights (by gradient descent)             # Move against the gradient to minimize loss             self.V  -= self.learning_rate * grad_v             self.v0 -= self.learning_rate * grad_v0             self.W  -= self.learning_rate * grad_w             self.w0 -= self.learning_rate * grad_w0       # Use the trained model to predict labels of X     def predict(self, X):         # Forward pass:         hidden_input = X.dot(self.W) + self.w0         hidden_output = self.hidden_activation(hidden_input)         output_layer_input = hidden_output.dot(self.V) + self.v0         y_pred = self.output_activation(output_layer_input)         return y_pred     def main():     data = datasets.load_digits()     X = normalize(data.data)     y = data.target       # Convert the nominal y values to binary     y = to_categorical(y)       X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.4, seed=1)       # MLP     clf = MultilayerPerceptron(n_hidden=16,         n_iterations=1000,         learning_rate=0.01)       clf.fit(X_train, y_train)     y_pred = np.argmax(clf.predict(X_test), axis=1)     y_test = np.argmax(y_test, axis=1)       accuracy = accuracy_score(y_test, y_pred)     print ("Accuracy:", accuracy)       # Reduce dimension to two using PCA and plot the results     Plot().plot_in_2d(X_test, y_pred, title="Multilayer Perceptron", accuracy=accuracy, legend_labels=np.unique(y))   if __name__ == "__main__":     main()

mlp原来是这么回事(mlp是啥啊)

这里的隐藏层是全连接层,因为这个隐藏层要换x的空间肯定是要作用于全部的x上,在卷积网络上也有全连接层但那个和这个的意思不太一样(全连接只是表示这一层于上一层所有神经元都连接了,根据各个神经元的参数不同,全连接层的作用自然也是不同的),卷积里的是用来分类,

 这里全连接层的神经元是激活函数(可能有点语义表达错误和sigmoid那些应该不一样,刚看了一下是一样的,因为前一层神经元要先经过全连接层处理,然后经过激活函数处理,使用就是由激活函数判断它是否激活某个条件,我看Alex net用的是relu激活(这个函数在同样数据下激活态会多一点,我觉得可能是因为非饱和,值的范围比较大导致的,不过relu在梯度下降方面表现的似乎不错,先不管这个了))。

你如果前一层的神经元和权重的组合达到了一定的条件,那么这一层的某些神经元就会被激活(达到激活函数的条件了),最后的输出层只要把这些激活的东西拼在一起看是什么就行(当然这个拼起来的结果在数学上的表示是一个抽象值,这点我在之前的博客说过,得到了这个值就可以把它和我训练出来的猫的决策分界的值进行对比,就可以知道是不是猫了)。

有人跟我说全连接的输出维度如果小于输入维度(他称这个为隐层,我觉得和隐藏层的概念不同)是为了更好的拟合,我觉得有道理,减小了输入那原来的特征就只能被迫组合,这样也就必须出来一个组合后的产物(有点像数学上的拟合过程),叫拟合是正常的。放一个转载的连接层代码,方便理解:

import torch.nn as nn import torch.nn.functional as F

class Net(nn.Module):     def __init__(self):         #nn.Module子类的函数必须在构建函数中执行父类的构造函数         #下式等价于nn.Module.__init__(self)         super(Net, self).__init__()         #卷积层“1”表示输入图片为单通道,“6”表示输出通道数,‘5’表示卷积核为5*5         self.conv1 = nn.Conv2d(1, 6, 5)         #卷积层         self.conv2 = nn.Conv2d(6, 16, 5)         #全连接层,y=Wx+b         self.fc1 = nn.Linear(16*5*5, 120)         #参考第三节,这里第一层的核大小是前一层卷积层的输出和核大小16*5*5,一共120层         self.fc2 = nn.Linear(120, 84)         #接下来每一层的核大小为1*1         self.fc3 = nn.Linear(84, 10)

    def forward(self, x):         #卷积--激活--池化         x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))         x = F.max_pool2d(F.relu(self.conv2(x)), 2)         #reshape ,'-1'表示自适应         x = x.view(x.size()[0], -1)         x = F.relu(self.fc1(x))         x = F.relu(self.fc2(x))         x = self.fc3         return x

net = Net() print(net)

 我觉得这几个函数的特点我都要放一下,方便我以后清楚他们各自的作用。

本文链接地址:https://www.jiuchutong.com/zhishi/298765.html 转载请保留说明!

上一篇:分享2款CSS3母亲节主题寄语文字动画特效

下一篇:【疯狂世界杯】css 动画实现跳动的足球(疯狂世界百科)

  • 一个企业帐号下有多个域名,是否需要各自提交实名审核?

    一个企业帐号下有多个域名,是否需要各自提交实名审核?

  • 小爱音箱怎么使用蓝牙连接(小爱音箱怎么使用qq音乐)

    小爱音箱怎么使用蓝牙连接(小爱音箱怎么使用qq音乐)

  • 为什么qq空间没有查看权限(为什么qq空间没人点赞)

    为什么qq空间没有查看权限(为什么qq空间没人点赞)

  • 华为解除管控后打不开(华为解除管控后打不开软件)

    华为解除管控后打不开(华为解除管控后打不开软件)

  • rog主板关机后灯还亮(rog主板关机后关闭rgb灯)

    rog主板关机后灯还亮(rog主板关机后关闭rgb灯)

  • 为什么快手突然不支持花呗了(为什么快手突然要激活账号)

    为什么快手突然不支持花呗了(为什么快手突然要激活账号)

  • 微信剪切快捷键ctrl加什么(微信剪切快捷键用不了了)

    微信剪切快捷键ctrl加什么(微信剪切快捷键用不了了)

  • 苹果耳机洗了还能用吗(苹果耳机机洗了)

    苹果耳机洗了还能用吗(苹果耳机机洗了)

  • 卡贴机呼叫失败能上网(卡贴机呼叫失败但是能接电话怎么回事)

    卡贴机呼叫失败能上网(卡贴机呼叫失败但是能接电话怎么回事)

  • 三星s9和s9+的区别(三星s9和三星s9+的区别)

    三星s9和s9+的区别(三星s9和三星s9+的区别)

  • 5g手机用4g卡网速会更快吗(5G手机用4g卡网速快吗)

    5g手机用4g卡网速会更快吗(5G手机用4g卡网速快吗)

  • 苹果x多高(苹果手机x多高)

    苹果x多高(苹果手机x多高)

  • soul如何知道对方在线(soul如何知道对方是男是女)

    soul如何知道对方在线(soul如何知道对方是男是女)

  • 华为怎么调出三个按键(华为在哪里调出三键)

    华为怎么调出三个按键(华为在哪里调出三键)

  • 文字后面加空白下划线(文字后面加空白页怎么弄)

    文字后面加空白下划线(文字后面加空白页怎么弄)

  • 微信聊天记录别人能查到吗(微信聊天记录别人可以调取吗)

    微信聊天记录别人能查到吗(微信聊天记录别人可以调取吗)

  • internet通信协议是什么(internet通信协议统称)

    internet通信协议是什么(internet通信协议统称)

  • 微信注销一定要60天吗(微信注销一定要60天,手机号可以立马重新注册吗)

    微信注销一定要60天吗(微信注销一定要60天,手机号可以立马重新注册吗)

  • 华为手机振动强度调节(华为手机振动强弱设置)

    华为手机振动强度调节(华为手机振动强弱设置)

  • airpods的触点在哪(airpods 触点)

    airpods的触点在哪(airpods 触点)

  • oppo手机呼吸灯在哪(oppo手机呼吸灯颜色在哪里调节)

    oppo手机呼吸灯在哪(oppo手机呼吸灯颜色在哪里调节)

  • 华为m5上市时间(华为m5首发价格)

    华为m5上市时间(华为m5首发价格)

  • y7s什么时候上市的(vivo y7s是什么时候上市的)

    y7s什么时候上市的(vivo y7s是什么时候上市的)

  • ios13和13.1有什么区别(ios13.3.1和13.6对比)

    ios13和13.1有什么区别(ios13.3.1和13.6对比)

  • 手机可以用谷歌地图嘛(手机可以用谷歌地球吗)

    手机可以用谷歌地图嘛(手机可以用谷歌地球吗)

  • 最新Win1021H1鼠标右键最好用操作项目设置教程(win10鼠标速度默认是多少)

    最新Win1021H1鼠标右键最好用操作项目设置教程(win10鼠标速度默认是多少)

  • 金税四期税务机关一局式
  • 合伙企业所得税怎么征收
  • 一般税收协定是多少
  • 营利性幼儿园怎样登记
  • 高速公路费如何冲抵
  • 人力资源的差额征收怎么报企业所得税
  • 餐饮增值税发票抵扣
  • 房地产企业借款费用
  • 未投入使用房屋怎么处理
  • 转账支票背书转让样本
  • 购买折让
  • 调整增值税误差的原因
  • 租赁算投资吗
  • 付佣金给客户怎么做分录?
  • 房地产企业所得税预缴
  • 工程维修费用怎么入账
  • 远期转账支票怎么取钱
  • 建筑业营改增实施指南
  • 增值税品目有哪些
  • 退税发票勾选后增值税附表二
  • 公司开业期间的费用入管理费用其他行吗
  • 电子钥匙到期怎么办
  • 总公司与分公司的税务关系怎么交税
  • word表格跨页设置
  • rancher2教程
  • 工资薪金所得包括差旅费津贴吗
  • 以前年度损益调整借贷方向
  • 苹果macbook 系统
  • 冷车启动缺缸热车正常已解决
  • 如何使用php
  • 可作为税前扣除的项目有
  • php常用的设计模式在开发中的实例
  • 增值税征税范围中的货物包括
  • 收购农产品进项税抵扣税率是多少
  • 灯光璀璨的夜晚
  • 经营租出的设备要计提折旧吗
  • 将城镇生活垃圾直接用作肥料
  • php读取excel内容
  • HTML常用标记
  • 开源项目排行榜
  • webgl1.0
  • taskset命令详解
  • 间接费用计算
  • 管理费用税金怎么算
  • 房租费用计入什么现金流量
  • wordpress修改数据库
  • 长期股权投资印花税计入什么科目
  • sql server数据库恢复
  • 什么是委托检验报告
  • 小微企业增资
  • 疫情防控重点保障物资免征增值税
  • 企业内部股权转让协议书
  • 劳务费能否作为农民工工资优先支付
  • 应付暂估会计处理
  • 收到增值税专用发票是进项还是销项
  • 车辆购置税是怎么计算的
  • 独立核算 单独核算
  • 房子贷款之后尾款发票
  • 集资建房有维修基金吗
  • 所得税费用怎么计提
  • sql获取guid
  • samba开启
  • win7系统设置开机启动项
  • linux修改ulimit立即生效
  • gzip压缩慢
  • 电脑怎么调win7系统
  • windows7自带杀毒软件在哪里
  • linux创建个人主页
  • win8笔记本电脑投屏方法
  • win7旗舰版磁盘清理
  • cocos2djs
  • eventlistener js
  • linux使用adb
  • suse linux 网络配置
  • js实现兼容性较好的方法
  • 基于javascript的毕业设计
  • jquery悬浮弹出提示框
  • 国家税务总局令16号公告
  • 亳州国税局电话号码
  • 退回的汽车保险入什么科目
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设