位置: IT常识 - 正文

mlp原来是这么回事(mlp是啥啊)

编辑:rootadmin
mlp原来是这么回事

推荐整理分享mlp原来是这么回事(mlp是啥啊),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:mlp/meme,mlp是啥啊,mlp是什么的缩写,mlp是啥啊,mlp是什么意思骂人,mlp网络用语是什么意思,mlp网络用语是什么意思,mlp是啥啊,内容如对您有帮助,希望把文章链接给更多的朋友!

开篇先告诉自己一件事,nerf用的是最快的relu激活,因为relu没有梯度消失现象,所以快,

至于这种现象的解释请看下图(还有elu和prelu这两个梯度保留的更好,nerf跑一跑?嘻嘻!):

ok,开始谈谈mlp,mlp实际上就是一个拥有多层神经网络的所谓多层感知机,感知机都是用来分类的

 由上图可知mlp最大的作用就是可以实现非线性的分类,而为什么可进行非线性分类,就是因为这个隐藏层进行了空间的转换,也就是我前一篇博客说的为了实现非线性必须要的操作。

mlp缺点也挺多的,速度慢算一个,难怪nerf跑得这么慢 ,给一个转载自其他人博客的mlp代码在这:

from __future__ import print_function, division import numpy as np import math from sklearn import datasets   from mlfromscratch.utils import train_test_split, to_categorical, normalize, accuracy_score, Plot from mlfromscratch.deep_learning.activation_functions import Sigmoid, Softmax from mlfromscratch.deep_learning.loss_functions import CrossEntropy   class MultilayerPerceptron():     """Multilayer Perceptron classifier. A fully-connected neural network with one hidden layer.     Unrolled to display the whole forward and backward pass.     Parameters:     -----------     n_hidden: int:         The number of processing nodes (neurons) in the hidden layer.      n_iterations: float         The number of training iterations the algorithm will tune the weights for.     learning_rate: float         The step length that will be used when updating the weights.     """     def __init__(self, n_hidden, n_iterations=3000, learning_rate=0.01):         self.n_hidden = n_hidden         self.n_iterations = n_iterations         self.learning_rate = learning_rate         self.hidden_activation = Sigmoid()         self.output_activation = Softmax()         self.loss = CrossEntropy()       def _initialize_weights(self, X, y):         n_samples, n_features = X.shape         _, n_outputs = y.shape         # Hidden layer         limit   = 1 / math.sqrt(n_features)         self.W  = np.random.uniform(-limit, limit, (n_features, self.n_hidden))         self.w0 = np.zeros((1, self.n_hidden))         # Output layer         limit   = 1 / math.sqrt(self.n_hidden)         self.V  = np.random.uniform(-limit, limit, (self.n_hidden, n_outputs))         self.v0 = np.zeros((1, n_outputs))       def fit(self, X, y):           self._initialize_weights(X, y)           for i in range(self.n_iterations):               # ..............             #  Forward Pass             # ..............               # HIDDEN LAYER             hidden_input = X.dot(self.W) + self.w0             hidden_output = self.hidden_activation(hidden_input)             # OUTPUT LAYER             output_layer_input = hidden_output.dot(self.V) + self.v0             y_pred = self.output_activation(output_layer_input)               # ...............             #  Backward Pass             # ...............               # OUTPUT LAYER             # Grad. w.r.t input of output layer             grad_wrt_out_l_input = self.loss.gradient(y, y_pred) * self.output_activation.gradient(output_layer_input)             grad_v = hidden_output.T.dot(grad_wrt_out_l_input)             grad_v0 = np.sum(grad_wrt_out_l_input, axis=0, keepdims=True)             # HIDDEN LAYER             # Grad. w.r.t input of hidden layer             grad_wrt_hidden_l_input = grad_wrt_out_l_input.dot(self.V.T) * self.hidden_activation.gradient(hidden_input)             grad_w = X.T.dot(grad_wrt_hidden_l_input)             grad_w0 = np.sum(grad_wrt_hidden_l_input, axis=0, keepdims=True)               # Update weights (by gradient descent)             # Move against the gradient to minimize loss             self.V  -= self.learning_rate * grad_v             self.v0 -= self.learning_rate * grad_v0             self.W  -= self.learning_rate * grad_w             self.w0 -= self.learning_rate * grad_w0       # Use the trained model to predict labels of X     def predict(self, X):         # Forward pass:         hidden_input = X.dot(self.W) + self.w0         hidden_output = self.hidden_activation(hidden_input)         output_layer_input = hidden_output.dot(self.V) + self.v0         y_pred = self.output_activation(output_layer_input)         return y_pred     def main():     data = datasets.load_digits()     X = normalize(data.data)     y = data.target       # Convert the nominal y values to binary     y = to_categorical(y)       X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.4, seed=1)       # MLP     clf = MultilayerPerceptron(n_hidden=16,         n_iterations=1000,         learning_rate=0.01)       clf.fit(X_train, y_train)     y_pred = np.argmax(clf.predict(X_test), axis=1)     y_test = np.argmax(y_test, axis=1)       accuracy = accuracy_score(y_test, y_pred)     print ("Accuracy:", accuracy)       # Reduce dimension to two using PCA and plot the results     Plot().plot_in_2d(X_test, y_pred, title="Multilayer Perceptron", accuracy=accuracy, legend_labels=np.unique(y))   if __name__ == "__main__":     main()

mlp原来是这么回事(mlp是啥啊)

这里的隐藏层是全连接层,因为这个隐藏层要换x的空间肯定是要作用于全部的x上,在卷积网络上也有全连接层但那个和这个的意思不太一样(全连接只是表示这一层于上一层所有神经元都连接了,根据各个神经元的参数不同,全连接层的作用自然也是不同的),卷积里的是用来分类,

 这里全连接层的神经元是激活函数(可能有点语义表达错误和sigmoid那些应该不一样,刚看了一下是一样的,因为前一层神经元要先经过全连接层处理,然后经过激活函数处理,使用就是由激活函数判断它是否激活某个条件,我看Alex net用的是relu激活(这个函数在同样数据下激活态会多一点,我觉得可能是因为非饱和,值的范围比较大导致的,不过relu在梯度下降方面表现的似乎不错,先不管这个了))。

你如果前一层的神经元和权重的组合达到了一定的条件,那么这一层的某些神经元就会被激活(达到激活函数的条件了),最后的输出层只要把这些激活的东西拼在一起看是什么就行(当然这个拼起来的结果在数学上的表示是一个抽象值,这点我在之前的博客说过,得到了这个值就可以把它和我训练出来的猫的决策分界的值进行对比,就可以知道是不是猫了)。

有人跟我说全连接的输出维度如果小于输入维度(他称这个为隐层,我觉得和隐藏层的概念不同)是为了更好的拟合,我觉得有道理,减小了输入那原来的特征就只能被迫组合,这样也就必须出来一个组合后的产物(有点像数学上的拟合过程),叫拟合是正常的。放一个转载的连接层代码,方便理解:

import torch.nn as nn import torch.nn.functional as F

class Net(nn.Module):     def __init__(self):         #nn.Module子类的函数必须在构建函数中执行父类的构造函数         #下式等价于nn.Module.__init__(self)         super(Net, self).__init__()         #卷积层“1”表示输入图片为单通道,“6”表示输出通道数,‘5’表示卷积核为5*5         self.conv1 = nn.Conv2d(1, 6, 5)         #卷积层         self.conv2 = nn.Conv2d(6, 16, 5)         #全连接层,y=Wx+b         self.fc1 = nn.Linear(16*5*5, 120)         #参考第三节,这里第一层的核大小是前一层卷积层的输出和核大小16*5*5,一共120层         self.fc2 = nn.Linear(120, 84)         #接下来每一层的核大小为1*1         self.fc3 = nn.Linear(84, 10)

    def forward(self, x):         #卷积--激活--池化         x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))         x = F.max_pool2d(F.relu(self.conv2(x)), 2)         #reshape ,'-1'表示自适应         x = x.view(x.size()[0], -1)         x = F.relu(self.fc1(x))         x = F.relu(self.fc2(x))         x = self.fc3         return x

net = Net() print(net)

 我觉得这几个函数的特点我都要放一下,方便我以后清楚他们各自的作用。

本文链接地址:https://www.jiuchutong.com/zhishi/298765.html 转载请保留说明!

上一篇:分享2款CSS3母亲节主题寄语文字动画特效

下一篇:【疯狂世界杯】css 动画实现跳动的足球(疯狂世界百科)

  • framework有必要安装吗(framework3.5要安装吗)

    framework有必要安装吗(framework3.5要安装吗)

  • qq别人加我怎么收不到好友申请(qq别人加我怎么看)

    qq别人加我怎么收不到好友申请(qq别人加我怎么看)

  • 抖音头像变成红色音符(抖音头像变成红色音符怎么解封)

    抖音头像变成红色音符(抖音头像变成红色音符怎么解封)

  • 小米手机无线网络连接上但上不了网怎么办(小米手机无线网络连接不上怎么办)

    小米手机无线网络连接上但上不了网怎么办(小米手机无线网络连接不上怎么办)

  • 华为p30数据线接口是什么型号(华为p30数据线接口图片)

    华为p30数据线接口是什么型号(华为p30数据线接口图片)

  • 移动显示2g网怎么办(移动显示2g不能上网)

    移动显示2g网怎么办(移动显示2g不能上网)

  • 打印机没有wifi功能怎么连接手机打印(打印机没有wifi和蓝牙怎么连接手机)

    打印机没有wifi功能怎么连接手机打印(打印机没有wifi和蓝牙怎么连接手机)

  • 电脑开机显示ctrl+alt+delete启动不了(电脑开机显示蓝屏英文怎么处理)

    电脑开机显示ctrl+alt+delete启动不了(电脑开机显示蓝屏英文怎么处理)

  • 淘宝商家号怎么变成买家号(淘宝商家号怎么改成买家号)

    淘宝商家号怎么变成买家号(淘宝商家号怎么改成买家号)

  • 手机充电异常是怎么回事(手机充电异常是哪里的问题)

    手机充电异常是怎么回事(手机充电异常是哪里的问题)

  • 淘宝收货名字可以不用真名吗(淘宝的收货名字)

    淘宝收货名字可以不用真名吗(淘宝的收货名字)

  • 酷睿8代和10代区别(酷睿十代和酷睿八代的区别)

    酷睿8代和10代区别(酷睿十代和酷睿八代的区别)

  • 华为p30pro的卡槽在哪里(华为p30pro的卡槽在哪里怎么打开)

    华为p30pro的卡槽在哪里(华为p30pro的卡槽在哪里怎么打开)

  • 打印征信需要什么(打印征信报告需要携带什么资料)

    打印征信需要什么(打印征信报告需要携带什么资料)

  • iphone怎么解压rar(iPhone怎么解压缩)

    iphone怎么解压rar(iPhone怎么解压缩)

  • 苹果手机显示未连接互联网是怎么回事(苹果手机显示未激活是怎么回事)

    苹果手机显示未连接互联网是怎么回事(苹果手机显示未激活是怎么回事)

  • 小米手环4可以看小说吗(小米手环4可以刷门禁卡吗)

    小米手环4可以看小说吗(小米手环4可以刷门禁卡吗)

  • 互联网sp和ssp什么意思(互联网 sp ssp)

    互联网sp和ssp什么意思(互联网 sp ssp)

  • 网格线怎么画(马路网格线怎么画)

    网格线怎么画(马路网格线怎么画)

  • 淘宝新人专享红包为什么用不了(淘宝新人专享红包怎么取消)

    淘宝新人专享红包为什么用不了(淘宝新人专享红包怎么取消)

  • vivo紧急呼叫怎么取消(vivo紧急呼叫怎么关闭)

    vivo紧急呼叫怎么取消(vivo紧急呼叫怎么关闭)

  • 织梦调用全站指定属性的文章方法(织梦相关文章调用)

    织梦调用全站指定属性的文章方法(织梦相关文章调用)

  • 业务招待费的财务分录
  • 增值税不用交还要计提吗
  • 商务费用报销一般有哪些流程
  • 收到投资土地使用权的会计科目
  • 进项税额转出会影响利润吗
  • 应收账款贷方有余额是什么意思
  • 营业账簿指什么
  • 工人工伤误工费赔偿多少一天
  • 公司车辆卖给个人怎么处理账务
  • 会计凭证装订放哪些报表
  • 电子元器件可以带上飞机吗
  • 租地建厂房合同
  • 合伙制创投企业
  • 公司转买旧车怎么过户
  • 外购存货的成本不包括
  • 企业运费发票需要缴纳印花税吗附政策依据
  • 应付账款扣除商业折扣
  • 广告费怎么入账
  • 车辆租赁费可以一次性计入费用吗
  • 发票最大限额999元,超过了怎么办
  • 股票红利税如何征收
  • 工会发票的纳税识别号
  • 增值税专用发票电子版
  • 一般纳税人的兼职合法吗
  • 小企业会计准则科目
  • 坏账的计提和发生分录
  • 苹果屏幕刷新率120hz的机型
  • 公司融资a轮说明什么
  • 代办税务需要什么资质
  • smart制作
  • 政府补助的会计处理分录
  • 高新技术企业研发费用占比要求
  • 微信公众号web开发
  • 房屋无偿赠与合同协议书范本
  • 视觉机械臂操作视频
  • ecshop功能
  • 电子商业汇票线下清算流程
  • 关于低值易耗品的说法中不正确的是
  • linux lab安装
  • etc如何取票据
  • 公司pos机使用规范
  • 销售劳务和销售货物的区别
  • 评估费用由谁承担
  • 长期股权投资的核算方法
  • sqlserver2008数据库文件路径
  • 各种账簿的登记依据和登记方法分别是什么
  • 进项税额中运输费怎么算
  • 商业会计主要做什么
  • 缴纳房产税和城镇房产税
  • 员工 成本
  • 新办企业在建期间账务处理
  • 非贸付汇计税基础
  • 明细账的登记方向与总账的登记方向是一致的
  • windows vista X86 RTM/OEM 中文正式版下载地址
  • win10系统开机密码设置方法
  • os x 10.10.5
  • win10周年版
  • linux 系统升级
  • win10局域网无法上网
  • nodejs用法
  • Unity3D游戏开发引擎
  • unity平移场景视图怎样操作?
  • ajax请求图片并显示
  • node远程ssh
  • vue仿知乎
  • android开发教程视频
  • shell 读取
  • shell变量作用范围
  • 使用jquery
  • jquery过滤选择器案例
  • android DefaultHttpClient设置setCookieStore
  • fragment里面如何嵌套fragment
  • js中的三种弹出消息提醒的命令
  • jquery 表单
  • python的设置
  • bootstrap快速入门
  • js中的eval
  • 纽约消费税多少
  • 保险公司优惠的款项什么时候退款
  • 水利基金要收滞纳金吗
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设