位置: IT常识 - 正文
【Pytorch】torch.nn.init.xavier_uniform_()(pytorch torch)
发布时间：2024-01-17推荐整理分享【Pytorch】torch.nn.init.xavier_uniform_()(pytorch torch)，希望有所帮助，仅作参考，欢迎阅读内容。
文章相关热门搜索词:pytorch torchscript,pytorch torch.load,pytorch totensor,pytorch totensor,pytorch totensor,pytorch torchscript,pytorch torchscript,pytorch torch,内容如对您有帮助，希望把文章链接给更多的朋友！
简介Hello！ 非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～ ଘ(੭ˊᵕˋ)੭ 昵称：海轰 标签：程序猿｜C++选手｜学生 简介：因C语言结识编程，随后转入计算机专业，获得过国家奖学金，有幸在竞赛中拿过一些国奖、省奖…已保研 学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！ 唯有努力💪 本文仅记录自己感兴趣的内容
torch.nn.init.xavier_uniform_()语法torch.nn.init.xavier_uniform_(tensor, gain=1.0)
作用根据了解训练深度前馈神经网络的难度 - Glorot, X. & Bengio, Y. (2010) 中描述的方法
使用均匀分布 用值填充输入张量
结果张量将具有从 U(−a,a)\mathcal{U}(-a, a)U(−a,a) 采样的值，其中
也称为Glorot初始化
举例w = torch.empty(3, 5)print('w : \n', w)nn.init.xavier_uniform_(w, gain=nn.init.calculate_gain('relu'))print('w : \n', w)w = torch.Tensor([[1.0,2,3],[2.0,3,4]])print('w : \n', w)nn.init.xavier_uniform_(w, gain=nn.init.calculate_gain('relu'))print('w : \n', w)注：w不能为1维
为什么需要Xavier 初始化？
所以论文提出，在每一层网络保证输入和输出的方差相同
参考：https://blog.csdn.net/dss_dssssd/article/details/83959474
个人感觉使用Xavier的作用就是预防一些参数过大或过小的情况，再保证方差一样的情况下进行缩放，便于计算
参考https://pytorch.org/docs/stable/nn.init.htmlhttps://blog.csdn.net/dss_dssssd/article/details/83959474结语文章仅作为个人学习笔记记录，记录从0到1的一个过程
希望对您有一点点帮助，如有错误欢迎小伙伴指正
上一篇：四轮电磁------电磁循迹位置式PID(四轮电车电机价格)
下一篇：【node.js从入门到精通】使用express创建web服务器，路由，进行中间件的创建链接路由及其他中间件(node.js快速入门)
