位置: IT常识 - 正文

【强化学习】Q-Learning算法详解

编辑:rootadmin
【强化学习】Q-Learning算法详解 1 Q-Learning算法简介1.1 行为准则

推荐整理分享【强化学习】Q-Learning算法详解,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

我们做很多事情都有自己的行为准则,比如小时候爸妈常说:不写完作业就不准看电视。所以我们在写作业这种状态下,写的好的行为就是继续写作业,知道写完他,我们还可以得到奖励。不好的行为就是没写完就跑去看电视了,被爸妈发现,后果很严重。小时候这种事情做多了,也就变成我们不可磨灭的记忆。这和我们提到的Q-Learning有什么关系呢?原来Q-Learning也是一个决策过程,和小时候的这种情况差不多。我们举例说明。 假设现在我们处于写作业的状态,而且我们以前没有尝试过写作业时看电视,所以现在我们有两种选择:1,继续写作业,2,跑去看电视。以为以前没有被惩罚过,所以我选看电视,然后现在的状态变成了看电视,我又选了看电视,接着我还是看电视,最后爸妈回家,发现我没写完作业就去看电视了,狠狠的惩罚了我一次,我也深刻地记下了这一次的经历,并在我脑海中将“没写完作业去看电视”这种行为更改为负面行为,我们接下来看看Q-Learning根据很多这样的经历是如何决策的。

1.2 Q-Learning决策

假设我们的行为准则已经学习好了,我们现在处于状态s1,我在写作业,我有两个行为a1,a2,分别是看电视和写作业,根据我的经验,在这种s1状态下,a2写作业带来的潜在奖励要比a1看电视高,这里的潜在奖励我们用一个有关于s和a的Q表格代替。在我的记忆Q表格中,Q(s1, a1)=-2要小于Q(s1, a2)=1,所以我们判断要选择a2作为下一个行为。现在我们的状态更新为s2,我们还是有两个同样的选择,重复上面的过程,在行为准则Q表中寻找Q(s2,a1)Q(s2,a2)的值,并比较他们的大小,选取比较大的一个。接着根据a2我们到达s3并在此重复上面的决策过程。Q-Learning的方法就是这样决策的。看完决策我们在来研究一下这张行为准则Q表是通过什么样的方式更改,提升的。

1.3 Q-Learning更新【强化学习】Q-Learning算法详解

所以回到之前的流程,根据Q表的估计,因为在s1中,a2的值比较大,通过之前的决策方法,我们在s1采取了a2,并到达s2,这是我们开始更新用于决策的Q表,接着我们并没有在实际中采取任何行为,而是再想象自己在s2上采取了每种行为,分别看看两种行为哪一个的Q值大,比如说Q(s2,a2)的值比Q(s2,a1)的大,所以我们把大的Q(s2,a2)乘上一个衰减值γ(比如是0.9)并加上到达s2时所获取的奖励R(这里我们还没有获取到棒棒糖,所以奖励为0)因为会获取实实在在的奖励R,我们将这个作为我现实中Q(s1,a2)的值,但是我们之前是根据Q表估计Q(s1,a2)的值。所以有了现实和估计值,我们就能更新Q(s1,a2),根据估计与现实的差距,将这个差距乘以一个学习效率α累加上老的Q(s1,a2)的值变成新的值。但时刻记住,我们虽然用maxQ(s2)估算了一下s2的状态,但还没有在s2上做出任何的行为,s2的行为决策要等到更新完了以后再重新另外做。这就是off-policy的Q-Learning是如何决策和学习优化决策的过程。

2 Q-Learning整体算法

上图概括了之前所有的内容。这也是Q-Learning的算法,每次更新我们都用到了Q现实和Q估计,而且Q-Learning的迷人之处就是在Q(s1,a2)现实中,也包含了一个Q(s2)的最大估计值,将对下一步的衰减的最大估计和当前所得到的奖励当成这一步的现实。最后描述一下这套算法中一些参数的意义。ε-greedy是用在决策上的一种策略,比如ε=0.9时,就说明有90%的情况我会按照Q表的最优值选择行为,10%的时间使用随机选行为。α是学习率,来决定这次的误差有多少是要被学习的,α是一个小于1的数。γ是对未来reward的衰减值。我们可以这样想: 重写一下Q(s1)的公式,将Q(s2)拆开,因为Q(s2)可以像Q(s1)一样,是关于Q(s3)的,所以可以写成这样,然后以此类推,不停地这样写下去,最后就能携程这样,可以看出Q(s1)是有关于之后所有的奖励,但这些奖励正在衰减,离s1越远的状态衰减越严重。可以想象Q-Learning的机器人天生近视眼,γ=1时,机器人有了一副合适的眼镜,在s1看到的Q是未来没有任何衰变的奖励,也就是机器人能清清楚楚看到之后所有步的全部价值,但是当γ=0,近视机器人没了眼镜,只能摸到眼前的reward,同样也就只在乎最近的大奖励,如果γ从0变到1,眼镜的度数由浅变深,对远处的价值看得越清楚,所以机器人渐渐变得有远见,不仅仅只看眼前的利益,也为自己的未来着想

3 代码解析

可运行的代码地址如下(免费下载):https://download.csdn.net/download/shoppingend/85186697

3.1 Q-Learning算法更新

上面将的整个算法就是一直不断的更新Q-table里的值,然后再根据新的值来判断要在某个state采取怎样的action。Q-Learning是一个off-policy的算法,因为里面的max action让Q-table的更新可以不基于正在经历的经验(也可以是现在学习着很久以前的经验,甚至是学习他人的经验)。不过本例子我们没有运用到 off-policy,而是把Q-Learning用在了on-policy上,也就是现学现卖,将现在经历的直接当场学习并运用。 下面的代码,我们可以根据上面的图片中的算法对应起来,这就是整个 Q-Learning 最重要的迭代更新部分。

def update(): # 学习 100 回合 for episode in range(100): # 初始化 state 的观测值 observation = env.reset() while True: # 更新可视化环境 env.render() # RL 大脑根据 state 的观测值挑选 action action = RL.choose_action(str(observation)) # 探索者在环境中实施这个 action, 并得到环境返回的下一个 state 观测值, reward 和 done (是否是掉下地狱或者升上天堂) observation_, reward, done = env.step(action) # RL 从这个序列 (state, action, reward, state_) 中学习 RL.learn(str(observation), action, reward, str(observation_)) # 将下一个 state 的值传到下一次循环 observation = observation_ # 如果掉下地狱或者升上天堂, 这回合就结束了 if done: break # 结束游戏并关闭窗口 print('game over') env.destroy()if __name__ == "__main__": # 定义环境 env 和 RL 方式 env = Maze() RL = QLearningTable(actions=list(range(env.n_actions))) # 开始可视化环境 env env.after(100, update) env.mainloop()3.2 主结构class QLearningTable: # 初始化 def __init__(self, actions, learning_rate=0.01, reward_decay=0.9, e_greedy=0.9): # 选行为 def choose_action(self, observation): # 学习更新参数 def learn(self, s, a, r, s_): # 检测 state 是否存在 def check_state_exist(self, state):3.3 预设值import numpy as npimport pandas as pdclass QLearningTable: def __init__(self, actions, learning_rate=0.01, reward_decay=0.9, e_greedy=0.9): self.actions = actions # a list self.lr = learning_rate # 学习率 self.gamma = reward_decay # 奖励衰减 self.epsilon = e_greedy # 贪婪度 self.q_table = pd.DataFrame(columns=self.actions, dtype=np.float64) 3.4 决定行为 def choose_action(self, observation): self.check_state_exist(observation) # 检测本 state 是否在 q_table 中存在(见后面标题内容) # 选择 action if np.random.uniform() < self.epsilon: # 选择 Q value 最高的 action state_action = self.q_table.loc[observation, :] # 同一个 state, 可能会有多个相同的 Q action value, 所以我们乱序一下 action = np.random.choice(state_action[state_action == np.max(state_action)].index) else: # 随机选择 action action = np.random.choice(self.actions) return action3.5 学习

我们根据是否是terminal state(回合终止符)来判断应该如何更新Q-table。更新的方式:update = self.lr * (q_target - q_predict) 这可以理解成神经网络中的更新方式,学习率 ×(真实值 - 预测值)。将判断的误差传递回去,有着和神经网络更新的异曲同工之妙。

def learn(self, s, a, r, s_): self.check_state_exist(s_) # 检测 q_table 中是否存在 s_ (见后面标题内容) q_predict = self.q_table.loc[s, a] if s_ != 'terminal': q_target = r + self.gamma * self.q_table.loc[s_, :].max() # 下个 state 不是 终止符 else: q_target = r # 下个 state 是终止符 self.q_table.loc[s, a] += self.lr * (q_target - q_predict) # 更新对应的 state-action 值3.6 检测state是否存在

这个功能就是检测Q-table中有没有当前state的步骤了,如果还没有当前的state,那么我们就插入一组全0数据,当做这个state的所有action初始values。

def check_state_exist(self, state): if state not in self.q_table.index: # append new state to q table self.q_table = self.q_table.append( pd.Series( [0]*len(self.actions), index=self.q_table.columns, name=state, ) )

文章来源:莫凡强化学习https://mofanpy.com/tutorials/machine-learning/reinforcement-learning/

本文链接地址:https://www.jiuchutong.com/zhishi/299802.html 转载请保留说明!

上一篇:01-Node-Express系统框架搭建(express-generator)(node express安装)

下一篇:从傅里叶变换到小波变换详细解释(含代码)(傅里叶变换的过程)

  • 注册网赚要注意的问题(网络注册赚钱是真的吗)

    注册网赚要注意的问题(网络注册赚钱是真的吗)

  • 微信美颜视频怎么开(微信美颜视频怎么设置vivo)

    微信美颜视频怎么开(微信美颜视频怎么设置vivo)

  • 中英文输入方式切换的组合键是(中英文输入方式切换)

    中英文输入方式切换的组合键是(中英文输入方式切换)

  • 惠普战和星系列的区别(惠普战系列和星系列)

    惠普战和星系列的区别(惠普战系列和星系列)

  • 华为畅享9情景智能怎么打开(华为畅享9s设置)

    华为畅享9情景智能怎么打开(华为畅享9s设置)

  • 华为手机配件都是自己生产的吗(华为手机配件都是哪国的)

    华为手机配件都是自己生产的吗(华为手机配件都是哪国的)

  • webm是什么格式(webm是什么格式怎么在手机上看)

    webm是什么格式(webm是什么格式怎么在手机上看)

  • 面板数据是什么(面板数据是什么模型)

    面板数据是什么(面板数据是什么模型)

  • 华为智慧语音怎么关闭(华为智慧语音怎么能卸载掉)

    华为智慧语音怎么关闭(华为智慧语音怎么能卸载掉)

  • 使字体变粗的快捷键是(想要字体变粗的过程,怎么操作)

    使字体变粗的快捷键是(想要字体变粗的过程,怎么操作)

  • 红米note7pro是不是oled屏幕(红米note7pro有什么缺点)

    红米note7pro是不是oled屏幕(红米note7pro有什么缺点)

  • 网件r7000和r7000p区别(网件r7000和r7000v1区别)

    网件r7000和r7000p区别(网件r7000和r7000v1区别)

  • ipad耳机是专用的吗(ipad用的耳机是圆头还是扁头)

    ipad耳机是专用的吗(ipad用的耳机是圆头还是扁头)

  • ipadmpgw2cha是什么型号(ipadmpgw2ch/a是哪一款)

    ipadmpgw2cha是什么型号(ipadmpgw2ch/a是哪一款)

  • android是什么语言开发的(android是啥意思?)

    android是什么语言开发的(android是啥意思?)

  • 发出的微信可以撤回吗(发出的微信可以重新编辑吗)

    发出的微信可以撤回吗(发出的微信可以重新编辑吗)

  • word2010不能编辑(word2010不能编辑文档的视图)

    word2010不能编辑(word2010不能编辑文档的视图)

  • ps怎么减去顶层(ps里面怎么减去顶层)

    ps怎么减去顶层(ps里面怎么减去顶层)

  • 抖音直播怎么放音乐(抖音直播怎么放歌别人听)

    抖音直播怎么放音乐(抖音直播怎么放歌别人听)

  • 华为mate30pro有杜比音效吗(mate30pro的)

    华为mate30pro有杜比音效吗(mate30pro的)

  • svip有什么用(天眼查svip有什么用)

    svip有什么用(天眼查svip有什么用)

  • 红米3s手电筒不亮原因

    红米3s手电筒不亮原因

  • 华为nova5pro和p30区别(华为nova5Pro和P30Pro区别)

    华为nova5pro和p30区别(华为nova5Pro和P30Pro区别)

  • pr怎么添加音乐(pr怎么添加音乐歌词)

    pr怎么添加音乐(pr怎么添加音乐歌词)

  • iphone充电宝充不进电(iphone充电宝充不进电,然后猛增)

    iphone充电宝充不进电(iphone充电宝充不进电,然后猛增)

  • carlife蓝牙连接流程(carlife连接后怎么用蓝牙播放音乐)

    carlife蓝牙连接流程(carlife连接后怎么用蓝牙播放音乐)

  • iPhone手机ios9误删照片怎么找回?(误解苹果)

    iPhone手机ios9误删照片怎么找回?(误解苹果)

  • 只报税不做账有什么后果?
  • 企业取得房租收据怎么写
  • 金税盘入账的会计分录
  • 会计二级科目是哪个
  • 住宿发票税率有哪4种
  • 销售商品货款未收
  • 自建的固定资产可以抵扣吗
  • 长期股权投资权益法下初始投资成本
  • 个人账户作为公司私账
  • 销售应税消费品应交的消费税
  • 资产减值损失管理措施
  • 分期付款方式购物划算吗
  • 开出技术服务费的账务处理
  • 发生工伤事故借条怎么写
  • 发票添加商品编码怎么填
  • 挂靠费如何纳税?
  • 固定资产进项税额转出怎么做账务处理
  • 运输发票的税率分类
  • 如何从工商信息中看出是小规模还是一般纳税人
  • 加权平均数是什么意思的权
  • 不征税发票的12个税种
  • 端午节给员工发福利说什么
  • 财务软件单机版下载免费
  • 网络公司的财务主要做什么
  • 税控盘技术服务费可以抵税吗
  • 最早遥控器是谁发明的
  • 员工垫付的钱会计分录
  • php的脚本语言
  • 分期收款销售商品纳税义务发生时间
  • 个体户何去何从
  • 出售报废边角料税率
  • php restful接口
  • 增值税纳税人如何界定
  • php开发文档
  • 创建vue3项目的步骤
  • echarts api文档
  • php常用时间函数
  • 合伙企业退伙个税
  • 个人所得税年度申报什么意思
  • 存货的会计核算及业务处理
  • 代收通行费不征消费税
  • 企业应设置的账簿包括什么
  • 收到增值进项发票
  • 国库集中支付发送签收失败
  • 垫付应收款怎么做会计分录
  • 环保税的纳税义务人是施工方还是建设方安徽
  • 健身房注册公司能注册医疗吗?
  • sql2008r2安装教程
  • 留抵进项税太多怎么办
  • mysql字符串索引如何排序
  • 财务报表里的现金流量表括号是什么意思
  • 广告公司可以不开发票吗
  • sql数据对比语句
  • 项目支付预缴税额怎么算
  • 个体户减免税额怎么填
  • 为什么说资产负债表是静态报表
  • 非本公司员工能否享受本公司的福利
  • 多台电脑ip地址设置
  • windows2008r2驱动包
  • linux的head命令
  • win7系统点击计算机图标未响应
  • win8系统如何恢复出厂设置
  • win8图标放桌面
  • win8.1激活方法
  • cocos2d官网
  • perl中qw
  • C#绘制准心脚本
  • php上传文件到指定目录
  • 新浪微博随时随地
  • 杀掉进程windows
  • node中的事件循环
  • python中如何获取列表中位数
  • javascript教程完整版
  • python理论基础
  • 12366纳税服务热线坐席人员
  • 智能财税证书含金量多少
  • 分国分项抵免法
  • 医院等级怎么查询系统
  • 有发票代码和发票号码能下载到电子发票吗
  • 国税申报时间2023年10月
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设