位置: IT常识 - 正文

【强化学习】Q-Learning算法详解

编辑:rootadmin
【强化学习】Q-Learning算法详解 1 Q-Learning算法简介1.1 行为准则

推荐整理分享【强化学习】Q-Learning算法详解,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

我们做很多事情都有自己的行为准则,比如小时候爸妈常说:不写完作业就不准看电视。所以我们在写作业这种状态下,写的好的行为就是继续写作业,知道写完他,我们还可以得到奖励。不好的行为就是没写完就跑去看电视了,被爸妈发现,后果很严重。小时候这种事情做多了,也就变成我们不可磨灭的记忆。这和我们提到的Q-Learning有什么关系呢?原来Q-Learning也是一个决策过程,和小时候的这种情况差不多。我们举例说明。 假设现在我们处于写作业的状态,而且我们以前没有尝试过写作业时看电视,所以现在我们有两种选择:1,继续写作业,2,跑去看电视。以为以前没有被惩罚过,所以我选看电视,然后现在的状态变成了看电视,我又选了看电视,接着我还是看电视,最后爸妈回家,发现我没写完作业就去看电视了,狠狠的惩罚了我一次,我也深刻地记下了这一次的经历,并在我脑海中将“没写完作业去看电视”这种行为更改为负面行为,我们接下来看看Q-Learning根据很多这样的经历是如何决策的。

1.2 Q-Learning决策

假设我们的行为准则已经学习好了,我们现在处于状态s1,我在写作业,我有两个行为a1,a2,分别是看电视和写作业,根据我的经验,在这种s1状态下,a2写作业带来的潜在奖励要比a1看电视高,这里的潜在奖励我们用一个有关于s和a的Q表格代替。在我的记忆Q表格中,Q(s1, a1)=-2要小于Q(s1, a2)=1,所以我们判断要选择a2作为下一个行为。现在我们的状态更新为s2,我们还是有两个同样的选择,重复上面的过程,在行为准则Q表中寻找Q(s2,a1)Q(s2,a2)的值,并比较他们的大小,选取比较大的一个。接着根据a2我们到达s3并在此重复上面的决策过程。Q-Learning的方法就是这样决策的。看完决策我们在来研究一下这张行为准则Q表是通过什么样的方式更改,提升的。

1.3 Q-Learning更新【强化学习】Q-Learning算法详解

所以回到之前的流程,根据Q表的估计,因为在s1中,a2的值比较大,通过之前的决策方法,我们在s1采取了a2,并到达s2,这是我们开始更新用于决策的Q表,接着我们并没有在实际中采取任何行为,而是再想象自己在s2上采取了每种行为,分别看看两种行为哪一个的Q值大,比如说Q(s2,a2)的值比Q(s2,a1)的大,所以我们把大的Q(s2,a2)乘上一个衰减值γ(比如是0.9)并加上到达s2时所获取的奖励R(这里我们还没有获取到棒棒糖,所以奖励为0)因为会获取实实在在的奖励R,我们将这个作为我现实中Q(s1,a2)的值,但是我们之前是根据Q表估计Q(s1,a2)的值。所以有了现实和估计值,我们就能更新Q(s1,a2),根据估计与现实的差距,将这个差距乘以一个学习效率α累加上老的Q(s1,a2)的值变成新的值。但时刻记住,我们虽然用maxQ(s2)估算了一下s2的状态,但还没有在s2上做出任何的行为,s2的行为决策要等到更新完了以后再重新另外做。这就是off-policy的Q-Learning是如何决策和学习优化决策的过程。

2 Q-Learning整体算法

上图概括了之前所有的内容。这也是Q-Learning的算法,每次更新我们都用到了Q现实和Q估计,而且Q-Learning的迷人之处就是在Q(s1,a2)现实中,也包含了一个Q(s2)的最大估计值,将对下一步的衰减的最大估计和当前所得到的奖励当成这一步的现实。最后描述一下这套算法中一些参数的意义。ε-greedy是用在决策上的一种策略,比如ε=0.9时,就说明有90%的情况我会按照Q表的最优值选择行为,10%的时间使用随机选行为。α是学习率,来决定这次的误差有多少是要被学习的,α是一个小于1的数。γ是对未来reward的衰减值。我们可以这样想: 重写一下Q(s1)的公式,将Q(s2)拆开,因为Q(s2)可以像Q(s1)一样,是关于Q(s3)的,所以可以写成这样,然后以此类推,不停地这样写下去,最后就能携程这样,可以看出Q(s1)是有关于之后所有的奖励,但这些奖励正在衰减,离s1越远的状态衰减越严重。可以想象Q-Learning的机器人天生近视眼,γ=1时,机器人有了一副合适的眼镜,在s1看到的Q是未来没有任何衰变的奖励,也就是机器人能清清楚楚看到之后所有步的全部价值,但是当γ=0,近视机器人没了眼镜,只能摸到眼前的reward,同样也就只在乎最近的大奖励,如果γ从0变到1,眼镜的度数由浅变深,对远处的价值看得越清楚,所以机器人渐渐变得有远见,不仅仅只看眼前的利益,也为自己的未来着想

3 代码解析

可运行的代码地址如下(免费下载):https://download.csdn.net/download/shoppingend/85186697

3.1 Q-Learning算法更新

上面将的整个算法就是一直不断的更新Q-table里的值,然后再根据新的值来判断要在某个state采取怎样的action。Q-Learning是一个off-policy的算法,因为里面的max action让Q-table的更新可以不基于正在经历的经验(也可以是现在学习着很久以前的经验,甚至是学习他人的经验)。不过本例子我们没有运用到 off-policy,而是把Q-Learning用在了on-policy上,也就是现学现卖,将现在经历的直接当场学习并运用。 下面的代码,我们可以根据上面的图片中的算法对应起来,这就是整个 Q-Learning 最重要的迭代更新部分。

def update(): # 学习 100 回合 for episode in range(100): # 初始化 state 的观测值 observation = env.reset() while True: # 更新可视化环境 env.render() # RL 大脑根据 state 的观测值挑选 action action = RL.choose_action(str(observation)) # 探索者在环境中实施这个 action, 并得到环境返回的下一个 state 观测值, reward 和 done (是否是掉下地狱或者升上天堂) observation_, reward, done = env.step(action) # RL 从这个序列 (state, action, reward, state_) 中学习 RL.learn(str(observation), action, reward, str(observation_)) # 将下一个 state 的值传到下一次循环 observation = observation_ # 如果掉下地狱或者升上天堂, 这回合就结束了 if done: break # 结束游戏并关闭窗口 print('game over') env.destroy()if __name__ == "__main__": # 定义环境 env 和 RL 方式 env = Maze() RL = QLearningTable(actions=list(range(env.n_actions))) # 开始可视化环境 env env.after(100, update) env.mainloop()3.2 主结构class QLearningTable: # 初始化 def __init__(self, actions, learning_rate=0.01, reward_decay=0.9, e_greedy=0.9): # 选行为 def choose_action(self, observation): # 学习更新参数 def learn(self, s, a, r, s_): # 检测 state 是否存在 def check_state_exist(self, state):3.3 预设值import numpy as npimport pandas as pdclass QLearningTable: def __init__(self, actions, learning_rate=0.01, reward_decay=0.9, e_greedy=0.9): self.actions = actions # a list self.lr = learning_rate # 学习率 self.gamma = reward_decay # 奖励衰减 self.epsilon = e_greedy # 贪婪度 self.q_table = pd.DataFrame(columns=self.actions, dtype=np.float64) 3.4 决定行为 def choose_action(self, observation): self.check_state_exist(observation) # 检测本 state 是否在 q_table 中存在(见后面标题内容) # 选择 action if np.random.uniform() < self.epsilon: # 选择 Q value 最高的 action state_action = self.q_table.loc[observation, :] # 同一个 state, 可能会有多个相同的 Q action value, 所以我们乱序一下 action = np.random.choice(state_action[state_action == np.max(state_action)].index) else: # 随机选择 action action = np.random.choice(self.actions) return action3.5 学习

我们根据是否是terminal state(回合终止符)来判断应该如何更新Q-table。更新的方式:update = self.lr * (q_target - q_predict) 这可以理解成神经网络中的更新方式,学习率 ×(真实值 - 预测值)。将判断的误差传递回去,有着和神经网络更新的异曲同工之妙。

def learn(self, s, a, r, s_): self.check_state_exist(s_) # 检测 q_table 中是否存在 s_ (见后面标题内容) q_predict = self.q_table.loc[s, a] if s_ != 'terminal': q_target = r + self.gamma * self.q_table.loc[s_, :].max() # 下个 state 不是 终止符 else: q_target = r # 下个 state 是终止符 self.q_table.loc[s, a] += self.lr * (q_target - q_predict) # 更新对应的 state-action 值3.6 检测state是否存在

这个功能就是检测Q-table中有没有当前state的步骤了,如果还没有当前的state,那么我们就插入一组全0数据,当做这个state的所有action初始values。

def check_state_exist(self, state): if state not in self.q_table.index: # append new state to q table self.q_table = self.q_table.append( pd.Series( [0]*len(self.actions), index=self.q_table.columns, name=state, ) )

文章来源:莫凡强化学习https://mofanpy.com/tutorials/machine-learning/reinforcement-learning/

本文链接地址:https://www.jiuchutong.com/zhishi/299802.html 转载请保留说明!

上一篇:01-Node-Express系统框架搭建(express-generator)(node express安装)

下一篇:从傅里叶变换到小波变换详细解释(含代码)(傅里叶变换的过程)

  • js邮箱正则表达式(js邮箱正则表达式怎么写)

    js邮箱正则表达式(js邮箱正则表达式怎么写)

  • 钉钉怎么退出原来的班级群(钉钉怎么退出原来的公司)

    钉钉怎么退出原来的班级群(钉钉怎么退出原来的公司)

  • 电脑开机启动项怎么关闭(管理电脑开机启动项)

    电脑开机启动项怎么关闭(管理电脑开机启动项)

  • 华为p40是直面屏的吗(华为p40pro直面屏)

    华为p40是直面屏的吗(华为p40pro直面屏)

  • 快手怎么改无性别(快手如何从新设置)

    快手怎么改无性别(快手如何从新设置)

  • qq被暂时解冻没有显示时间(qq暂时被解冻能自己康复吗)

    qq被暂时解冻没有显示时间(qq暂时被解冻能自己康复吗)

  • 手机能投屏到墙上吗(手机怎么投屏到墙上)

    手机能投屏到墙上吗(手机怎么投屏到墙上)

  • 支付宝跑步哪里记录路线(支付宝跑步赚钱在哪里是真的吗)

    支付宝跑步哪里记录路线(支付宝跑步赚钱在哪里是真的吗)

  • ipad a1599是什么机型(ipad a1599是ipad几)

    ipad a1599是什么机型(ipad a1599是ipad几)

  • 哔哩哔哩怎么保存视频到手机(哔哩哔哩怎么保存图片)

    哔哩哔哩怎么保存视频到手机(哔哩哔哩怎么保存图片)

  • 一个机顶盒能带两台电视吗(一个机顶盒能带两个电视吗)

    一个机顶盒能带两台电视吗(一个机顶盒能带两个电视吗)

  • 华为手机怎么定位苹果x(华为手机怎么定位老公的手机位置)

    华为手机怎么定位苹果x(华为手机怎么定位老公的手机位置)

  • 直播推流失败什么意思(抖音直播推流不精准怎么办)

    直播推流失败什么意思(抖音直播推流不精准怎么办)

  • 在计算机网络中,英文缩写WAN的中文名是(在计算机网络中,LAN指的是)

    在计算机网络中,英文缩写WAN的中文名是(在计算机网络中,LAN指的是)

  • 户户通如何移机(户户通如何移机后为啥还出现安装等待中)

    户户通如何移机(户户通如何移机后为啥还出现安装等待中)

  • 华为手机抖音连不上网怎么办(华为手机抖音连续播放视频怎么设置)

    华为手机抖音连不上网怎么办(华为手机抖音连续播放视频怎么设置)

  • 云米和米家有什么区别(云米和米家是一个品牌吗)

    云米和米家有什么区别(云米和米家是一个品牌吗)

  • 爱奇艺账号能不能注销(爱奇艺账号能不能合并)

    爱奇艺账号能不能注销(爱奇艺账号能不能合并)

  • 苹果max有nfc吗(苹果有max手机吗?)

    苹果max有nfc吗(苹果有max手机吗?)

  • 红魔呼吸灯怎样一直亮(红魔5g手机呼吸灯视频)

    红魔呼吸灯怎样一直亮(红魔5g手机呼吸灯视频)

  • 苹果手机云盘在哪里找(苹果手机云盘在哪打开看原来的照片)

    苹果手机云盘在哪里找(苹果手机云盘在哪打开看原来的照片)

  • 5g基站多少米一个(5g基站多少米一个辐射大吗?)

    5g基站多少米一个(5g基站多少米一个辐射大吗?)

  • ug最初界面恢复设置(ug6.0界面恢复初始设置)

    ug最初界面恢复设置(ug6.0界面恢复初始设置)

  • aimaol.exe是病毒进程吗 aimaol是什么进程(.exe文件病毒)

    aimaol.exe是病毒进程吗 aimaol是什么进程(.exe文件病毒)

  • 税法规定固定资产最低价格
  • 科普一下发票知识
  • 出租人融资租赁发生的初始直接费用
  • 发票抬头公司名称有空格
  • 子公司分红款没收到,宣告分红可以免税吗
  • 财务上大写的元怎么写
  • 个体户3万免税免的是哪些税
  • 境外中资企业转让股权的涉税处理
  • 企业季度预缴所得税怎么账务处理
  • 两免三减半的概率是多少
  • 应收账款的损失率怎么算
  • 公司垫付员工工资怎么做账
  • 分包管理费取费标准
  • 存货取得长期股权投资
  • 运费开进发票
  • 银行转账短信提醒还要收费吗
  • 以银行存款退还投资者股金
  • 租赁车辆维修费谁承担
  • 增值税专用发票和普通发票的区别
  • 餐饮业开专票几个点
  • 内销征税是什么意思
  • 增值税专用发票电子版
  • 企业购进货物被没收 进项税额能否抵扣?
  • 进口设备属于货物贸易吗
  • 结转固定资产净收益8万元
  • 收到转账支票怎么填写凭证
  • 金蝶存货核算的基本流程
  • 企业办税人员是干嘛的
  • 公司从超市购买东西缴纳印花税吗
  • 借股东现金会计分录
  • 管理费用的会计编码
  • 人工智能aima
  • jetson nano nvidia-smi
  • 补缴上年度未开票收入增值税,怎么做账
  • 加速折旧的企业
  • kaggle如何入门
  • 若依框架前端如何通过后端加载页面
  • 业务招待费的企业是什么
  • 金税盘锁死能正常报税吗
  • 注册公司填写从业人数多少合适
  • 财务费用的利息费用怎么算
  • 企业之间的借款属于民间借贷吗
  • mysql5.7字符集
  • 织梦怎么用
  • 财务报表编制要求包含
  • 网银报错
  • 小企业长期债券投资入账价值
  • 公司印章样子
  • 小规模纳税人缴纳的增值税计入成本吗
  • 火车票报销抵扣比例是多少
  • 摊余成本通俗易懂
  • 清卡和抄报税是什么意思
  • 个体户需要实缴吗
  • 给客户送礼计入成本吗
  • 处置投资性房地产时影响营业成本的金额
  • 将自产的产品用于非应税项目
  • 收不回来的应收账款
  • 办理营业执照需要什么条件
  • 一个身份证可以实名几个qq
  • SQLserver导入Excel文件到表
  • win10 9月更新 问题
  • freebsd 配置ip
  • 电脑安装了安卓系统没用
  • ubuntu15.04安装教程
  • ubuntu英文系统安装中文输入法
  • ubuntu with linux
  • service.exe是什么
  • linux常用性能监控命令
  • win10本地连接怎么改名称
  • javascript组件
  • unity自动寻路插件
  • ansible客户端需要装python
  • JavaScript基础教程
  • jQuery之简单的表单验证实例
  • 安卓启动器修改
  • 税务机关一案双查管理办法
  • 电子税务推广工作内容
  • 网上报税失败什么原因
  • 交了增值税还用交税吗
  • 化妆品过海关要交税吗
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设