位置: 编程技术 - 正文
MySQL闪回(flashback)原理与实战(mysql一闪而退)
编辑：rootadmin推荐整理分享MySQL闪回(flashback)原理与实战(mysql一闪而退)，希望有所帮助，仅作参考，欢迎阅读内容。
文章相关热门搜索词:当mysql出现闪退现象该如何操作,mysql回车直接闪退怎么回事,mysql闪退处理,mysql闪回查询,mysql一闪而退,mysql回车直接闪退怎么回事,mysql回车闪退,MySQL闪回工具,内容如对您有帮助，希望把文章链接给更多的朋友！
DBA或开发人员，有时会误删或者误更新数据，如果是线上环境并且影响较大，就需要能快速回滚。传统恢复方法是利用备份重搭实例，再应用去除错误sql后的binlog来恢复数据。此法费时费力，甚至需要停机维护，并不适合快速回滚。也有团队利用LVM快照来缩短恢复时间，但快照的缺点是会影响mysql的性能。
MySQL闪回(flashback)利用binlog直接进行回滚，能快速恢复且不用停机。本文将介绍闪回原理，给出笔者的实战经验，并对现存的闪回工具作比较。
开胃菜
某天，小明因种种原因，误删了大批线上用户表的数据。他急忙找到公司DBA请求帮助，“客服电话已被打爆，大量用户投诉无法登陆，领导非常恼火。请问多久能恢复数据？”DBA一脸懵逼，沉默十秒后，伸出一根手指。“你的意思是一分钟就能恢复？太好了。”小明终于有些放松，露出了一丝笑容。“不，我们中有个人将会离开公司。”DBA沉痛的说道。
勿让悲剧发生，尽早将此文转给公司DBA。
闪回原理
binlog概述
MySQL binlog以event的形式，记录了MySQL server从启用binlog以来所有的变更信息，能够帮助重现这之间的所有变化。MySQL引入binlog主要有两个目的：一是为了主从复制；二是某些备份还原操作后需要重新应用binlog。
有三种可选的binlog格式，各有优缺点：
statement：基于SQL语句的模式，binlog数据量小，但是某些语句和函数在复制过程可能导致数据不一致甚至出错； row：基于行的模式，记录的是行的完整变化。很安全，但是binlog会比其他两种模式大很多； mixed：混合模式，根据语句来选用是statement还是row模式；利用binlog闪回，需要将binlog格式设置为row。row模式下，一条使用innodb的insert会产生如下格式的binlog：
闪回原理
既然binlog以event形式记录了所有的变更信息，那么我们把需要回滚的event，从后往前回滚回去即可。
对于单个event的回滚，我们以表test.user来演示原理
对于delete操作，我们从binlog提取出delete信息，生成的回滚语句是insert。(注：为了方便解释，我们用binlog2sql将原始binlog转化成了可读SQL)
对于insert操作，回滚SQL是delete。
对于update操作，回滚sql应该交换SET和WHERE的值。
闪回实战
真实的闪回场景中，最关键的是能快速筛选出真正需要回滚的SQL。
我们使用开源工具binlog2sql来进行实战演练。binlog2sql由美团点评DBA团队(上海)出品，多次在线上环境做快速回滚。
首先我们安装binlog2sql：
背景：小明在:时误删了test库user表大批的数据，需要紧急回滚。
test库user表原有数据
:时，user表大批数据被误删除。与此同时，正常业务数据是在继续写入的
恢复数据步骤：
登录mysql，查看目前的binlog文件
最新的binlog文件是mysql-bin.。我们的目标是筛选出需要回滚的SQL，由于误操作人只知道大致的误操作时间，我们首先根据时间做一次过滤。只需要解析test库user表。(注：如果有多个sql误操作，则生成的binlog可能分布在多个文件，需解析多个文件)
根据位置信息，我们确定了误操作sql来自同一个事务，准确位置在-之间(binlog2sql对于同一个事务会输出同样的start position)。再根据位置过滤，使用 -B 选项生成回滚sql，检查回滚sql是否正确。(注：真实场景下，生成的回滚SQL经常会需要进一步筛选。结合grep、编辑器等)
与业务方确认回滚sql没问题，执行回滚语句。登录mysql，确认回滚成功。
TIPS
闪回的关键是快速筛选出真正需要回滚的SQL。 先根据库、表、时间做一次过滤，再根据位置做更准确的过滤。 由于数据一直在写入，要确保回滚sql中不包含其他数据。可根据是否是同一事务、误操作行数、字段值的特征等等来帮助判断。 执行回滚sql时如有报错，需要查实具体原因，一般是因为对应的数据已发生变化。由于是严格的行模式，只要有唯一键(包括主键)存在，就只会报某条数据不存在的错，不必担心会更新不该操作的数据。 如果待回滚的表与其他表有关联，要与开发说明回滚和不回滚各自的副作用，再确定方案。 回滚后数据变化，可能对用户和线上应用造成困惑(类似幻读)。再重复下最重要的两点：筛选出正确SQL！沟通清楚！
闪回工具
MySQL闪回特性最早由阿里彭立勋开发，彭在年给官方提交了一个patch，并对闪回设计思路做了说明(设计思路很有启发性，强烈推荐阅读)。但是因为种种原因，业内安装这个patch的团队至今还是少数，真正应用到线上的更是少之又少。彭之后，又有多位人员针对不同mysql版本不同语言开发了闪回工具，原理用的都是彭的思路。
我将这些闪回工具按实现方式分成了三类。
第一类是以patch形式集成到官方工具mysqlbinlog中。以彭提交的patch为代表。
优点
上手成本低。mysqlbinlog原有的选项都能直接利用，只是多加了一个闪回选项。闪回特性未来有可能被官方收录。支持离线解析。
缺点
兼容性差、项目活跃度不高。由于binlog格式的变动，如果闪回工具作者不及时对补丁升级，则闪回工具将无法使用。目前已有多位人员分别针对mysql5.5，5.6，5.7开发了patch，部分项目代码公开，但总体上活跃度都不高。 难以添加新功能，实战效果欠佳。在实战中，经常会遇到现有patch不满足需求的情况，比如要加个表过滤，很简单的一个需求，代码改动也不会大，但对大部分DBA来说，改mysql源码还是很困难的事。 安装稍显麻烦。需要对mysql源码打补丁再编译生成。这些缺点，可能都是闪回没有流行开来的原因。
第二类是独立工具，通过伪装成slave拉取binlog来进行处理。以binlog2sql为代表。
优点
兼容性好。伪装成slave拉binlog这项技术在业界应用的非常广泛，多个开发语言都有这样的活跃项目，MySQL版本的兼容性由这些项目搞定，闪回工具的兼容问题不再突出。 添加新功能的难度小。更容易被改造成DBA自己喜欢的形式。更适合实战。 安装和使用简单。缺点
必须开启MySQL server。
第三类是简单脚本。先用mysqlbinlog解析出文本格式的binlog，再根据回滚原理用正则进行匹配并替换。
优点
脚本写起来方便，往往能快速搞定某个特定问题。 安装和使用简单。 支持离线解析。缺点
通用性不好。 可靠性不好。就目前的闪回工具而言，线上环境的闪回，笔者建议使用binlog2sql，离线解析使用mysqlbinlog。
关于DDL的flashback
本文所述的flashback仅针对DML语句的快速回滚。但如果误操作是DDL的话，是无法利用binlog做快速回滚的，因为即使在row模式下，binlog对于DDL操作也不会记录每行数据的变化。要实现DDL快速回滚，必须修改MySQL源码，使得在执行DDL前先备份老数据。目前有多个mysql定制版本实现了DDL闪回特性，阿里林晓斌团队提交了patch给MySQL官方，MariaDB预计在不久后加入包含DDL的flashback特性。DDL闪回的副作用是会增加额外存储。考虑到其应用频次实在过低，本文不做详述，有兴趣的同学可以自己去了解，重要的几篇文章我在参考资料中做了引用。
有任何问题，或有mysql闪回相关的优秀工具优秀文章遗漏，烦请告知。
mysql去重的两种方法详解及实例代码 mysql去重方法一：在使用MySQL时，有时需要查询出某个字段不重复的记录，虽然mysql提供有distinct这个关键字来过滤掉多余的重复记录只保留一条，但往往
mysql “ Every derived table must have its own alias”出现错误解决办法 mysqlEveryderivedtablemusthaveitsownalias错误解决办法Everyderivedtablemusthaveitsownalias这句话的意思是说每个派生出来的表都必须有一个自己的别名一般在多表查询时
Mysql5.7.绿色版安装教程图文详解 Mysql5.7.绿色版安装教程图文详解如下所示：1、解压mysql-5.7.压缩包到想要存放的磁盘文件夹中；2、在文件夹中新建一个data文件夹和新建一个my.ini文件
标签: mysql一闪而退
本文链接地址:https://www.jiuchutong.com/biancheng/349889.html 转载请保留说明！上一篇：MySQL使用show status查看MySQL服务器状态信息
下一篇：MySQL中Decimal类型和Float Double的区别(详解)(mysql中decimal对应java类型)
