Mysql数据修复方案
2019年11月19日, 中午12:30左右公司同事一不小心delete了Mysql数据表数据, 而且是重要的业务数据. 导致我花费了半天的时间来修复数据. 以此次数据修复的过程为中心, 简单介绍一下误删除Mysql数据的修复过程与解决方案. 好在各种解决方案下, 终于在下午16点可以吃中午饭了.^-^
中午12:30左右, 一同事A要另一个有正式环境数据库权限的同事B帮忙, 帮忙修正一下20W+用户调查问卷的数据, 因为此数据不修复会导致业务部门不断的挑战, 只能没客户授权的情况下, 临时正式环境变更, 首先这是个违规操作. 同事B拿到sql后就直接在线上进行执行, 由于没有DBA, 加上同事B没有做细致的sql校验与检查, 当sql执行完毕时, 执行结果是删除20W+数据, 同事B感觉不对劲, 经同事A确认, sql出现错误, 导致异常删除. 作为技术负责人, 问题很快反馈到我这里, 需要我帮忙做数据恢复, 此时业务员群已经有人开始询问数据看不到的问题, 暂以"为了提供更好的服务, 数据服务在做临时性能优化与调整" 回复, 但时间还是很紧急, 必须快速修复数据, 才能不会暴漏此次违规操作.
解决类似问题, 方法一, 通过备用数据库服务器的Xtrabackup完整备份和增量备份+binglog进行还原, 优点是使用的binglog数据少通过binglog还原的速度会快一些, 缺点是需要整个数据库服务的所有数据库进行还原, 近90G的数据还原速度慢, 加上备份服务器的磁盘I/O性能差, 时间上会更长 方法二, 直接使用binlog进行数据还原, 此方法的优点是可以快速还原, 但需要借助第三方工具binlog2sql才可以完整还原. 缺点是第三方工具之前需要进行学习,边学习边应用可能导致数据丢失,一个硬性条件是binlog的数据格式必须是row格式. 不支持DDL操作的数据还原. 方法三, 通过指定数据库的mysqldump备份+binglog进行还原. 此方法的优点是可以直接还原指定数据库, 然后再重放备份时间到当前时间的binglog sql. 缺点是还原速度慢, 获取准确的binglog position 比较困难.
问题产生的原因, 同事A写了类似这样一个例sql语句导致的数据非预期删除:
create table `C_tmp`(
member_name varchar(50)
);
insert C_tmp select * from c where ....
delete from A where member_id in ( select member_id from B where start_time>'2019-11-20 00:00:00' AND flag='0');
问题就出在了 delete 这句, 正常情况下, 这里的 " select member_id from B where start_time>'2019-11-20 00:00:00' AND flag='0' " 会因为找不到member_id字段而报错, 但在这个 IN 查询里却没有报错, 但相当于delete A的where 条件不生效, 此时sql就变成了 delete from A 进行执行, 而删除了整个A表的所有数据.
查到原因后, 便马上启用解决方法一, ssh到北京DR进行数据还原, 当连接到北京DB服务器后, 查看了一下数据库文件, 突然冒出一个想法innodb是不是也可以使用直接copy文件的方法从Xtraback中进行还原, 于是将对应的A表记录的A.frm, A.ibd直接下载到本机, 明知不行, 但还是尝试了一下,毕竟时间成本太低, 尝试了一下, 此表无tablespace, 简单方法尝试失败, 开始使用之前写好的脚本进行备份还原, 还原之前的准备工作是先将正在运行的数据库服务进行 stop slave 临时解除同步服务, services mysqld stop, 停止mysql服务, copy mysql数据库完整的文件进行备份,
还原过程参考:
https://www.updateweb.cn/zwfec/item-246.html
时间之漫长,但不能浪费, 还要想其它办法, 万一此方法失败, 还可以用其它方法进行挽回, 于同北京DR数据还原的同时, 同步启用方法三, 将其它服务器上的mysqldump 数据传输到测试环境进行恢复, 通过 scp sqlback.zip root@xxx.xxx.xxx.xxx:/srv/ 命令传输到了测试环境, 进行数据还原:
create database AA_tmp charset=utf8;
use AA_tmp;
source sqlback.sql;
ok, 一切就绪, 双重还原, 漫长的等待时间也不是可以浪费的, 毕竟是正在运行的业务, 此时销售员群里情绪稳定. 此需需要同步进行的工作是: 通过binlog生成可重放的sql文件, 进行执行.
语句参考: (这里的position 是从之前的备份文件里取到的)
mysqlbinlog --start-datetime="2019-11-19 07:00:00" --stop-datetime="2019-11-19 12:30:00" mysql-bin.000064 > back_A1.sql
mysqlbinlog --start-position=228458234 --stop-datetime="2019-11-19 12:30:00" -dXX mysql-bin.000064 > back_A2.sql
很快mysqlbinlog导出完毕, 但数据库还原还没完成.
时间紧急继续不能浪费时间:
启用方法二: 进行binlog2sql语句恢复, 由于此第三方工具使用的是 python 写的工具, 而且长时间没有演练了, 所以使用上并不是那么顺畅,
参考文档:
https://github.com/danfengcao/binlog2sql/blob/master/example/mysql-flashback-priciple-and-practice.md
安装方法:
shell> git clone https://github.com/danfengcao/binlog2sql.git && cd binlog2sql
shell> pip install -r requirements.txt
但安装后, 执行 python binlog2sql/binlog2sql.py 一直报错,
错误1: command not found: pip
总算执行成功:
Downloading https://files.pythonhosted.org/packages/c6/42/c54c280d8418039bd2f61284f99cb6d9e0eae80383fc72ceb6eac67855fe/PyMySQL-0.7.11-py2.py3-none-any.whl (78kB) |████████████████████████████████| 81kB 179kB/s Collecting wheel==0.29.0 (from -r requirements.txt (line 2)) Downloading https://files.pythonhosted.org/packages/8a/e9/8468cd68b582b06ef554be0b96b59f59779627131aad48f8a5bce4b13450/wheel-0.29.0-py2.py3-none-any.whl (66kB) |████████████████████████████████| 71kB 330kB/s Collecting mysql-replication==0.13 (from -r requirements.txt (line 3)) Downloading https://files.pythonhosted.org/packages/dd/23/384047702e694139e9fe75a8ba7ad007e8942fd119ebadabc32ce19f70f2/mysql-replication-0.13.tar.gz Building wheels for collected packages: mysql-replication Building wheel for mysql-replication (setup.py) ... done Stored in directory: /Users/apple-ec/Library/Caches/pip/wheels/91/33/05/32b16ccadd4fc566ff38af96afdeb5d57d49c2f1eff0402164 Successfully built mysql-replication Installing collected packages: PyMySQL, wheel, mysql-replication Found existing installation: PyMySQL 0.9.3 Uninstalling PyMySQL-0.9.3: Successfully uninstalled PyMySQL-0.9.3 Found existing installation: wheel 0.33.4 Uninstalling wheel-0.33.4: Successfully uninstalled wheel-0.33.4 Successfully installed PyMySQL-0.7.11 mysql-replication-0.13 wheel-0.29.0
此时mysqldump 的数据恢复完毕, 暂时将里面3:00备份的A表导出, 再导入正式环境, 来缓解业务人员的的情绪, 毕竟此时是丢失的3:00到12:30之间的数据添加与修改, 这个操作是很有必要的, 不致于将事态升级. 一边安抚用户, 一边继续还原完整数据
按照git上binlog2sql的文档说明, 执行命令:
/opt/python2.7/bin/python /srv/binlog2sql/binlog2sql/binlog2sql.py -dXX -tA --start-file="mysql-bin.000064" --start-position=228458234 --stop-datetime '2019-11-19 12:30:00' > back_01.sql
/opt/python2.7/bin/python /srv/binlog2sql/binlog2sql/binlog2sql.py -dXX -tA --start-file="mysql-bin.000064" --start-datetime '2019-11-19 07:00:00' --stop-datetime '2019-11-19 12:30:00' > back_02.sql
导出数据文件, back_01.sql,back_02.sql, 这里千万不能忙中出错, 导致更大的问题, 毕竟是正式环境, 容不得错误, 更何况是违规操作.
检查一下binlog2sql导致的sql文件正确性: 将back_01.sql 和 back_02.sql 下载到本机, 使用VSCode 打开查看, 果然里面有truncate table 的危险操作, 清洗sql只保留和A表有关的数据update 和 insert 操作, 反复检查, 本机环境执行sql还原, 检查表数据结果, 一切正常, mysqldump 导出A表 A.sql, 正式环境执行 A.sql (当然要先清理一下刚才的临时解决方案的数据), 检查表ID的完整性, 如果ID还有断点, 重复以上操作, 直到还原完整数据.
群里通知 "数据库优化完成", 已可以正常使用.
至此整个数据已还原完毕, 为尽量防止类似事情再次发生, 这里做一下小结:
1. 每个正式环境的drop, delete都要进行严格审核, 其实只要细心一些, 或在测试环境预演一下执行过程, 会更安全一些.
2. 经常要演练还原过程, 避免长时间不演练, 导致处理过程过长
3. 由于一旦发生此类事件, 都是比较紧急的, 情急之下很容易出现忙中出错的情况, 这是非常考验心理素质的, 宁可慢一些, 也不要引出更严重的问题
4. 常在河边走, 怎能不失脚, 线上执行的任务动作都要小心, 小心再小心
5. 执行之前可以做一些备份, 比如copy表, 以防万一
6. 如果执行的DDL, 那么就只能通过 方法一 和 方法三 来还原了
此时xtrabackup 的数据已还原完成, 此时就此在测试环境做一下演练也是非常不错的机会, 这里总结一下演练过程中遇到的问题和解决方法:
虽然数据还原到了 7:00 ,但7:00~12:30之间的执行还是要进行重放, 才可以得出正确的数据,
shell> mysql -e "source back_A1.sql"
一直提示 主键 Duplicate entry '168900' for key ‘PRIMARY' 这样的错误, 主要因为 binlog的取值范围不准确导致的, 需要根据报错, 对sql进行手动删除, 继续执行, 继续报错, 修正, 再执行, 直到顺利执行,
注意此时, 如果使用在mysql命令行下, 执行 source back_A1.sql 则不会因错误终止, 程序会全部执行, 所以也可以通过 mysql命令行下的执行 source back_A1.sql ,这样就不用手动修改sql文件了, 相当于Duplicate 的错误直接跳过.
其它, 解决问题过程中发现的一个mysql官方说明的一个好用的命令:
explain:
select * from a inner join b on a.id=b.a_id;
show warnings;
binlog2sql 还有一个更快速的方法, 直接成delete操作的对应insert sql:
根据位置信息,我们确定了误操作sql来自同一个事务,准确位置在257427-504272之间(binlog2sql对于同一个事务会输出同样的start position)。再根据位置过滤,使用 -B 选项生成回滚sql,检查回滚sql是否正确。(注:真实场景下,生成的回滚SQL经常会需要进一步筛选。结合grep、编辑器等)
/opt/python2.7/bin/python /srv/binlog2sql/binlog2sql/binlog2sql.py -dXX -tA --start-file="mysql-bin.000064" --start-datetime '2019-11-19 12:30:00' --stop-datetime '2019-11-19 12:30:00' -B > back_0x.sql
但这个一定要注意对生成的sql进行清洗, 只取被删除的那部分数据对应的 insert 即可. 不然可能导致原有的insert在此时被转换成了delete,而删除数据.
此方法比较快速, 但需要人为再次甄别, 切记切记.
参考资料
https://github.com/danfengcao/binlog2sql/blob/master/example/mysql-flashback-priciple-and-practice.md
MySQL闪回原理与实战
DBA或开发人员,有时会误删或者误更新数据,如果是线上环境并且影响较大,就需要能快速回滚。传统恢复方法是利用备份重搭实例,再应用去除错误sql后的binlog来恢复数据。此法费时费力,甚至需要停机维护,并不适合快速回滚。也有团队利用LVM快照来缩短恢复时间,但快照的缺点是会影响mysql的性能。
MySQL闪回(flashback)利用binlog直接进行回滚,能快速恢复且不用停机。本文将介绍闪回原理,给出笔者的实战经验,并对现存的闪回工具作比较。
开胃菜
某天,小明因种种原因,误删了大批线上用户表的数据。他急忙找到公司DBA请求帮助,“客服电话已被打爆,大量用户投诉无法登陆,领导非常恼火。请问多久能恢复数据?”DBA一脸懵逼,沉默十秒后,伸出一根手指。“你的意思是一分钟就能恢复?太好了。”小明终于有些放松,露出了一丝笑容。“不,我们中有个人将会离开公司。”DBA沉痛的说道。
勿让悲剧发生,尽早将此文转给公司DBA。
闪回原理
binlog概述
MySQL binlog以event的形式,记录了MySQL server从启用binlog以来所有的变更信息,能够帮助重现这之间的所有变化。MySQL引入binlog主要有两个目的:一是为了主从复制;二是某些备份还原操作后需要重新应用binlog。
有三种可选的binlog格式,各有优缺点:
statement:基于SQL语句的模式,binlog数据量小,但是某些语句和函数在复制过程可能导致数据不一致甚至出错;
row:基于行的模式,记录的是行的完整变化。很安全,但是binlog会比其他两种模式大很多;
mixed:混合模式,根据语句来选用是statement还是row模式;
利用binlog闪回,需要将binlog格式设置为row。row模式下,一条使用innodb的insert会产生如下格式的binlog:
#at 1129
#161225 23:15:38 server id 3773306082 end_log_pos 1197 Query thread_id=1903021 exec_time=0 error_code=0
SET TIMESTAMP=1482678938/*!*/;
BEGIN
/*!*/;
#at 1197
#161225 23:15:38 server id 3773306082 end_log_pos 1245 Table_map: `test`.`user` mapped to number 290
#at 1245
#161225 23:15:38 server id 3773306082 end_log_pos 1352 Write_rows: table id 290 flags: STMT_END_F
BINLOG '
muJfWBPiFOjgMAAAAN0EAAAAACIBAAAAAAEABHRlc3QABHVzZXIAAwMPEQMeAAAC
muJfWB7iFOjgawAAAEgFAAAAACIBAAAAAAEAAgAD//gBAAAABuWwj+i1tVhK1hH4AgAAAAblsI/p
krFYStYg+AMAAAAG5bCP5a2ZWE/onPgEAAAABuWwj+adjlhNeAD4BQAAAAJ0dFhRYJM=
'/*!*/;
#at 1352
#161225 23:15:38 server id 3773306082 end_log_pos 1379 Xid = 5327954
COMMIT/*!*/;
闪回原理
既然binlog以event形式记录了所有的变更信息,那么我们把需要回滚的event,从后往前回滚回去即可。
对于单个event的回滚,我们以表test.user来演示原理
mysql> show create table test.user\G
*************************** 1. row ***************************
Table: user
Create Table: CREATE TABLE `user` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`name` varchar(10) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=6 DEFAULT CHARSET=utf8
对于delete操作,我们从binlog提取出delete信息,生成的回滚语句是insert。(注:为了方便解释,我们用binlog2sql将原始binlog转化成了可读SQL)
原始:DELETE FROM `test`.`user` WHERE `id`=1 AND `name`='小赵';
回滚:INSERT INTO `test`.`user`(`id`, `name`) VALUES (1, '小赵');
对于insert操作,回滚SQL是delete。
原始:INSERT INTO `test`.`user`(`id`, `name`) VALUES (2, '小钱');
回滚:DELETE FROM `test`.`user` WHERE `id`=2 AND `name`='小钱';
对于update操作,回滚sql应该交换SET和WHERE的值。
原始:UPDATE `test`.`user` SET `id`=3, `name`='小李' WHERE `id`=3 AND `name`='小孙';
回滚:UPDATE `test`.`user` SET `id`=3, `name`='小孙' WHERE `id`=3 AND `name`='小李';
闪回实战
真实的闪回场景中,最关键的是能快速筛选出真正需要回滚的SQL。
我们使用开源工具binlog2sql来进行实战演练。binlog2sql由美团点评DBA团队(上海)出品,多次在线上环境做快速回滚。
首先我们安装binlog2sql:
shell> git clone https://github.com/danfengcao/binlog2sql.git && cd binlog2sql
shell> pip install -r requirements.txt
背景:小明在11:44时误删了test库user表大批的数据,需要紧急回滚。
test库user表原有数据
mysql> select * from user;
+----+--------+---------------------+
| id | name | addtime |
+----+--------+---------------------+
| 1 | 小赵 | 2013-11-11 00:04:33 |
| 2 | 小钱 | 2014-11-11 00:04:48 |
| 3 | 小孙 | 2016-11-11 20:25:00 |
| 4 | 小李 | 2013-11-11 00:00:00 |
.........
+----+--------+---------------------+
16384 rows in set (0.04 sec)
11:44时,user表大批数据被误删除。与此同时,正常业务数据是在继续写入的
mysql> delete from user where addtime>'2014-01-01';
Query OK, 16128 rows affected (0.18 sec)
mysql> select count(*) from user;
+----------+
| count(*) |
+----------+
| 261 |
+----------+
恢复数据步骤:
登录mysql,查看目前的binlog文件
mysql> show master logs;
+------------------+-----------+
| Log_name | File_size |
+------------------+-----------+
| mysql-bin.000053 | 168652863 |
| mysql-bin.000054 | 504549 |
+------------------+-----------+
最新的binlog文件是mysql-bin.000054。我们的目标是筛选出需要回滚的SQL,由于误操作人只知道大致的误操作时间,我们首先根据时间做一次过滤。只需要解析test库user表。(注:如果有多个sql误操作,则生成的binlog可能分布在多个文件,需解析多个文件)
shell> python binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -tuser --start-file='mysql-bin.000054' --start-datetime='2016-12-26 11:44:00' --stop-datetime='2016-12-26 11:50:00' > /tmp/raw.sql
raw.sql输出:
DELETE FROM `test`.`user` WHERE `addtime`='2014-11-11 00:04:48' AND `id`=2 AND `name`='小钱' LIMIT 1; #start 257427 end 265754 time 2016-12-26 11:44:56
DELETE FROM `test`.`user` WHERE `addtime`='2015-11-11 20:25:00' AND `id`=3 AND `name`='小孙' LIMIT 1; #start 257427 end 265754 time 2016-12-26 11:44:56
...
DELETE FROM `test`.`user` WHERE `addtime`='2016-12-14 23:09:07' AND `id`=24530 AND `name`='tt' LIMIT 1; #start 257427 end 504272 time 2016-12-26 11:44:56
INSERT INTO `test`.`user`(`addtime`, `id`, `name`) VALUES ('2016-12-10 00:04:33', 32722, '小王'); #start 504299 end 504522 time 2016-12-26 11:49:42
...
根据位置信息,我们确定了误操作sql来自同一个事务,准确位置在257427-504272之间(binlog2sql对于同一个事务会输出同样的start position)。再根据位置过滤,使用 -B 选项生成回滚sql,检查回滚sql是否正确。(注:真实场景下,生成的回滚SQL经常会需要进一步筛选。结合grep、编辑器等)
shell> python binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -tuser --start-file='mysql-bin.000054' --start-position=257427 --stop-position=504272 -B > /tmp/rollback.sql
rollback.sql 输出:
INSERT INTO `test`.`user`(`addtime`, `id`, `name`) VALUES ('2016-12-14 23:09:07', 24530, 'tt'); #start 257427 end 504272 time 2016-12-26 11:44:56
INSERT INTO `test`.`user`(`addtime`, `id`, `name`) VALUES ('2016-12-12 00:00:00', 24529, '小李'); #start 257427 end 504272 time 2016-12-26 11:44:56
...
INSERT INTO `test`.`user`(`addtime`, `id`, `name`) VALUES ('2014-11-11 00:04:48', 2, '小钱'); #start 257427 end 265754 time 2016-12-26 11:44:56
shell> wc -l /tmp/rollback.sql
16128 /tmp/rollback.sql
与业务方确认回滚sql没问题,执行回滚语句。登录mysql,确认回滚成功。
shell> mysql -h127.0.0.1 -P3306 -uadmin -p'admin' < /tmp/rollback.sql
mysql> select count(*) from user;
+----------+
| count(*) |
+----------+
| 16389 |
+----------+
TIPS
闪回的目标:快速筛选出真正需要回滚的数据。
先根据库、表、时间做一次过滤,再根据位置做更准确的过滤。
由于数据一直在写入,要确保回滚sql中不包含其他数据。可根据是否是同一事务、误操作行数、字段值的特征等等来帮助判断。
执行回滚sql时如有报错,需要查实具体原因,一般是因为对应的数据已发生变化。由于是严格的行模式,只要有唯一键(包括主键)存在,就只会报某条数据不存在的错,不必担心会更新不该操作的数据。业务如果有特殊逻辑,数据回滚可能会带来影响。
如果只回滚某张表,并且该表有关联表,关联表并不会被回滚,需与业务方沟通清楚。
哪些数据需要回滚,让业务方来判断!
闪回工具
MySQL闪回特性最早由阿里彭立勋开发,彭在2012年给官方提交了一个patch,并对闪回设计思路做了说明(设计思路很有启发性,强烈推荐阅读)。但是因为种种原因,业内安装这个patch的团队至今还是少数,真正应用到线上的更是少之又少。彭之后,又有多位人员针对不同mysql版本不同语言开发了闪回工具,原理用的都是彭的思路。
我将这些闪回工具按实现方式分成了三类。
第一类是以patch形式集成到官方工具mysqlbinlog中。以彭提交的patch为代表。
优点
上手成本低。mysqlbinlog原有的选项都能直接利用,只是多加了一个闪回选项。闪回特性未来有可能被官方收录。
支持离线解析。
缺点
兼容性差、项目活跃度不高。由于binlog格式的变动,如果闪回工具作者不及时对补丁升级,则闪回工具将无法使用。目前已有多位人员分别针对mysql5.5,5.6,5.7开发了patch,部分项目代码公开,但总体上活跃度都不高。
难以添加新功能,实战效果欠佳。在实战中,经常会遇到现有patch不满足需求的情况,比如要加个表过滤,很简单的一个需求,代码改动也不会大,但对大部分DBA来说,改mysql源码还是很困难的事。
安装稍显麻烦。需要对mysql源码打补丁再编译生成。
这些缺点,可能都是闪回没有流行开来的原因。
第二类是独立工具,通过伪装成slave拉取binlog来进行处理。以binlog2sql为代表。
优点
兼容性好。伪装成slave拉binlog这项技术在业界应用的非常广泛,多个开发语言都有这样的活跃项目,MySQL版本的兼容性由这些项目搞定,闪回工具的兼容问题不再突出。
添加新功能的难度小。更容易被改造成DBA自己喜欢的形式。更适合实战。
安装和使用简单。
缺点
必须开启MySQL server。
第三类是简单脚本。先用mysqlbinlog解析出文本格式的binlog,再根据回滚原理用正则进行匹配并替换。
优点
脚本写起来方便,往往能快速搞定某个特定问题。
安装和使用简单。
支持离线解析。
缺点
通用性不好。
可靠性不好。
就目前的闪回工具而言,线上环境的闪回,笔者建议使用binlog2sql,离线解析使用mysqlbinlog。
关于DDL的flashback
本文所述的flashback仅针对DML语句的快速回滚。但如果误操作是DDL的话,是无法利用binlog做快速回滚的,因为即使在row模式下,binlog对于DDL操作也不会记录每行数据的变化。要实现DDL快速回滚,必须修改MySQL源码,使得在执行DDL前先备份老数据。目前有多个mysql定制版本实现了DDL闪回特性,阿里林晓斌团队提交了patch给MySQL官方,MariaDB预计在不久后加入包含DDL的flashback特性。DDL闪回的副作用是会增加额外存储。考虑到其应用频次实在过低,本文不做详述,有兴趣的同学可以自己去了解,重要的几篇文章我在参考资料中做了引用。