丢掉DDL,我用这招3分钟清空 MySQL 9亿记录数据表

摘要：最近由于福建开机广告生产环境的广告日志备份表主键（int类型）达到上限（21亿多），不能再写入数据，需要重新清空下该表并将主键重置，但由于表里有8亿多记录的数据量，使用重置命令及DDL命令执行地非常慢，所以采取删除物理表结构文件的方式来进行快速清空表表数据！

前言

1、本文介绍是在MySQL 5.5.29版本进行的操作，其他的版本的没有试过，有兴趣的可以自己尝试去试下！

2、本文介绍的是删除frm和idb文件，同时不破坏原表结构的清空数据的方式！

一、数据背景及系统介绍

为更好说明问题，首先介绍下我们系统的数据流转的过程

step1:日志入库。API向机顶盒/EPG提供广告接口，采集广告请求日志，当STB访问EPG，EPG调用广告请求接口获取广告策略，并写入到报表数据库的【广告请求数据原始表t_ad_req_log】中；

step2:存储过程备份日志表数据。由于每天产生的广告请求数据量有2000多万，对于etl汇总时抽取有压力，所以通过存储过程将7天以前的数据备份到【广告请求数据备份表t_ad_req_log_back】中，【广告请求数据原始表t_ad_req_log】只保留7天内的数据，约8000万~1亿2千万记录左右；

step3:etl抽取汇总。使用etl每小时抽取【广告请求数据原始表t_ad_req_log】的上一时段的数据，抽取，分析，汇总写入报表数据库的【广告/广告位按时段汇总表】里面；

step4:定时删除备份日志表数据。每隔一段时间检查下数据etl汇总后的数据是否有问题，确认无误数据没问题后才将【广告请求数据备份表t_ad_req_log_back】清空，因为该表占用空间实在太大了，不清空隔一段时间就会收到磁盘空间报警短信！

本次就是有近2个月没有清空数据，发现就有近9亿条记录（为什么这里不用select count(*) 语句来查询？是因为执行这样一条语句10来分钟都没出结果，才用的explain来查看下表中总数据记录）

占用磁盘空间也是高得吓人，120G

 当然不仅仅是因为占用磁盘过高，更重要的原因是，该表的主键值达到int类型的上限值2147483646了（21亿多），这使得最新的备份数据不能继续写入到该备份表了

所以，确认汇总表没有数据缺失后，急需清空该备份表的数据，并重置下主键

二、为什么不用DDL

通过上面确认【广告请求数据备份表t_ad_req_log_back】表数据可删后，当务之急就是要尽快清空数据，无疑最先想到的就是使用使用ALTER重置主键，执行命令：

ALTER TABLE t_ad_req_log AUTO_INCREMENT= 1;

开个小会，结果36分钟过去没有出现结果，尴尬了，执行线程查询命令：

show processlist;

发现一直在“ copy to tmp table”，无奈，停下来试试执行drop命令：

DROP TABLE t_ad_req_log;

喝杯咖啡，执行了40分钟还没删掉，快急出翔了。

什么叫无能为力？什么叫难以启齿的柔弱？大概就是MySQL DDL遇到9亿级表结构的时候了吧！

于是不得已另选它法——删除表文件ibd和frm方式！

三、3分钟删除

当然，找到该表的文件，一键rm -rf 删除还是贼爽的，轻轻松松不用3分钟。

不过因为不知道这么删会不会有什么关联影响，于是就先到测试服务器做了个测试，还是遇到了些问题，记录下步骤后，到现网删除9亿级记录数据清空数据也是用了不到3分钟？具体操作如下：

3.1 表结构备份

先在测试数据库创建一个与现网【广告请求数据备份表t_ad_req_log_back】一样的表，然后将备份表的表文件t_ad_req_log_back.frm和t_ad_req_log_back.ibd拷贝到现网/home目录下，这一步的操作主要是为了后面解决建表时出现的“Table `t_ad_req_log_back` already exists”问题

3.2 删掉现网表文件

切换到mysql的data目录下，执行删除命令：

rm -rf t_ad_req_log_back.*

再一看，磁盘空间并没有释放，还是276G

于是使用lsof命令查看文件信息：

lsof -n|grep deleted

发现删除程序还存活

继续使用kill -9 27713命令该进程，磁盘空间得到释放

3.3 重新建表

由于表文件已经被删掉，该表也就不存在，使用show命令查看也确实没有发现这个表了

于是想继续建表，发现报错，报错信息一直是“Table `t_ad_req_log_back` already exists”

 Google了一下，才找到原因，原来是：

由于直接删除了表的物理文件 但mysql的信息库 information_schema 或 mysql 库对该表的信息还存在，也就是说InnoDB格式的表索引都保存在ibdata1这个文件中，虽然物理文件被删除，但是ibdata1中的索引没有删除，所以数据库认为该表已经存在，导致创建失败，也就说直接rm -rf 表文件破坏了表结构。

 难道这个表名就无法再用了吗？ 

当然可以，j记得吗？我们最先做了个表结构备份，现在它派上用场了，将/home目录下的两个表文件t_ad_req_log_back.frm和t_ad_req_log_back.ibd拷贝到数据库的data的目录下，发现表存在了

执行desc命令发现又报错“Table `t_ad_req_log_back` already exists”，这是怎回事呢？

改变用户权限

chmod 660 t_ad_req_log_back.frm
chown -R mysql:mysql t_ad_req_log_back.frm

 我的相关文章参考：不停机不停服务，MYSQL可以这样修改亿级数据表结构

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有