MySQL pt-archive数据归档批量与非批量性能对比

一、数据批量归档与非批量归档性能对比

  • pt-archive使用批量与非批量模式归档 10 万条数据,对比两种方式性能。
1. 非批量归档数据
[root@dmp-udp1 ~]# pt-archiver --source h=10.186.61.211,P=3306,u=root,p='123456',D=testdb,t=sbtest1 --dest h=10.186.61.213,P=3307,u=root,p='123456',D=testdb,t=sbtest1 \
--where 'id<=500000' --no-check-charset --txn-size 1000 --progress 20000 --limit=1000 --statistics --purge
TIME                ELAPSED   COUNT
2020-06-24T03:02:31       0       0
2020-06-24T03:02:42      11   20000
2020-06-24T03:02:54      23   40000
2020-06-24T03:03:07      36   60000
2020-06-24T03:03:21      50   80000
2020-06-24T03:03:34      63  100000
2020-06-24T03:03:34      63  100000
Started at 2020-06-24T03:02:31, ended at 2020-06-24T03:03:34
Source: D=testdb,P=3306,h=10.186.61.211,p=...,t=sbtest1,u=root
Dest:   D=testdb,P=3307,h=10.186.61.213,p=...,t=sbtest1,u=root
SELECT 100000
INSERT 100000
DELETE 100000
Action         Count       Time        Pct
deleting      100000    20.8761      33.00
commit           202    17.2942      27.34
inserting     100000    16.9534      26.80
select           101     0.6427       1.02
other              0     7.5005      11.86
2. 批量归档数据
[root@dmp-udp1 ~]# pt-archiver --source h=10.186.61.211,P=3306,u=root,p='123456',D=testdb,t=sbtest1 --dest h=10.186.61.213,P=3307,u=root,p='123456',D=testdb,t=sbtest1 \
--where 'id<=600000' --no-check-charset --txn-size 1000 --progress 20000 --limit=1000 --bulk-delete --bulk-insert --statistics --purge
TIME                ELAPSED   COUNT
2020-06-24T03:11:32       0       0
2020-06-24T03:11:33       1   20000
2020-06-24T03:11:35       3   40000
2020-06-24T03:11:36       4   60000
2020-06-24T03:11:38       6   80000
2020-06-24T03:11:41       9  100000
2020-06-24T03:11:41       9  100000
Started at 2020-06-24T03:11:32, ended at 2020-06-24T03:11:41
Source: D=testdb,P=3306,h=10.186.61.211,p=...,t=sbtest1,u=root
Dest:   D=testdb,P=3307,h=10.186.61.213,p=...,t=sbtest1,u=root
SELECT 100000
INSERT 100000
DELETE 100000
Action              Count       Time        Pct
commit                202     2.2180      23.97
bulk_deleting         100     1.7307      18.70
bulk_inserting        100     1.4240      15.39
select                101     1.0553      11.41
print_bulkfile     100000    -0.6739      -7.28
other                   0     3.4986      37.81

二、总结

模拟场景 非批量操作 批量操作
归档 10 万条数据,删除原表数据 63s 10s
「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论