大量SQL语句文本,如何快速导入到MySQL中?

目录

  • MongoDB服务器CPU一直很高,最高达到900%,可能是哪些原因?
  • MySQL运行环境中,当发现系统已经用到了swap,该怎么处理?
  • 大量SQL语句文本,如何快速导入到MySQL中?

一、MongoDB服务器CPU一直很高,最高达到900%,可能是哪些原因?

答:可能原因如下:

1、高并发场景下,服务器开启numa

2、mongo查询无索引,消耗大量内存和io

3、服务器硬件故障,例如CPU 内存 raid卡等

3、高并发写入下开启读写分离+oplog应用加锁

4、高并发短链接+最新SCRAM-SHA-1认证的情况

二、MySQL运行环境中,当发现系统已经用到了swap,该怎么处理?

答:一般来说,发生swap的原因是系统认为内存不够了。

那么,当物理内存真的不够了,或者著名的NUMA都是引起swap的可能原因。通常的应对方法有几种:

1、通过BIOS、系统内核参数关闭NUMA,或者在mysqld启动时,利用numactl关闭NUMA的使用

2、调低系统使用swap的权重,设置内核参数 参数 vm.swappiness 不高s 不高于10

3、Linux下使用free命令查看内存使用情况,确认是否发生了内存泄露,可以去微信公众号「老叶茶馆」中发送“OOM”

4、修改MySQL参数innodb_flush_method = O_DIRECT,这样InnoDB在读写物理数据的时候会绕过cache来访问磁盘

5、优化SQL效率,避免产生额外的分组、排序、临时表情况发生,参考文章:文章:http://t.cn/EwLIuFv

6、在【夜间或业务不繁忙】时适合执行 swapoff -a,并执行sync刷新操作系统内存脏页到硬盘

三、大量SQL语句文本,如何快速导入到MySQL中?

答:

1、可在SQL文本前,添加set session sql_log_bin=0(需要在从库也导入一次)。

2、导入期间临时修改参数sync_binlog=10000、innodb_flush_log_at_trx_commit=0、innodb_autoinc_lock_mode=2

3、导入前,根据业务情况看能否删除除了自增列主键外的其他索引。

4、将SQL文件切割成多份,再并发多线程导入。

5、若该SQL文件是每个INSERT一行,需要先行将多行合并成一行,即启用extended-insert模式。

6、以上建议,在线上环境请谨慎评估该骚操作的风险性。

7、以上建议,仅考虑尽快导入,涉及到和具体业务需求相冲突时(例如太快导入反倒会影响在线数据库性能),以实际情况为主。


公众号:知数堂,更多MySQL干货知识,关注公众号获取。

原文链接:https://zhishutang.com/uxF
推荐阅读:https://zhishutang.com/xdI

你可能感兴趣的