当前位置:首页 > 开发 > 数据库 > 正文

千万条数据外网导入数据库的解决方案。

发表于: 2014-10-22   作者:alleni123   来源:转载   浏览:
摘要: 从某网上爬了数千万的数据,存在文本中。 然后要导入mysql数据库。 悲剧的是数据库和我存数据的服务器不在一个内网里面。。 ping了一下, 19ms的延迟。 于是下面的代码是没用的。 ps = con.prepareStatement(sql); ps.setString(1, info.getYear())............; ps.exec
从某网上爬了数千万的数据,存在文本中。
然后要导入mysql数据库。

悲剧的是数据库和我存数据的服务器不在一个内网里面。。


ping了一下, 19ms的延迟。

于是下面的代码是没用的。
ps = con.prepareStatement(sql);
	ps.setString(1, info.getYear())............;
			ps.execute();


这种一条条插入的。 平均一条起码要20ms。
没一周这数据插不完。



后来领导告诉我navicat支持批量插入。
于是乎,花了很大功夫,把数据转了一下,弄成navicat的形式。(我是不会设置navicat来适应我的文本).

结果更慢了我擦,从之前的一秒50个,掉到了1秒30个。



==================最终解决方案==================

http://stackoverflow.com/questions/5526917/how-to-do-a-batch-insert-in-mysql


果然还是google最能解决问题。。

INSERT INTO tbl_name (a,b,c) VALUES(1,2,3),(4,5,6),(7,8,9);


这里将数据放在一起,生成一个很长的insert语句。
我这里从本地每次拿1000个数据,然后执行一次insert。
搞定。

千万条数据外网导入数据库的解决方案。

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号