当前位置:首页 > 开发 > 数据库 > 正文

千万条数据外网导入数据库的解决方案。

发表于: 2014-10-22   作者:alleni123   来源:转载   浏览:
摘要: 从某网上爬了数千万的数据,存在文本中。 然后要导入mysql数据库。 悲剧的是数据库和我存数据的服务器不在一个内网里面。。 ping了一下, 19ms的延迟。 于是下面的代码是没用的。 ps = con.prepareStatement(sql); ps.setString(1, info.getYear())............; ps.exec
从某网上爬了数千万的数据,存在文本中。
然后要导入mysql数据库。

悲剧的是数据库和我存数据的服务器不在一个内网里面。。


ping了一下, 19ms的延迟。

于是下面的代码是没用的。
ps = con.prepareStatement(sql);
	ps.setString(1, info.getYear())............;
			ps.execute();


这种一条条插入的。 平均一条起码要20ms。
没一周这数据插不完。



后来领导告诉我navicat支持批量插入。
于是乎,花了很大功夫,把数据转了一下,弄成navicat的形式。(我是不会设置navicat来适应我的文本).

结果更慢了我擦,从之前的一秒50个,掉到了1秒30个。



==================最终解决方案==================

http://stackoverflow.com/questions/5526917/how-to-do-a-batch-insert-in-mysql


果然还是google最能解决问题。。

INSERT INTO tbl_name (a,b,c) VALUES(1,2,3),(4,5,6),(7,8,9);


这里将数据放在一起,生成一个很长的insert语句。
我这里从本地每次拿1000个数据,然后执行一次insert。
搞定。

千万条数据外网导入数据库的解决方案。

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
原文: [Asp.net]常见数据导入Excel,Excel数据导入数据库解决方案,总有一款适合你! 引言 项目中常
引言 项目中常用到将数据导入Excel,将Excel中的数据导入数据库的功能,曾经也查找过相关的内容,将
引言 项目中常用到将数据导入Excel,将Excel中的数据导入数据库的功能,曾经也查找过相关的内容,将
一. 数据导入(DataImportHandler-DIH) DIH 是solr 提供的一种针对数据库、xml/HTTP、富文本对象导入
接Solr-4.10.2与Tomcat整合。 1、在solrconfig.xml中添加数据导入节点,solrconfig.xml路径为D:\sol
1、把mysql驱动放E:\solr-5.1.0\server\solr-webapp\webapp\WEB-INF\lib 把E:\solr-5.1.0\dist目录下
1、excel另存为txt。 选中将要导出的数据列,然后另存为选择其它格式=>文本文件(制表符分割)。
1、excel另存为txt。 选中将要导出的数据列,然后另存为选择其它格式=>文本文件(制表符分割)。
方法一、 1.在需要导入的数据最后一列,写入一个Excel公式(例子中是“SQL”下面的单元格,“SQL”是
这里介绍2种把excel数据导入oracle数据库的方法。 1. 在excel中生成sql语句。 1)在数据列的右侧,
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号