当前位置:首页 > 开发 > 互联网 > 正文

使用Scrapy时出现虽然队列里有很多Request但是却不下载,造成假死状态

发表于: 2012-08-16   作者:酷的飞上天空   来源:转载   浏览:
摘要: 现象就是: 程序运行一段时间,可能是几十分钟或者几个小时,然后后台日志里面就不出现下载页面的信息,一直显示上一分钟抓取了0个网页的信息。 刚开始已经猜到是某些下载线程没有正常执行回调方法引起程序一直以为线程还未下载完成,但是水平有限研究源码未果。 经过不停的google终于发现一个有价值的信息,是给twisted提出的一个bugfix 连接地址如下http://twistedmatrix.

现象就是:

程序运行一段时间,可能是几十分钟或者几个小时,然后后台日志里面就不出现下载页面的信息,一直显示上一分钟抓取了0个网页的信息。

刚开始已经猜到是某些下载线程没有正常执行回调方法引起程序一直以为线程还未下载完成,但是水平有限研究源码未果。

经过不停的google终于发现一个有价值的信息,是给twisted提出的一个bugfix

连接地址如下http://twistedmatrix.com/trac/attachment/ticket/5773/patch1.diff#L739

 

为client加上了超时的限制,一定时间内如果无响应则执行设定的超时回调。

 

我把里面的timeout=0改成了timeout=10

替换后在运行scrapy程序,问题不再出现

 

附件中为替换好的文件,下载后直接去掉文件后缀 .rar即可

使用Scrapy时出现虽然队列里有很多Request但是却不下载,造成假死状态

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
解决办法: 设置自动隐藏任务栏,然后应用! 这步的目的不是真的为了隐藏而去设置,等你点击应用后
第一步:在jsp页面里写个函数 <script type="text/javascript"> function XXX(){ --方法调用完
‍‍‍‍等我明天答完辩后,就把主要代码贴出来!‍‍ 后台管理页面: 前台展示页面: 等我明天答完
这是百度上面的性格色彩分析应用,本人用老爸老妈给的名字和后来自己改的名字分别做分析—— 曾用名
最近在给公司一个前台页面嵌入一个中国地图,使用的是ammap的开源项目,但是此项目就是对中国地图的
IT从业者有着很高的薪酬,但他们并不那么开心,快乐程度低于一般工作岗位的人。 人生平淡简单的幸福
"亏你翻出来这个,我收藏,这叫夫妻店!",我给起了个好名字。 “黑店啊,在server上面好多黑店!”
"亏你翻出来这个,我收藏,这叫夫妻店!",我给起了个好名字。 “黑店啊,在server上面好多黑店!”
Asp.net网站直接运行的时候正常,按照以下的方式进行WEB测试 在做WEB测试的时候发生一件比较奇怪的
话说,这个问题困扰了我两个多月了已经~~~ 后来发现不知道被谁动了,把我的仓库没有放到仓库组里面~
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号