当前位置:首页 > 开发 > 编程语言 > Python > 正文

python 抓取网页

发表于: 2014-11-05   作者:blackproof   来源:转载   浏览次数:
摘要: #urllib2 wp = urllib2.urlopen(self.url) content = wp.read();   pycurl buf = cStringIO.StringIO() c = pycurl.Curl() c.setopt(c.URL,self.url)
#urllib2
wp = urllib2.urlopen(self.url)
content = wp.read();

 

pycurl

        	buf = cStringIO.StringIO()
         
        	c = pycurl.Curl()
        	c.setopt(c.URL,self.url)
        	c.setopt(c.WRITEFUNCTION, buf.write)
        	c.perform()
         	
        	content =  buf.getvalue()
        	buf.close()        
    
    
    	   
            jc = json.loads(content)

 

# 设置超时时间为30秒  
import socket  
socket.setdefaulttimeout(30) 

 

 

python 抓取网页

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
python抓取网页图片 网页的图片大致是用Image导入的,使用的是相对路径,例如 <image src="image
声明:本文只用于技术交流和学习使用,如果侵害到您的合法权利,请发邮件到daokun66@163.com告知删
  1.分析 ,要抓取的页面的信息以及对应的源码信息   blog.sina.com.cn/s/blog 93dc666c0101b1b
用Python实现常规的静态网页抓取时,往往是用urllib2来获取整个HTML页面,然后从HTML文件中逐字查找
之前做聊天室时,由于在聊天室中提供了新闻阅读的功能,写了一个从网页中抓取信息(如最新的头条新
最近在研究怎么样做个自动发帖器,要完成这个工具难度蛮大的,验证码就是一个大问题(还没有想到解决
使用Python抓取网页的时候,有时候我们会解析出现异常,这时候,就会导致整个网页解析不成功,究其原
使用Python抓取网页的时候,有时候我们会解析出现异常,这时候,就会导致整个网页解析不成功,究其原
使用Python抓取网页的时候,有时候我们会解析出现异常,这时候,就会导致整个网页解析不成功,究其原
使用Python抓取网页的时候,有时候我们会解析出现异常,这时候,就会导致整个网页解析不成功,究其原
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号