当前位置:首页 > 开发 > 编程语言 > Python > 正文

python 抓取网页

发表于: 2014-11-05   作者:blackproof   来源:转载   浏览:
摘要: #urllib2 wp = urllib2.urlopen(self.url) content = wp.read();   pycurl buf = cStringIO.StringIO() c = pycurl.Curl() c.setopt(c.URL,self.url)
#urllib2
wp = urllib2.urlopen(self.url)
content = wp.read();

 

pycurl

        	buf = cStringIO.StringIO()
         
        	c = pycurl.Curl()
        	c.setopt(c.URL,self.url)
        	c.setopt(c.WRITEFUNCTION, buf.write)
        	c.perform()
         	
        	content =  buf.getvalue()
        	buf.close()        
    
    
    	   
            jc = json.loads(content)

 

# 设置超时时间为30秒  
import socket  
socket.setdefaulttimeout(30) 

 

 

python 抓取网页

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号