爬取网页的通用代码框架

通用代码:

import requests

def getHTMLText(url):
	try:
		r = requests.get(url,timeout=30)
		r.raise_for_status() 
		r.encoding = r.apparent_encoding  #使得解码正确
		return r.text  #返回网页内容
	except:
		return"产生异常"

	if _name_ == "_main_":
		url = "http://baidu.com"
		print(getHTMLText(url))

r.raise_for_status()判断requests类型是否是200,如果是200,正常,如果不是,则错误。
爬取网页的通用代码框架_第1张图片
HTTP协议:
URL格式 http://host[:port][path]
host:合法的Internet 主机域名或IP地址
Port:端口号,缺省端口为80
path:请求资源的路径
例如:http://www.bit.edu.cn

requests 库方法解析:
requests.requests(method,url,**kwargs)
method:请求方法,对应Get/put/post等
eg:r = requests.requests(‘GET’,url,**kwargs)
url:获取页面的url链接
**kwargs:控制访问参数,共13个
eg:params:字典或字节序列,修改url
data:字典,字节序列或文件对象,作为request的内容
json:JSON结构数据
headers:字典,HTTP头字段
cookies:字典或CookieJar
auth:元祖
files:字典类型,传输文件
timeout:设定超时时间,以秒为单位
proxies:字典类型,设定访问代理服务器,可以添加登录认证
allow_redirects:True/False
stream:True/False,获取内容立即下载开关
verify:True/False,认证SSL证书开关
cert:本地SSL证书路径
爬取网页的通用代码框架_第2张图片
爬取网页的通用代码框架_第3张图片

你可能感兴趣的