python 爬虫基础知识

web请求过程分析

  1. 服务器渲染:在服务器那边直接把数据和html整合在一起,统一返回给浏览器,在页面代码中中能看到数据
  2. 客户端渲染  :第一请求只要一个html骨架,第二次请求拿到数据,进行数据展示,在页面的代码中,看不到数据,
  3. 要熟练使用浏览器抓包工具

requests函数

http常用的请求方法为:get,post

GET请求

get请求,指定url

resp=requests.get(url)

反爬,首先指定http 请求头的User-Agent:

headers参数一般是字典

dic ={
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.82 Safari/537.36"
}
resp=requests.get(url,headers=dic)

 get请求,指定url参数,一般使用params参数同样是字典

param={
    # "type_name":"喜剧",
    "type":"24",
    "interval_id":"100:90",
    "action":"",
    "start":0,
    "limit":20,
}
resp=requests.get(url=url,params=param)
print(resp.json())

POST请求

post一般提交表单,表单一般使用datas参数指定,同样也是字典数据

import requests
url='https://fanyi.baidu.com/sug'
s=input('请输入你要翻译的英文单词')
dat={
    'kw':s
}
#发送post请求,发送的数据必须放在字典中,通过data参数进行传递
resp=requests.post(url,data=dat)
print(resp.json())  #

你可能感兴趣的