【Python网络蜘蛛 · 4】:代理ip的了解和基本使用、查看代理ip的有效性(附源代码)

目录

 一、代理IP的了解和基本使用

1、代理IP

正向代理

反向代理

2、代理IP的分类

3、代理IP的基本使用

第一种用法:https

第二种用法:http

二、查看代理IP的有效性

1、查看自己的IP地址

2、在网上查找免费的代理IP

3、查看代理IP地址有效性的步骤

4、附源代码


 一、代理IP的了解和基本使用

1、代理IP

代理:可分为正向代理反向代理

  • 正向代理

给客户端做代理,让服务器不知道客户端的真实身份,保护自己的IP地址,不会被封,要封也是封代理IP。

  • 反向代理

给服务器做代理,让客户端不知道服务器的真实地址。

正向代理保护客户端,反向代理保护服务端。

2、代理IP的分类

 透明代理:服务器知道我们使用代理IP,并且知道真实的IP。

匿名代理:服务器能够检测我们使用了代理IP,不知道真实的IP。

高匿代理:服务器不能检测使用了代理IP,也无法知道我们的真实IP。 

3、代理IP的基本使用

代理参数:proxies

poxies的形式:字典

注意:当用到一个无效的代理IP,还是可以拿到数据,因为系统会自动使用本机的真实IP

  • 第一种用法:https

'https' : 'IP地址:80' 

【Python网络蜘蛛 · 4】:代理ip的了解和基本使用、查看代理ip的有效性(附源代码)_第1张图片

  • 第二种用法:http

'http' : '//IP地址:80' 

【Python网络蜘蛛 · 4】:代理ip的了解和基本使用、查看代理ip的有效性(附源代码)_第2张图片


二、查看代理IP的有效性

1、查看自己的IP地址

  • 在浏览器搜索框中输入:IP地址查询

【Python网络蜘蛛 · 4】:代理ip的了解和基本使用、查看代理ip的有效性(附源代码)_第3张图片

【Python网络蜘蛛 · 4】:代理ip的了解和基本使用、查看代理ip的有效性(附源代码)_第4张图片

2、在网上查找免费的代理IP

  • 这里提供一个免费代理IP的链接:

https://www.kuaidaili.com/free/https://www.kuaidaili.com/free/

【Python网络蜘蛛 · 4】:代理ip的了解和基本使用、查看代理ip的有效性(附源代码)_第5张图片

网页会不断更新代理IP,因此每次刷新网页都有新的代理IP出现

【Python网络蜘蛛 · 4】:代理ip的了解和基本使用、查看代理ip的有效性(附源代码)_第6张图片

3、查看代理IP地址有效性的步骤

  • 在网上查询自己的IP地址,并记住本机的IP地址

【Python网络蜘蛛 · 4】:代理ip的了解和基本使用、查看代理ip的有效性(附源代码)_第7张图片

  • 在网上找到一个免费的代理IP

  • 在IP地址查询的网页上抓包,找到IP地址所在的包,并复制其url

【Python网络蜘蛛 · 4】:代理ip的了解和基本使用、查看代理ip的有效性(附源代码)_第8张图片

  • 代码演示

【Python网络蜘蛛 · 4】:代理ip的了解和基本使用、查看代理ip的有效性(附源代码)_第9张图片

4、附源代码

import requests
url = 'https://2022.ip138.com/'
headers = {
    'User-Agent': '' # 根据自己的User-Agent来写
}
# 构建代理IP
proxies = {
    'http': '//47.92.234.75:80'
}
res = requests.get(url,headers=headers,proxies=proxies)
print(res.content.decode())

你可能感兴趣的