网络爬虫

网络爬虫
网络爬虫的尺寸:
Requests库:小规模,数据量小,爬取速度不敏感,爬网页
Scrapy库:中规模,数据规模较大,爬取速度敏感,爬网站
定制开发:爬取全网,如google,baidu

Robots协议
Robots Exclusion Standard网络爬虫排除标准
案例:
https://www.jd.com/robots.txt
User-agent: * //对于任何网络爬虫,遵守user-agent
Disallow: /?*
Disallow: /pop/.html
Disallow: /pinpai/
.html?*

User-agent: EtaoSpider //这个爬虫不允许爬任何
Disallow: /
User-agent: HuihuiSpider
Disallow: /
User-agent: GwdangSpider
Disallow: /
User-agent: WochachaSpider
Disallow: /

你可能感兴趣的