爬虫

java知乎爬虫写作过程和思路

0.需要的知识点正则表达式java多线程线程池池知识httpclient网络库及json和html结构1.获取主话题在知乎中一共有33个主话题，在33个主话题下又有15776个子话题，因此我们首先要获取到33个主话题(ps:一开始打算用HttpURLConnection进行网络请求，由于后面需要以post形式访问并且提交form因此后面的代码改用了httpclient进行网络请求)图中的data-
关耳金名·2020-02-24 05:54

【Python爬虫】糗百-文字版块

**糗百-文字版块https://www.qiushibaike.com/text/爬取作者信息(头像/昵称/性别/年龄)帖子内容,好笑数,评论数自己爬取的源码#__author:'cuiwnehao'__#coding:utf-8frombs4importBeautifulSoupimportrequestsurl='https://www.qiushibaike.com/text/'req=r
小崔没有钱·2020-02-24 04:40

爬虫基本架构

url管理器防重复抓取、循环抓起内存setmysqlredis下载器下载html到本地成字符串urllib2urllib2可以接受一个Request类的实例来设置URL请求的headers，urllib仅可以接受URL。这意味着，你不可以伪装你的UserAgent字符串等。urllib提供urlencode方法用来GET查询字符串的产生，而urllib2没有。这是为何urllib常和urllib2
ben_speed·2020-02-24 03:35

一个事件驱动的图片爬虫

起因无聊的时候会翻出去看看国外的漫画，然而一页一页加载总是会很慢，偶尔还需要多刷新几次才能显示出来，非常影响体验。于是就写了个脚本去抓某一个漫画下所有的图片，这样跑一遍脚本，就能在本地看图片了。为了偷懒，第一个版本用的单线程模型，几百张图片串行请求，真的慢。实际工作中一直没什么机会用到异步IO，正好拿来练练手。分析并发的下载图片，有多线程和事件驱动两套方案。多线程的实现方式，例如一部漫画有300张
MMoooooon·2020-02-24 03:26

Python爬虫面试总结

1.写一个邮箱地址的正则表达式？[A-Za-z0-9\u4e00-\u9fa5]+@[a-zA-Z0-9_-]+(\.[a-zA-Z0-9_-]+)+$2.谈一谈你对Selenium和PhantomJS了解Selenium是一个Web的自动化测试工具，可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。Selenium自己不带浏览器，不支持浏览器
HAO延WEI·2020-02-24 02:57

用 python 爬虫抓站的一些技巧总结

学用python也有3个多月了，用得最多的还是各类<em>爬虫</em>脚本：写过抓代理本机验证...方法，再加上simplecd这个半<em>爬虫</em>半网站的项目，累积不少<em>爬虫</em>抓站的...
疯狂的程序猿丶·2020-02-24 00:56

网络蜘蛛的基本素养（python爬虫入门篇：介绍和原生库）

大部分<em>爬虫</em>教材会把网络<em>爬虫</em>比作一只蜘蛛，而蜘蛛网则是我们的网络，这只蜘蛛会把...触手伸向不同的地方，从而获取网络上的内容。事实上，我认为一个好的<em>爬虫</em>，或者是蜘蛛...
悬崖勒小马·2020-02-23 22:40

爬虫项目练习之爬取星际2天梯数据

本文从https://www.rankedftw.com/lad...爬取了星际2天梯数据，并存储到本地的MySQL数据库中，共爬得32万条数据。importrequestsfrombs4importBeautifulSoupimportpymysql.cursorsfromconfigimport*frommultiprocessingimportPool#连接到数据库connection=py
GuessIt·2020-02-23 21:48

爬虫进阶——破解爆米花视频真实地址

今天早上组长一声不吭的坐在我背后。良久，说了一句话：“爬视频。”“。。。。”我最讨厌的就是爬视频，但我没有说出来。“我们有个主打视频直播的app一月份要上线，现在还没有视频呢”“嗯”“先爬两个网站吧，一个蛙趣，另一个爆米花视频。其中爆米花视频难度很大，源代码中没有视频地址，后台抓包也没有。我建议你们去研究下谷歌的flashdownloader的代码，看下它是怎么运作的。”“蛙趣也一样么？”“蛙趣的
LEONYao·2020-02-23 19:21

爬虫-python-scrapy框架基本命令

<em>爬虫</em>-python-scrapy框架基本命令创建一个项目...
你好667·2020-02-23 18:22
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他