当前位置:首页 > 开发 > 编程语言 > 蜘蛛爬虫 > 正文

java的WebCollector爬虫框架

发表于: 2014-09-05   作者:oloz   来源:转载   浏览:
摘要: WebCollector主页: https://github.com/CrawlScript/WebCollector 下载:webcollector-版本号-bin.zip将解压后文件夹中的所有jar包添加到工程既可。 接下来看demo package org.spider.myspider; import cn.edu.hfut.dmic.webcollector.cra
WebCollector主页: https://github.com/CrawlScript/WebCollector

下载:webcollector-版本号-bin.zip将解压后文件夹中的所有jar包添加到工程既可。

接下来看demo
package org.spider.myspider;

import cn.edu.hfut.dmic.webcollector.crawler.BreadthCrawler;

public class MySpider {

	public static void main(String[] args) throws Exception {
		
		BreadthCrawler breadthCrawler = new BreadthCrawler();
		
		breadthCrawler.addSeed("http://www.cmbchina.com/");/*爬取的目标地址*/
		breadthCrawler.addRegex("http://www.cmbchina.com/.*");/*抓取规则,住区该网站下的所有文件*/
		
		breadthCrawler.setRoot("download");/* html、jsp网页、图片、文件被存储在项目中的download文件夹中 */
		breadthCrawler.start(3);/* 进行深度为3的爬取 ,这个深度直接写入值即可*/
	}

}

java的WebCollector爬虫框架

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号