当前位置:首页 > 开发 > 编程语言 > 编程 > 正文

网页抓取小结

发表于: 2011-10-06   作者:ctrain   来源:转载   浏览次数:
摘要:     网页抓取步骤:      1.将页面转化为流(或字符串)     2.将流保存为.xml文件(主要目地是为了处理中文乱码问题,xml文件为临时文件)     3.将xml转化为流,用Jtidy进行html格式化处理,并将处理好后的流转化为dom树 &nb
    网页抓取步骤:
     1.将页面转化为流(或字符串)
    2.将流保存为.xml文件(主要目地是为了处理中文乱码问题,xml文件为临时文件)
    3.将xml转化为流,用Jtidy进行html格式化处理,并将处理好后的流转化为dom树
    4.将dom树转化为xpath可以解析的InputSource
    5.用xpath进行解析

     代码暂不演示。
     补充:
     1.如果要使用文件保存,可利用线程名来命名文件,避免出现IO异常。另外可将流直接转化为String,再将String转化流供Jtidy处理。
     2.如果服务器为IBM AIX,则要注意啦,在此机器下虽经Jtidy处理,但是仍然有些标签不会封闭,没有封闭的标签Xpath是会出现解析异常的。
     3.AIX对某些标签的处理和windows及linux不同,需要多加注意。有些标签在windows下解析没问题,但是在AIX下就会出问题。

网页抓取小结

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
来源:http://www.ido321.com/1158.html 抓取某一个网页中的内容,需要对DOM树进行解析,找到指定节
之前做聊天室时,由于在聊天室中提供了新闻阅读的功能,写了一个从网页中抓取信息(如最新的头条新
之前做聊天室时,由于在聊天室中提供了新闻阅读的功能,写了一个从网页中抓取信息(如最新的头条新
private void button1_Click(object sender, EventArgs e) //获取网页源代码测试一下 { if (textBox
0、前言   本文主要介绍如何抓取网页中的内容、如何解决乱码问题、如何解决登录问题以及对所采集
云翔在线聊天室 提供在线聊天室,WebIM,网盘等服务,WebIM可以免费建群(不限人数),聊天记录在线
心血来潮,抓取了一个某网站的资源链接以及资源的内容摘要信息,自己也学习了不少东西,总结下 使用
Jumony快速抓取网页 --- Jumony使用笔记--icode 作者:郝喜路 个人主页: http://www.cnicode.com
先下得完整开发包,我版本为1.10.0 设置heritrix.properties中的用户名、密码 heritrix.cmdline.adm
  网络爬虫的基本操作是抓取网页。那么如何才能随心所欲地获得自己想要的页面?这一节将从URL开始
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号