当前位置:首页 > 开发 > 互联网 > 正文

试读《Hadoop基础教程》

发表于: 2014-07-28   作者:DreamOne   来源:转载   浏览次数:
摘要:     大数据处理技术领域比较复杂,变化节奏很快,如何学习运用这些技术变得不知从何处下手。Hadoop是一种开源大数据处理技术框架,已经成为业界大数据处理技术的事实标准。对于想从事大数据处理工作的人来说,是绕不过Hadoop的。《Hadoop基础教程》是一本学习Hadoop入门的图书,进入大数据处理绝好途径之一。这本书可以帮助读者理解什么是Hadoop、Hadoop是如何工作的

    大数据处理技术领域比较复杂,变化节奏很快,如何学习运用这些技术变得不知从何处下手。Hadoop是一种开源大数据处理技术框架,已经成为业界大数据处理技术的事实标准。对于想从事大数据处理工作的人来说,是绕不过Hadoop的。《Hadoop基础教程》是一本学习Hadoop入门的图书,进入大数据处理绝好途径之一。这本书可以帮助读者理解什么是HadoopHadoop是如何工作的、以及我们如何通过Hadoop从海量的数据中获取有价值的数据信息。

    这次试读是本书的第一章和第四章。第一章详细介绍了Hadoop的产生历史背景,Hadoop是什么,业界使用Hadoop的情况。Hadoop的作者Doug Cutting也是开源网页搜索引擎Nutch的作者,其在开发Nutch同时其受到Google的两篇著名的论文GFSMapReduce的启发,开发了这个分布式大数据处理框架,并以他儿子喜爱的玩具象Hadoop来命名,也可以这么说Hadoop是开源GFSMapReduce的技术实现,设计运行在低成本的硬件做成的集群平台来处理大规模的数据集。在本章中介绍了Hadoop的组成部分:HDFSMapReduceHDFS是一个可以存储极大数据集的文件系统,它是通过向外扩展方式构建的主机集群。MapReduce是一个数据处理范式,它规范了数据在两个处理阶段(被称为MapReduce)的输入和输出,并将其应用于任意规模的大数据集。MapReduceHDFS紧密结合,确保在任何情况下,MapReduce任务直接在存储所需数据的HDFS节点上运行。

    第四章介绍如何使用Hadoop重要组成部分之一MapReduce来解决实际问题。从编程角度来看,问题的解决在于如何编写符合要求的MapReduce程序。从本章中我们可以学习使用Hadoop Streaming脚本语言(Ruby、Python等)编写mapreduce任务;如何利用ChainMapper在一个作业中执行多个mapper任务;如果利用Distributed Cache在所有节点间共享数据;通过MapReduce Web UI了解任务状态信息和debug日志进行高效的作业分析。

    总的来说,这本书是一本hadoop基础入门的好书,书中提供了详细的实例帮助我们更好掌握Hadoop技术。同时有Hadoop开发经验的技术人员也适用,对于可以进一步加深对Hadoop的理解。

 

 

试读《Hadoop基础教程》

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoo
Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoo
Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoo
Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoo
Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoo
Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoo
7 试读
第一次接触Linux是在大三的暑假,当时由于工作找不到门路(本科光电专业),所以报名参加了一个java培
试读了本书的部分章节,并下载了英文原版对照了一番,发现此书关于游戏引擎的内容非常全面,既有技
9 Hadoop
《Hadoop: The Definitive Guide》reading notes: This, in a nutshell, is what Hadoop provides:
10 Hadoop
Hadoop学习笔记一 简要介绍 这里先大致介绍一下Hadoop. 本文大部分内容都是从官网Hadoop上来的。其
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号