当前位置:首页 > 开发 > 互联网 > 正文

Hadoop(一)

发表于: 2015-07-10   作者:朱辉辉33   来源:转载   浏览:
摘要: 今天在诺基亚第一天开始培训大数据,因为之前没接触过Linux,所以这次一起学了,任务量还是蛮大的。 首先下载安装了Xshell软件,然后公司给了账号密码连接上了河南郑州那边的服务器,接下来开始按照给的资料学习,全英文的,头也不讲解,说锻炼我们的学习能力,然后就开始跌跌撞撞的自学。这里写部分已经运行成功的代码吧.    在hdfs下,运行hadoop fs -mkdir /u
今天在诺基亚第一天开始培训大数据,因为之前没接触过Linux,所以这次一起学了,任务量还是蛮大的。
首先下载安装了Xshell软件,然后公司给了账号密码连接上了河南郑州那边的服务器,接下来开始按照给的资料学习,全英文的,头也不讲解,说锻炼我们的学习能力,然后就开始跌跌撞撞的自学。这里写部分已经运行成功的代码吧.
   在hdfs下,运行hadoop fs -mkdir /user/hadoop/dir32   //在集群里创建文件夹dir32
   在root或者hdfs下,运行hadoop fs -ls /user/hadoop/dir   //查看集群下文件夹dir32的文件
   在root下,运行touch /home/gos/zhh/zhh_file1.txt    //在本地创建文件 gos是组名 zhh是我名字缩写 这样便于管理 zhh_file1.txt是文件名
   在root下,运行hadoop fs -put /home/gos/zhh/zhh_file2.txt /user/hadoop/dir33 // 将本地文件zhh_file2.txt上传到集群dir33文件夹下
   在hdfs下,运行hadoop  fs -get /user/hadoop/dir33/zhh_file3.txt /home/gos/zhh //将集群里dir33目录下文件zhh_file3.txt下载到本地文件夹zhh中。
   在root下,运行hadoop fs -getmerge /user/hadoop/dir33/zhh_file2.txt /user/hadoop/
dir33/zhh_file3.txt /home/gos/zhh/zhh_temp.txt    //将集群里dir33下两个文件合并后下载到本地zhh文件夹下,并命名为zhh_temp.txt.
   先写这么多吧 刚开始接触 理解的还不深 可能还有错误 明天继续努力。

Hadoop(一)

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
hadoop框架 Hadoop使用主/从(Master/Slave)架构,主要角色有NameNode,DataNode,secondary NameN
本来是要复习考试的,但是看得那个什么编译原理的书就头大。。最近搜了一下hadoop的源码分析,在jav
hadoop框架 Hadoop使用主/从(Master/Slave)架构,主要角色有NameNode,DataNode,secondary NameN
Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。 Goog
HDFS和KFS都是GFS的开源实现,而HDFS是Hadoop的子项目,用Java实现,为Hadoop上层应用提供高吞吐量
这里先大致介绍一下Hadoop. 本文大部分内容都是从官网Hadoop上来的。其中有一篇介绍HDFS的pdf文档,
  Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。
上面讲了如何搭建Hadoop的Standalone和Pseudo-Distributed Mode(搭建单节点Hadoop应用环境), 现在我
上面讲了如何搭建Hadoop的Standalone和Pseudo-Distributed Mode(搭建单节点Hadoop应用环境), 现在我
随着人民生活水平的提高,随着各种各类数据指数级的增长,“大数据”、“互联网+”、“云时代”等等
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号