当前位置:首页 > 开发 > 开源软件 > 正文

【Hadoop十三】HDFS Java API基本操作

发表于: 2015-04-24   作者:bit1129   来源:转载   浏览:
摘要:   package com.examples.hadoop; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoo

 

package com.examples.hadoop;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.io.OutputStream;
import java.net.URI;
import java.text.SimpleDateFormat;
import java.util.Date;

public class HDFSOp {
    private static FileSystem getFileSystem() {
        try {
            URI uri = new URI("hdfs://hadoop.master:9000/");
            Configuration c = new Configuration();
            c.setBoolean("dfs.support.append", true);
            c.set("dfs.replication", "1");
            FileSystem fileSystem = FileSystem.get(uri, c);
            return fileSystem;
        } catch (Exception e) {
            e.printStackTrace();
        }
        return null;
    }

    private static boolean exists(FileSystem hdfs, Path file) throws Exception {
        return hdfs.exists(file);
    }

    private static boolean delete(FileSystem hdfs, Path file) throws Exception {
        return hdfs.delete(file, true);
    }

    private static void append(FileSystem hdfs, Path file) throws Exception {
        OutputStream os = hdfs.append(file);
        String str = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(new Date());
        os.write(str.getBytes());
        os.close();
    }

    private static void uploadFromLocal(FileSystem hdfs, Path src, Path dst) throws Exception {
        hdfs.copyFromLocalFile(src, dst);
    }

    private static FileStatus[] listFiles(FileSystem hdfs, Path dir) throws Exception {
        return hdfs.listStatus(dir);
    }

    private static String getData(FileSystem hdfs, Path file) throws Exception {
        FSDataInputStream is = hdfs.open(file);
        BufferedReader br = new BufferedReader(new InputStreamReader(is));
        String line;
        StringBuilder sb = new StringBuilder();
        while ((line = br.readLine()) != null) {
            sb.append(line).append(System.lineSeparator());
        }
        return sb.toString();
    }

    public static void main(String[] args) throws Exception {
        FileSystem hdfs = getFileSystem();
        Path src = new Path("file:///D:/people.txt");
        Path dst = new Path("/user/hadoop/excercise");
        Path dstFile = new Path("/user/hadoop/excercise/people.txt");

        //判空,删除
        if (exists(hdfs, dstFile)) {
            System.out.println("File exists, remove it!!");
            delete(hdfs, dstFile);
        }

        //上传
        uploadFromLocal(hdfs, src, dst);

        //追加内容
        append(hdfs, dstFile);

        //列出目录下的所有文件
        FileStatus[] files = listFiles(hdfs, dst);
        for (FileStatus file : files) {
            System.out.println(file.getPath());
        }

        //文件内容下载
        String data = getData(hdfs, dstFile);
        System.out.println(data);


    }

}

 

需要注意的问题:

1. HDFS文件系统权限的问题

如果执行程序的用户没有操作的目录的权限,会报如下异常:AccessControlException,Permission Denied异常,

解决办法是

hdfs dfs -chmod 777 /user/hadoop/excercise

 

2. 关于HDFS append操作

HDFS一开始并不支持append操作,在2.x版本添加了对append操作的支持,但是为了使这个操作成功,需要一些设置,

 

//支持hdfs append操作
c.setBoolean("dfs.support.append", true);
//因为测试使用的单机环境,必须将dfs.replication设置为1,否则append操作报错。另外只在hdfs-site.xml中设置这个属性还不够
c.set("dfs.replication", "1");

 

hdfs-site.xml的配置:

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.support.append</name>
        <value>true</value>
    </property>

 

dfs.replication给定的属性必须小于等于HDFS中DataNode的数目,即如果是单机模式,这个值只能设置为1,设置的值大于1,那么append操作会报错:

 

java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try

 

 

 

 

 

 

 

【Hadoop十三】HDFS Java API基本操作

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
adoop fs –ls / 列出当前目录有哪些子目录,有哪些文件。 hadoop fs –mkidr /test 在Hadoop文件系
1.HDFS操作-查: 1)遍历HDFS文件,基于hadoop-0.20.2: package cn.cvu.hdfs; import org.apache.h
Hadoop之HDFS的API实现 在本地Eclipse上开发; 导入开发所需的关键包: 将HDFS配置文件信息写入,记
1.百度 hadoop 2. 点击 Documentation --> Current 3. 点击 hdfs --> HDFS Commands Referenc
HDFS原理 HDFS(Hadoop Distributed File System)是一个分布式文件系统,是谷歌的GFS山寨版本。它
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/45921443 本文通过两种方式来
1、启动hadoop工程 2、eclipse导入插件 将hadoop-eclipse-plugin-2.6.0.jar插件导入eclipse中,重启
第一部分:开始云计算之旅 第二部分:初识Hadoop 第三部分:Hadoop 环境安装部署 第四部分:Hadoop
Hadoop的HDFS 之前刚搭建好了Linux上的hadoop平台,因为暂时不能组成集群,就去深入了解了下hadoop
HDFS是Hadoop生态系统的根基,也是Hadoop生态系统中的重要一员,大部分时候,我们都会使用Linux shel
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号