如何在IDEA编译器中连接HDFS,运行MapReduce程序

⭐ ⭐ ⭐ ⭐ ⭐ 博主信息⭐ ⭐ ⭐ ⭐ ⭐

博主名称:Yuan-Programmer

链接直达:https://bbs.csdn.net/topics/603957283

链接直达:https://bbs.csdn.net/topics/603957283

链接直达:https://bbs.csdn.net/topics/603957283

链接直达:https://bbs.csdn.net/topics/603957283

⭐ ⭐ ⭐ ⭐ ⭐ 点点五星⭐ ⭐ ⭐ ⭐ ⭐

我正在参加年度博客之星评选,请大家帮我投票打分,您的每一分都是对我的支持与鼓励。

贡献您几秒钟时间,点个五星,在此感激不尽!!!

各大技术基础教学、实战开发教学(最新更新时间2021-12-4)

打开IDEA编译器-->>点击File-->>选择Settings

如何在IDEA编译器中连接HDFS,运行MapReduce程序_第1张图片

找到Plugins,在Installed中搜索big,找到下面这个,点击下载,我这里已经下载过了 

如何在IDEA编译器中连接HDFS,运行MapReduce程序_第2张图片

下载之后展开在左侧的Tools下的Big...里,配置如下信息

如何在IDEA编译器中连接HDFS,运行MapReduce程序_第3张图片

 上面的hadoop01:9000是之前的core-site.xml配置里的

如何在IDEA编译器中连接HDFS,运行MapReduce程序_第4张图片

 然后点击右上角的这里,添加新的Application

如何在IDEA编译器中连接HDFS,运行MapReduce程序_第5张图片如何在IDEA编译器中连接HDFS,运行MapReduce程序_第6张图片

然后在你的maven项目(MapReduce)的resource下面添加三个配置文件

core-site.xml


    
        
        fs.defaultFS
        hdfs://hadoop01:9000
    
    

log4j.properties(打印日志)

log4j.appender.A1.Encoding=UTF-8
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{ABSOLUTE} | %-5.5p | %-16.16t | %-32.32c{1} | %-32.32C %4L | %m%n

mapred-site.xml


    
    
        mapred.remote.os
        Linux
        Remote MapReduce framework's OS, can be either Linux or Windows
    
    
    
        mapreduce.app-submission.cross-platform
        true
    

最后直接点击运行,就可以在IDEA运行MapReduce程序啦(前提是开启hadoop服务哦,能再浏览器打开HDFS文件系统) 

你可能感兴趣的