当前位置:首页 > 开发 > 开源软件 > 正文

hadoop 在win系统中的eclipse开发测试问题及解决

发表于: 2013-04-07   作者:duguyiren3476   来源:转载   浏览次数:
摘要: hadoop 在win系统中的eclipse开发测试问题及解决 一· 在win系统下安装cygwin的步骤不在赘述,常见错误如下:问题1] # /usr/local/sbin/sshd /usr/local/sbin/sshd: error while loading shared libraries: libnsl.so.1: cannot open shared obje

hadoop 在win系统中的eclipse开发测试问题及解决

一· 在win系统下安装cygwin的步骤不在赘述,常见错误如下:问题1]

# /usr/local/sbin/sshd
/usr/local/sbin/sshd: error while loading shared libraries: libnsl.so.1: cannot open shared object file: No such file or directory 

[分析与解决]
用strace跟踪sshd,查询缺少的目录和文件,给与相应的添补。
strace -f  -F  /usr/local/sbin/sshd
cp libnsl* /work/lib/

 

 
[问题2]

# /usr/local/sbin/sshd
Privilege separation user sshd does not exist

 

[分析与解决]
没有sshd用户 sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
scp  /etc/passwd root@HOST:/etc
scp  /etc/shadow root@HOST:/etc
scp  /etc/group  root@HOST:/etc


[问题3]

# /usr/local/sbin/sshd
Missing privilege separation directory: /var/empty 

[分析与解决]
# mkdir /var/empty
 
 
  
[问题4]
[root@localhost .ssh]# ssh -l root 192.168.167.132
root@192.168.167.132's password:
Permission denied, please try again.

 

[分析与解决]
密码输入错误,重新连接尝试. 


[问题5]

# ./ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Could not create directory '/root/.ssh'.

 
[分析与解决]

# ls /
bin etc linuxrc nfs sys var dev jffs2 lost+found  proc tmpfs yaffs2 edwin lib mnt sbin usr
# cd /root
-sh: cd: can't cd to /root
# mkdir root
# cd /root
# mkdir .ssh

 

[问题6]
# /usr/local/sbin/sshd
Missing privilege separation directory: /var/empty

[分析与解决]
# ls /var
# mkdir /var/empty
# /usr/local/sbin/sshd

 

 
 
[问题7]

[root@localhost ~]# ssh 192.168.167.132
ssh: connect to host 192.168.167.132 port 22: Connection refused      

 

 

[分析与解决]
注释 /etc/hosts.deny   /etc/hosts.allow 中的限制部分.
net sshd stop
net sshd start

 

 

 

[问题9]
在客户端ssh到target后,用户帐户和密码验证通过,但是没有启动shell.

 

[分析与解决]
查看日志,发现有:PTY allocation request failed on channel 0
1.rm -rf /dev/ptmx
2.mknod /dev/ptmx c 5 2
3.chmod 666 /dev/ptmx
4.umount /dev/pts
5.rm -rf /dev/pts
6.mkdir /dev/pts
7.mount /dev/pts

 

 

 

[问题10]
客户端连接卡住,无法连进.

 

[分析与解决]
有可能是cyg维护死进程太多,此为cyg的BUG,用有权限的账号连入系统:
killall -9 bash
killall -9 sshd
net stop sshd
net start sshd

 

[问题11]
ssh 显示已经脸上,但马上断开.

 

[分析与解决]
查看当前用户 /etc/password 里shell的设置是否正确.
查看 /var/ 目录权限是否足够,包括所有者权限和文件权限.
查看当前用户的家目录是否设置正常,权限是否足够.

 

 

 

[问题12]
sshd 服务无法启动

 

[分析与解决]

$ net start sshd

 
发生系统错误 1069。
由于登录失败而无法启动服务。
-- 这是由于用户密码输入错误导致的,以后更改用户后sshd也可能发生这个问题,在 services.msc 里的登录标签里更改用户设置即可!

 

$ net start sshd

 
CYGWIN sshd 服务正在启动 .
CYGWIN sshd 服务已经启动成功。

 

事件 ID ( 0 )的描述(在资源( sshd )中)无法找到。
本地计算机可能没有必要的注册信息或消息 DLL 文件来从远程计算机显示消息。
您可能可以使用 /AUXSOURCE= 标识来检索词描述;查看帮助和支持以了解详细信息。
下列信息是事件的一部分: sshd: PID 2784: fatal: setreuid 1003: Permission denied.
-- 出现这种情况,需要重新安装服务.
net stop sshd
ssh-host-config

 

二·hadoop在eclipse中开发常见错误

1.run on hadoop没有反映

hadoop-0.20.0下自带的eclise插件已过时。

 

解决方案:

 

1、下载正确的插件:https://issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar

 

2、重命名:将下载的插件重命名为“hadoop-0.20.0-eclipse-plugin.jar"

 

3、替换原来的插件。

 

4、重启eclipse

2:run on hadoop 时错误

Caused by: java.io.IOException: Cannot run program “chmod”: CreateProcess error=2, ϵͳÕҲ»µ½ָ¶ at java.lang.ProcessBuilder.start(ProcessBuilder.java:459) at org.apache.hadoop.util.Shell.runCommand(Shell.java:149) at org.apache.hadoop.util.Shell.run(Shell.java:134) at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:286) at org.apache.hadoop.util.Shell.execCommand(Shell.java:354) at org.apache.hadoop.util.Shell.execCommand(Shell.java:337) at org.apache.hadoop.fs.RawLocalFileSystem.execCommand(RawLocalFileSystem.java:481) at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:473) at org.apache.hadoop.fs.FilterFileSystem.setPermission(FilterFileSystem.java:280) at org.apache.hadoop.fs.FileSystem.mkdirs(FileSystem.java:266) at org.apache.hadoop.mapred.JobClient.configureCommandLineOptions(JobClient.java:573) at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:761) at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:730) at cascading.flow.FlowStepJob.blockOnJob(FlowStepJob.java:162) at cascading.flow.FlowStepJob.start(FlowStepJob.java:138) at cascading.flow.FlowStepJob.call(FlowStepJob.java:127) at cascading.flow.FlowStepJob.call(FlowStepJob.java:39) at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303) at java.util.concurrent.FutureTask.run(FutureTask.java:138) at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908) at java.lang.Thread.run(Thread.java:619)Caused by: java.io.IOException: CreateProcess error=2, ϵͳÕҲ»µ½ָ¶ at java.lang.ProcessImpl.create(Native Method) at java.lang.ProcessImpl.<init>(ProcessImpl.java:81) at java.lang.ProcessImpl.start(ProcessImpl.java:30) at java.lang.ProcessBuilder.start(ProcessBuilder.java:452) … 21 more

 解决方法:将cygwin的bin目录添加到Windows系统的PATH, 如果还不行,重启elipse即可

持续更新中....

 

hadoop 在win系统中的eclipse开发测试问题及解决

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
1.设置Ubuntu静态IP: hm@hm-ubuntu:~$ ifconfig 1)配置网卡参数到interfaces文件: hm@hm-ubuntu:
环境:ubantu12.4 EclipseJuno apache hadoop1.1.2 如果安装插件成功,打开Window-->Preferens,
环境:ubantu12.4 EclipseJuno apache hadoop1.1.2 如果安装插件成功,打开Window-->Preferens,
写这篇文章只是大概记录一下,安装的步骤以及问题 安装hadoop步骤 1、实现linux的ssh无密码验证配置
Hadoop版本:1.0.0 安装ECLIPSE的HADOOP 1.0.0版本的插件 1) Hadoop的Eclipse插件和Eclipse的版本关
1、android在layout中添加了几个布局,为什么在R.java中没有显示出来 eclipse->Project->Clean
先启动Hadoop守护进程,进入hadoop安装目录,执行bin/start-all.sh 主要是为了之后能正确测试 Ubunt
异常如下: Caused by: java.lang.NoSuchMethodError: net.sf.ehcache.Cache.<init>(Ljava/lan
参考:http://blog.sina.com.cn/s/blog_62186b4601012acs.html HDFS 测试文件: 测试结果: 详细配
因为项目的需要,学习使用了Hadoop,和所有过热的技术一样,“大数据”、“海量”这类词语在互联网
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号