当前位置:首页 > 开发 > 编程语言 > 大数据 > 正文

hadoop hive hbase shell小贴

发表于: 2015-02-27   作者:blackproof   来源:转载   浏览次数:
摘要: 纯笔记,勿看   linux jps显示不了进程 以下文件权限有误 /tmp/hsperfdata_userName   hadoop查看文件大小 hadoop fs -du -h   hive在建表的时候有时出现 Display all XXX possibilities? (y or n) 是因为tab键太多造成的   hbas

纯笔记,勿看

 

linux jps显示不了进程

以下文件权限有误

/tmp/hsperfdata_userName

 

hadoop查看文件大小

hadoop fs -du -h

 

hive在建表的时候有时出现

Display all XXX possibilities? (y or n)

是因为tab键太多造成的

 

hbase创建表

create 'hotdog_adr_base', { NAME => 'cf', COMPRESSION => 'GZ'},{SPLITS => ['A','B','C','D','E','F','G','H','I','J','K','L','M','N','O','P','Q','R','S','T','U','V','W','X','Y','Z',

'a','b','c','d','e','f','g','h','i','j','k','l','m','n','o','p','q','r','s','t','u','v','w','x','y','z']}  

 

shell判断是否有参数

if [ $# -lt 2 ] ; then

  echo "期待2个参数"

  exit 1

fi

echo $1

echo $2

 

mysql命令

mysql -N -hl-an7.wap.cn6.qunar.com -P3306 -umobstat -p'xH!dmobstatsa!oSX' -e "

  use mobiledcs_ad;

  load data local infile '${BASE_PATH}/xxx_${logdate}.tmp' into table datatable(id,name,count)

" || exit

 

linux统计行数(上海出现多少次)

cat test2.txt | grep '上海' | wc -l

hhh出现行数

grep -c 'hhh' test.txt

 

 linux处理文件列awk

awk '{print $6}' test.txt 

 awk求和awk '{total+=$6}END{print total}' test.txt 

awk分组求和(按照$1分组,$6求和)awk '{a[$1]+=$6}END{for(i in a)print(i,a[i])}' test.txt 

 

linux测试本地机子是否可以连接 ip port

nc -z -v 192.168.44.37 80

 

 shell换行

echo -e  '\n'

 

linux 查看域名ip

nslookup l-rtools1.ops.cn8

 

hbase 执行命令

sudo -u hadoop echo "scan 'hbase:meta',{LIMIT=>1}"| hbase shell &> dump.txt

 

 python ide

pycrust

 

linux 进程

ps -ef | grep report

 

 linux 杀死一批相同类型的进程(grep -v grep是除了grep进程,$2就是pid)

kill -9 $(ps -ef|grep -E 'report|runrp'|grep -v grep|awk '{print $2}')

 

ps -ef|grep rolling-restart.sh | grep -v "grep" | awk -F " " '{print $2}' | xargs kill -9

 

 

 hadoop 指定集群拿数据

 sudo -uxxxxxx hadoop fs -fs ip:8020 -ls

 

shell在线编译sed

 sed -i '3 s/user/dirk/' td.txt  修改第三行 将user改为dirk ( -i是在当前文档上修改 )

 

 sed -n '3p' td.txt  打印第三行

 

获取第三行,第三列内容,用/隔开(cut 和 awk都可以获取列)

sed -n '3p' td.txt | cut -d "/" -f3 

sed -n '3p' td.txt | awk -F "/" '{print$3}'

awk -F "/" '{if(NR==3) print $3}' td.txt

 

 hbase shell建立分区表

create 'tb_splits', {NAME => 'cf', VERSIONS=> 3},{SPLITS => ['a','b','c']}

 

hive shell dll

 alter table dirktest add columns(nc string); 增加列

 alter table dirktest replace columns(aa string,bb string,order_count bigint); 删除列 

 

linux shell

获取父Pid 为$PPID

写入文件

_pp=$PPID

echo $_pp >>  /test/dirk.txt

 

hive shell

  1. MSCK REPAIR TABLE table_name;  

该命令会把没添加进partition的数据,都增加对应的partition。同步源数据信息metadata。

 

 linux 查看文件夹大小

du -h --max-depth=1 home/data

 

hadoop添加classpath

HADOOP_CLASSPATH=/home/hadoop-cdh/app/hbase-0.98.1-cdh5.1.0/lib/* hadoop jar  /home/hadoop-cdh/imgDownload/imgHbase.jar com.emar.nbt.hbase.mr.ImgDownloadTuanMR testProduct

 

 

linux shell 查看socket数

socket上线

ulimit -n

 socket使用

cat /proc/net/sockstat

 

linux 线程启动时间:

ps axo pid,ppid,comm,pmem,lstart | grep 4740

 

 

linux shell赋值

#if HBASE_HOME not empty,use HBASE_HOME,else use later one

#HBASE_HOME="${HBASE_HOME:-/home/hadoop-cdh/app/hbase-0.98.1-cdh5.1.0}"

 

mysql shell

授权 把mysqldb库的查询和更新权限赋给hadoopuser,hadoopuser的密码是hadooppwd

grant select,update on mysqldb.* to hadoopuser@localhost identified by 'hadooppwd';

grant all on testdb.* to common_user@'%'

 

 

linux中远程连接(如SSH)出现someone could be eavesdropping on you right now的解决办法

今天用SSH连接我的远程主机,出现了以下错误:

IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY!

Someone could be eavesdropping on you right now (man-in-the-middle attack)!

网上查了一下,用

rm -rf .ssh/known_hosts

删除主机列表就行了。

 

观察进行gc情况

 jstat -gc pid

 jstat -gcutil pid 1000

 

zk命令

sh bin/zkServer.sh start

sh bin/zkServer.sh status

sh bin/zkServer.sh stop

sh bin/zkServer.sh restart

 

sh bin/zkCli.sh -server hostxxx:2181

 

sh bin/zkServer.sh status

 

-------------------------------------

hbase balance

sh $HADOOP_HOME/bin/start-balancer.sh –t 10%

 

linux启动时间

date -d "$(awk -F. '{print $1}' /proc/uptime) second ago" +"%Y-%m-%d %H:%M:%S"

who -b

 

 dns文件

 /etc/resolv.conf
vim替换
:%s/aaa/bbb/g

 

 

 

hadoop hive hbase shell小贴

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

我来说两句
评论内容:
验  证  码:
 
(网友评论仅供其表达个人看法,并不表明本站同意其观点或证实其描述。)
评论列表
已有 0 条评论(查看更多评论)
编辑推荐
讲解提纲 Hadoop框架 Hadoop周边框架 Hadoop框架 Master 同时是NameNode,在runtime时会生成JobTrack
Hadoop Hive与Hbase整合 一 、简介 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映
/////////////////////////////////////////////////////////////////////////////////////////////
/////////////////////////////////////////////////////////////////////////////////////////////
/////////////////////////////////////////////////////////////////////////////////////////////
/////////////////////////////////////////////////////////////////////////////////////////////
在之前的 CentOS 5.4 hadoop集成 Hbase和 CentOS 5.4 hadoop集成Hive两个章节中,我们已经学习了如
hadoop与HBase版本对应关系: Hbase Hadoop 0.92.0 1.0.0 0.92.1 1.0.0 0.92.2 1.0.3 0.94.0 1.0.2 0.
/////////////////////////////////////////////////////////////////////////////////////////////
/////////////////////////////////////////////////////////////////////////////////////////////
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号