知识点
相关文章
更多最近更新
更多Hadoop 创建用户及HDFS权限,HDFS操作等常用Shell命令
2019-03-28 13:45|来源: 网络
sudo addgroup Hadoop#添加一个hadoop组
sudo usermod -a -G hadoop larry#将当前用户加入到hadoop组
sudo gedit etc/sudoers#将hadoop组加入到sudoer
在root ALL=(ALL) ALL后 hadoop ALL=(ALL) ALL
修改hadoop目录的权限
sudo chown -R larry:hadoop /home/larry/hadoop<所有者:组 文件>
sudo chmod -R 755 /home/larry/hadoop
修改hdfs的权限
sudo bin/hadoop dfs -chmod -R 755 /
sudo bin/hadoop dfs -ls /
修改hdfs文件的所有者
sudo bin/hadoop fs -chown -R larry /
sudo bin/hadoop dfsadmin -safemode leave #解除hadoop的安全模式
hadoop fs -copyFromLocal <localsrc> URI#拷贝本地文件到hdfs
hadoop fs -cat file:///file3 /user/hadoop/file4#将路径指定文件的内容输出到stdout
hadoop fs -chgrp [-R] GROUP URI#改变文件的所属组
hadoop fs -chmod [-R] 755 URI#改变用户访问权限
hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]#修改文件的所有者
hadoop fs -copyToLocal URI localdst#拷贝hdfs文件到本地
hadoop fs -cp URI [URI …] <dest>#拷贝hdfs文件到其它目录
hadoop fs -du URI [URI …]#显示目录中所有文件的大小
hadoop fs -getmerge <src> <localdst> [addnl]#合并文件到本地目录
更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13
相关问答
更多-
恭喜啊,学习hadoop需要先学好命令啊。 想学Linux命令就去www.linuxsky.cn,里面也可以学习脚本和svn的命令,哈哈
-
hadoop hdfs目录[2022-03-28]
移动目录的命令很简单啊,跟Linux shell的命令差不多: hdfs dfs -mv 被移动的目录A 目标目录B 直接移动就行,不知道能否解决你的问题。 -
java.api操作hadoop的hdfs需要什么权限吗?[2022-06-15]
不知道你说的“调用Filesystem命令”是什么意思;使用hadoop fs -rm可以正常执行,MapReduce也可以正常读写HDFS文件,说明HDFS文件系统没有问题。你不妨试一试hadoop fs -chmod a+rwx设置rwx权限后,再试一次。 -
为什么启动hadoop后在hdfs上系统里创建input的文件夹的命令没有用 命令为hadoop[2023-07-08]
mkdir Usage: hadoop fs -mkdir [-p] Takes path uri’s as argument and creates directories. Options: The -p option behavior is much like Unix mkdir -p, creating parent directories along the path. Example: hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2 h ... -
hadoop hdfs的问题[2021-10-30]
最下面那张图里环境变量设置的那一行多了一个$符号 export JAVA_HOME=/usr/java/jdk1.6.0_35 -
java.api操作hadoop的hdfs需要什么权限吗?[2021-11-10]
不知道你说的“调用Filesystem命令”是什么意思;使用hadoop fs -rm可以正常执行,MapReduce也可以正常读写HDFS文件,说明HDFS文件系统没有问题。你不妨试一试hadoop fs -chmod a+rwx 设置rwx权限后,再试一次。 -
Cloudera用户不能操作hadoop上的hdfs系统(Cloudera user not alowed to manipulate hdfs system on hadoop)[2024-02-03]
cloudera和root用户都无权在/solr上运行任何命令 运行您需要更改为hdfs的任何命令,然后发出如下命令: su - hdfs hadoop fs -mkdir /solr/test_core/ exit Found the answer: You should use these weird command. sudo -u hdfs hdfs dfs -mkdir /solr/test_core/ -
看起来hadoop fs命令没有从core-site.xml获取namenode地址。 在没有配置的namenode的情况下,Hadoop客户端代码通常默认为本地文件系统。 如果从群集上不是namenode的节点运行命令,则可能必须告知CM 部署客户端配置 。 如果您在群集外部的计算机上运行,则必须手动设置配置并确保可以在Java类路径中的某处找到core-site.xml文件。 Looks like the hadoop fs command isn't picking up the namenode a ...
-
无论如何,我只是继续安装Kerberos,看看它是否可行。 现在存在/etc/krb5.conf,大的延迟消失了。 我想知道我是否可以在其中创建没有任何内容的文件。 Hrmmm ... sudo apt-get install krb5-kdc krb5-admin-server I just went ahead and install Kerberos anyways just to see if it would work. Large delays have disappeared now tha ...
-
绝对可能。 不要认为Hadoop是一个可安装的程序,它只是由一群在集群内不同节点上运行的java进程组成。 如果你使用hadoop tar ball,你可以只运行NameNode和DataNodes进程,如果你只想要HDFS。 如果您使用其他hadoop发行版(例如HDP),我认为HDFS和mapreduce来自不同的rpm软件包,但安装两个rpm软件包都有害。 如果您只需要HDFS,请再次运行NameNode和DataNodes。 Absolutely possible. Don't think Hado ...