yarn权限问题
① YARN 执行作业遇到 Unauthorized request to start container 问题:
datanode 与 namenode 之间未设置时间同步,所以引起该异常。解决方案:多个 datanode 与 namenode 进行时间同步。
②HDFS 客户端的权限错误:Permission denied
1、在系统的环境变量或 Java JVM 变量里面添加HADOOP_USER_NAME,这个值具体等于多少看自己的情况,以后会运行 Hadoop 上的 Linux 的用户名。(修改完重启 eclipse,不然可能不生效)
2、将当前系统的帐号修改为 hadoop
3、使用 HDFS 的命令行接口修改相应目录的权限,hadoop fs -chmod 777 /user,后面的/user 是要上传文件的路径,不同的情况可能不一样,比如要上传的文件路径为hdfs://namenode/user/xxx.doc,则这样的修改可以,如果要上传的文件路径为hdfs://namenode/Java/xxx.doc,则要修改的为 hadoop fs -chmod 777 /java 或者 hadoop fs – chmod 777 /,java 的那个需要先在 HDFS 里面建立 Java 目录,后面的这个是为根目录调整权限。
推荐第一种