两个集群直接拷贝数据distcp
1 | hadoop distcp hdfs://namenode:port/source hdfs://namenode:port/destination |
拷贝的时候可能有权限问题,在目标目录所在的服务骑上,修改目标目录的权限为777
另外一个命令是:
1 | hdfs dfs -cp hdfs://dev-hdfs-001.server:8020/data/logs/ /data/logs/ |
1 | hdfs dfs -chmod 777 /path/to/directory |
或者使用一个与目标集群里面的管理员相同的名字的账号,来运行这个命令。或者将运行命令的这个账号,在目前集群上,加入到集群的用户组中。