• 7. 操纵 Hadoop 集群
    • Hadoop 启动
    • Hadoop 关闭

    7. 操纵 Hadoop 集群

    所有必备的配置都完成了，分发 HADOOP_CONF_DIR 配置文件到所有机器，所有机器安装 Hadoop 目录的路径应该是一样的。

    在一般情况下，建议 HDFS 和 YARN 作为单独的用户运行。在大多数安装中，HDFS 执行 “hdfs”。YARN 通常使用“yarn”帐户。

    Hadoop 启动

    为了启动 Hadoop 集群，你需要启动 HDFS 和 YARN 集群。

    第一次使用 HDFS 需要格式化。 作为 hdfs 格式化新分发的文件系统：

    1. [hdfs]$ $HADOOP_PREFIX/bin/hdfs namenode -format <cluster_name>

    作为 hdfs，通过如下命令启动 HDFS NameNode 到指定的节点 ：

    1. [hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs start namenode

    作为 hdfs，通过如下命令启动 HDFS DataNode 到每个指定的节点 ：

    1. [hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs start datanode

    作为 hdfs，如果 etc/hadoop/slaves 和 ssh 可信任访问已经配置，那么所有的 HDFS 进程都可以通过脚本工具来启动：

    1. [hdfs]$ $HADOOP_PREFIX/sbin/start-dfs.sh

    作为 yarn，通过下面的命令启动 YARN，运行指定的 ResourceManager ：

    1. [yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start resourcemanager

    作为 yarn，运行脚本来启动从机上的所有 NodeManager：

    1. [yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemons.sh --config $HADOOP_CONF_DIR start nodemanager

    作为 yarn，启动本地化的 WebAppProxy 服务器。如果想使用大量的服务器来实现负载均衡，那么它就应该运行在它们各自机器之上：

    1. [yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start proxyserver

    作为 yarn，如果 etc/hadoop/slaves 和 ssh 可信任访问已经配置，那么所有的 YARN 进程都可以通过脚本工具来启动:

    1. [yarn]$ $HADOOP_PREFIX/sbin/start-yarn.sh

    作为 mapred，根据下面的命令启动 MapReduce JobHistory Server ：

    1. [mapred]$ $HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh --config $HADOOP_CONF_DIR start historyserver

    Hadoop 关闭

    作为 hdfs，通过以下命令停止 NameNode：

    1. [hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs stop namenode

    作为 hdfs，运行脚本停止在所有从机上的所有 DataNode:

    1. [hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs stop datanode

    作为 hdfs，如果 etc/hadoop/slaves 和 ssh 可信任访问已经配置，那么所有的 HDFS 进程都可以通过脚本工具来关闭：

    1. [hdfs]$ $HADOOP_PREFIX/sbin/stop-dfs.sh

    作为 yarn，通过以下命令停止 ResourceManager:

    1. [yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR stop resourcemanager

    作为 yarn，运行一下脚本停止 slave 机器上的 NodeManager :

    1. [yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemons.sh --config $HADOOP_CONF_DIR stop nodemanager

    作为 yarn，如果 etc/hadoop/slaves 和 ssh 可信任访问已经配置，那么所有的 YARN 进程都可以通过脚本工具来关闭

    1. [yarn]$ $HADOOP_PREFIX/sbin/stop-yarn.sh

    作为 yarn，停止 WebAppProxy 服务器。由于负载均衡有可能设置了多个:

    1. [yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR stop proxyserver

    作为 mapred，通过以下命令停止 MapReduce JobHistory Server :

    1. [mapred]$ $HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh --config $HADOOP_CONF_DIR stop historyserver