Hadoop学习之路(五)Hadoop集群搭建模式和各模式问题

作者:扎心了,老铁

出处:https://www.cnblogs.com/qingyunzong/category/1169344.html


分布式集群的通用问题

当前的HDFS和YARN都是一主多从的分布式架构,主从节点—管理者和工作者

问题:如果主节点或是管理者宕机了。会出现什么问题?

群龙无首,整个集群不可用。所以在一主多从的架构中都会有一个通用的问题:

当集群中的主节点宕机之后,整个集群不可用。这个现象叫做:单点故障。SPOF

单点故障讲述的概念有两点

1、如果说宕机的那个节点是从节点,那么整个集群能够继续运行,并且对外提供正常的服务。

2、如果说宕机的那个节点是主节点,那么整个集群就处于宕机状态。

通用的解决方案:高可用

概念:当正在对外提供服务器的主从节点宕机,那么备用的主节点立马上位对外提供服务。无缝的瞬时切换。

皇帝驾崩,太子继位。

集群的搭建的集中通用模式

1、单机模式

表示所有的分布式系统都是单机的。

2、伪分布式模式(搭建在了只有一个节点的集群中)

表示集群中的所有角色都分配给了一个节点。

表示整个集群被安装在了只有一个节点的集群中的。

主要用于做快速使用,去模拟分布式的效果。

3、分布式模式

表示集群中的节点会被分配成很多种角色,分散在整个集群中。

主要用于学习测试等等一些场景中。

4、高可用模式

表示整个集群中的主节点会有多个

注意区分:能够对外提供服务的主节点还是只有一个。其他的主节点全部处于一个热备的状态。

正在对外提供服务的主节点:active有且仅有一个

热备的主节点:standby可以有多个

工作模式:

  • 1、在任意时刻,只有一个主节点是active的,active的主节点对外提供服务
  • 2、在任意时刻,都应至少有一个standby的主节点,等待active的宕机来进行接替

架构模式:就是为了解决分布式集群中的通用问题SPOF

不管是分布式架构还是高可用架构,都存在一个问题:主从结构—从节点数量太多了。最直观的的问题:造成主节点的工作压力过载,主节点会宕机,当前的这种现象是一种死循环

5、联邦模式

表示当前集群中的主从节点都可以有很多个。

1)主节点:可以有很多个的意思是说:同时对外提供服务的主节点有很多个。

重点:每一个主节点都是用来管理整个集群中的一部分

2)从节点:一定会有很多个。

在联邦模式下还是会有问题:

虽然这个集群中的一个主节点的压力被分摊到了多个主节点。但是这个多个主节点依然会有一个问题:SOFP

安装Hadoop集群中的一些通用问题

1、假如安装不成功,并且不知道应该怎么去解决这个安装错误:重装

需要做的处理:处理安装步骤中不同的部分即可。第一次安装和重装时候的不同步骤:

  • 1)到修改配置文件以前,全部都不用动
  • 2)检查配置文件是否都正确

先检查一个节点上的配置文件是否都正确,如果都正确,重新分发一次即可

  • 3)在安装分布式集群时,所有节点中的安装的安装目录和安装者,需要检查和确定
  • 4)删掉数据目录
    • A. 删除主节点的工作目录:namenode的数据目录:删除即可,只需要在主节点删除即可
    • B. 删除从节点的工作目录:datanode的数据目录:删除即可,把每个从节点上的这个对应数据目录都删掉
    • 如果以上两份数据都被删除了之后。整个集群当中就相当于没有存储任何的历史数据。所以就是一个全新的集群

5)在确保数据正常和安装包都正常之后,进行重新初始化

重点强调: hadoop集群的初始化,其实就是初始化HDFS集群, 只能在主节点进行初始化

如果你只需要搭建YARN集群,那么是可以不用做初始化的。

6)启动集群

7)验证集群是否成功

Linux环境变量加载的顺序

用户环境变量 :仅仅只是当前用户使用 ~/.bashrc ~/.bash_profile
系统环境变量 :给当前系统中的所有用户使用 /etc/profile

任何普通用户在进行登录的时候:会同时加载几个环境变量的配置文件:

按顺序:
1、/etc/profile
2、~/.bash_profile
3、~/.bashrc

赞(0) 打赏

如未加特殊说明,此网站文章均为原创,转载必须注明出处。Java 技术驿站 » Hadoop学习之路(五)Hadoop集群搭建模式和各模式问题
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

Java 技术驿站 | 致力打造 Java 精品博客

联系作者优质文章

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏