好程序员大数据培训分享:Hadoop集群同步

泛型星云
• 阅读 115

好程序员大数据培训分享:Hadoop集群同步,给大家带来的技术分享是——Hadoop集群同步。

一、同步方式

  选择一个机器,作为时间服务器(这里选择hadoop01),所有的机器与这台集群时间进行定时的同步,比如,每隔十分钟,同步一次时间。

二、所需工具

  时间同步服务器有两个:ntpd和ntpdatp。虽然使用二者都能达到时间同步的目的,但是使用之前得弄清楚一个问题,ntpd与ntpdate在更新时间时有什么区别。ntpd不仅仅是时间同步服务器,它还可通过客户端与标准时间服务器进行时间同步,而且是平滑同步,并非ntpdate立即同步,在生产环境中慎用ntpdate,也正如此两者不可同时运行。

三、具体操作步骤

  时间服务器配置

  (1)检查ntp是否安装。[root@hadoop01 Desktop]# rpm -qa|grep ntp如果显示ntp-4.2.6p5-1.el6.centos.x86_64 . fontpackages-filesystem-1.41-1.1.el6.noarch

  ntpdate-4.2.6p5-1.el6.centos.x86_64则证明ntp已经安装,否则要先安装ntp服务。[root@hadoop01 Desktop]# yum install -y ntp.

  (2)修改ntp配置文件[root@hadoop01 Desktop]# vi /etc/ntp.conf.先配置客户端的授权,也就是给指定的机器(客户端)设置访问NTP Server的权限,这是通过restrict配置项实现的。将#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap释放。改为restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap.如果集群是在一个封闭的局域网内,可以屏蔽掉默认的server。

  将server 0.centos.pool.ntp.org iburst.server 1.centos.pool.ntp.org iburst.

  server 2.centos.pool.ntp.org iburst.server 3.centos.pool.ntp.org iburst屏蔽改为

  #server 0.centos.pool.ntp.org iburst.#server 1.centos.pool.ntp.org iburst.#server 2.centos.pool.ntp.org iburst.#server 3.centos.pool.ntp.org iburst.将本机的本地时钟作为时间供给源,这样,即便它失去网络连接,它也可以继续为网络提供服务增加server 127.127.1.0 fudge 127.127.1.0 stratum.修改/etc/sysconfig/ntpd文件

  [root@hadoop01 Desktop]# vim /etc/sysconfig/ntpd增加SYNC_HWCLOCK=yes之后重启ntpd,[root@hadoop01 Desktop]# service ntpd restart,设置ntpd开机默认启动[root@hadoop01 Desktop]# chkconfig mtpd on。完成以上操作以后,使用date命令查看系统时间与当前时间是否对应,如果还不对应,应该是时区的问题。修改时区[root@hadoop01 Desktop]# tzselect。根据提示选择正确的时区,然后将cp /usr/share/zoneinfo/Asia/Shanghai设置为到/etc/localtime的链接

  [root@hadoop01 Desktop]# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

四、其他机器配置

  配置每十分钟与时间服务器同步一次

  需要在集群中其他的机器中都编写时间同步脚本,这里以hadoop02为例,[root@hadoop02 Desktop]# crontab –e. */10 * * * * /usr/sbin/ntpdate hadoop01

  重启crond服务。[root@hadoop02 Desktop]# service crond restart。如果需要,同样要修改时区,操作同上。

  到此,分享结束,欢迎大家一起探讨学习!

点赞
收藏
评论区
推荐文章
Wesley13 Wesley13
3年前
NTP时间同步
如果服务器的时间出现混乱,将导致很多意想不到的问题。使用NTP,可以使服务器获取正确的时间,从而避免出现问题。NTP是NetworkTimeProtocol的简写,意为“网络时间协议”,是一个用TCP/IP协议实现的时间同步协议。Ubuntu在每次启动都会自动到ntp.ubuntu.com去做时间同步。但是,由于服务器一般不会频繁启动,所以还是不
Stella981 Stella981
3年前
MongoDB 定位 oplog 必须全表扫描吗?
MongoDBoplog(类似于MySQLbinlog)记录数据库的所有修改操作,除了用于主备同步;oplog还能玩出很多花样,比如1.全量备份增量备份所有的oplog,就能实现MongoDB恢复到任意时间点的功能2.通过oplog,除了实现到备节点的同步,也可以额外再往单独的集群同步数据(甚至是异构的数据库),实现容
Stella981 Stella981
3年前
Ambari在离线环境中安装Hadoop集群
(WJW)Ambari在离线环境中安装Hadoop集群    如果手工安装Hadoop集群,在管理和后继部署中,越来越多的问题不断出现,主要如下:各集群节点的配置同步新应用的部署:比如为集群添加hbase应用,需要很细心复杂的配置才能完成,而且要是操作错误,还可能导致正常的集
Wesley13 Wesley13
3年前
MYSQL5.7实时同步数据到TiDB
操作系统:CentOS7mysql版本:5.7TiDB版本:2.0.0同步方法:使用TiDB提供的工具集进行同步说明:单机mysql同步时,可以直接使用binlog同步,但mysql集群进行同步时,则必须依靠GTID,但开启GTID后,对事物要求更高,导致以下操作会失败:(1)不能同时揉合多个事件;(2)事务内部不能创建
Stella981 Stella981
3年前
Linux内网时钟同步问题(ntp和chrony)
我们都知道时钟同步可以使用外网服务器,在内网内不能连接外网的时候也需要时钟同步,那怎么进行呢?选择内网的一台稳定的服务器作为时钟源,然后让其他机器都来同步这台机器即可。注:其实ntp服务和chrony服务本质上差不多,他们之间都可以互相进行同步。不过为了避免不必要的麻烦,一般服务器都只选择同一时钟服务来讲进行同步。一、ntp服务安装:yum
Stella981 Stella981
3年前
Linux服务器时间同步
导读Linux服务器运行久时,系统时间就会存在一定的误差,一般情况下可以使用date命令进行时间设置,但在做数据库集群分片等复杂操作时对多台机器的时间差是有要求的,此时就需要使用ntpdate进行时间同步。Linux时间的操作的常见命令date命令使用方式:date\u\\ddatestr\\
Stella981 Stella981
3年前
Linux集群 NTP 时间同步
基于CentOS7规划比如有2台机器IP主机名说明192.168.103.51cdh51本地NTP服务端192.168.103.52cdh52本地NTP客户端安装NTP服务每台机器都安装ntpyumyinstallntpNTP服务端(cdh51)配置
Wesley13 Wesley13
3年前
CDH集群安装配置(三)
集群时间同步(主节点)1\.查看是否安装ntp服务,如果没有安装rpmqa|grepntpd查看命令yuminstallntp安装命令2\.修改配置vi/etc/ntp.conf去掉这个注释,将地址改成网段地址restrict10.228.86.252
Stella981 Stella981
3年前
Linux服务器同步网络时间
Linux服务器运行久时,系统时间就会存在一定的误差,一般情况下可以使用date命令进行时间设置,但在做数据库集群分片等操作时对多台机器的时间差是有要求的,此时就需要使用ntpdate进行时间同步。一、修改时区:\cp/usr/share/zoneinfo/Asia/Shanghai/etc/localtime修改为中国的东八区
RabbitMQ集群部署(二)——普通集群模式部署
本文分享自天翼云开发者社区《》,作者:芋泥麻薯RabbitMQ普通集群模式即在多个服务器上部署多个MQ实例,每台机器一个实例.创建的每一个queue,只会存在一个MQ实例上.但是每一个实例都会同步queue的元数据(即queue的标识信息).当在进行消费的
RabbitMQ集群部署(三)——镜像集群模式部署及常见问题
本文分享自天翼云开发者社区《》,作者:芋泥麻薯镜像集群模式与普通集群模式的主要区别在于.无论queue的元数据还是queue中的消息都会同时存在与多个实例上.要开启镜像集群模式,需要在后台新增镜像集群模式策略.即要求数据同步到所有的节点.也可以指定同步到指