PostgreSQL流复制热备

Stella981
• 阅读 310

关于pg热备与主备切换网上很多内容都有了,本文仅为自己测试使用,特意记录过程,或对其他人提供参考。本文作者选择pg9.6.1版本作为测试。

一 主备机器规划

主机名

IP

角色

端口

master

192.168.0.108

Master

5432

slave

192.168.0.109

Slave

5432

前提:分别在两台主机上安装好pg数据库,安装过程参考之前博客说明http://www.jianshu.com/p/639ebb43bfb4。

二 创建流复制

2.1 设置host

master,slave两节点都要操作。

[root@bogon ~]# vim /etc/hosts
#编辑内容如下:
192.168.43.127 master
192.168.43.243 slave

按esc,wq!保存退出。

2.2 初始化master数据库

以下操作在master下执行:

#切换到postgres账户
[root@bogon ~]# su - postgres
#初始化data
[postgres@bogon ~]$ initdb -D $PGDATA
# 启动master数据库
[postgres@bogon ~]$ pg_ctl start -D $PGDATA
#创建流复制用户
[postgres@bogon ~]$ psql
psql (9.6.1)
Type "help" for help.

postgres=# CREATE USER repuser replication LOGIN CONNECTION LIMIT 3 ENCRYPTED PASSWORD 'repuser';
CREATE ROLE

2.3 配置pg_hba.conf

在master的pg_hba.conf最后一行增加如下:

host    all             all          0.0.0.0/0       md5
host replication      repuser         slave          md5

2.4 配置postgresql.conf

在master端配置如下:

listen_addresses = '*' 
port = 5432 
max_wal_senders = 1 
wal_level = replica
archive_mode = on 
archive_command = 'cd ./'
hot_standby = on
wal_keep_segments = 64
full_page_writes = on
wal_log_hints = on

配置完成后,重启master数据库

[postgres@bogon ~]$ pg_ctl restart -D $PGDATA

2.5 pg_basebackup 创建备库

在slave端的postgres账户下执行:

#切换到postgres账户
[root@bogon ~]# su - postgres
#从主库备份创建备库
[postgres@bogon ~]$ pg_basebackup -D $PGDATA -Fp -Xs -v -P -h master -p 5432 -U repuser
transaction log start point: 0/2000060 on timeline 1
pg_basebackup: starting background WAL receiver
22806/22806 kB (100%), 1/1 tablespace                                         
transaction log end point: 0/2000130
pg_basebackup: waiting for background process to finish streaming ...
pg_basebackup: base backup completed

修改slave中data目录下的pg_hba.conf最后一行修改如下:

host    all             all          0.0.0.0/0            md5
host replication       repuser       master               md5

2.6 配置recovery.conf

Master端配置如下:

[postgres@bogon ~]$ ls
bin  data  gdal  geos  include  lib  proj4  share
[postgres@bogon ~]$ cp share/recovery.conf.sample data/recovery.done
[postgres@bogon ~]$ vim data/recovery.done
#编辑内容如下
recovery_target_timeline = 'latest'
standby_mode = on
primary_conninfo = 'host=slave port=5432 user=repuser password=repuser'
trigger_file = '/home/postgres/data/trigger_file'

Salve端配置如下:

[postgres@bogon ~]$ ls
bin  data  gdal  geos  include  lib  proj4  share
[postgres@bogon ~]$ cp share/recovery.conf.sample data/recovery.conf
[postgres@bogon ~]$ vim data/recovery.conf
#编辑内容如下
recovery_target_timeline = 'latest'
standby_mode = on
primary_conninfo = 'host=master port=5432 user=repuser password=repuser'
trigger_file = '/home/postgres/data/trigger_file'

2.7 配置.pgpass

master上配置访问slave参数

[postgres@bogon ~]$ vim .pgpass
slave:5432:postgres:repuser:repuser

slave上配置访问master参数

[postgres@bogon ~]$ vim .pgpass
master:5432:postgres:repuser:repuser

2.8 流复制数据同步测试

分别启动master,slave数据库
在master上创建一个数据库和临时表

[postgres@bogon data]$ psql
psql (9.6.1)
Type "help" for help.
postgres=# \password  #创建数据库密码
#创建测试数据库
postgres=# create database test;
CREATE DATABASE
postgres=# \c test
You are now connected to database "test" as user "postgres".
test=# create table tt(id serial not null,name text);
CREATE TABLE
test=# insert into tt(name) values ('china');
INSERT 0 1

在slave上查询刚才创建的表和数据,判定是否有数据同步

[postgres@bogon data]$ psql
psql (9.6.1)
Type "help" for help.

postgres=# \c test
You are now connected to database "test" as user "postgres".
test=# select * from tt;
 id | name  
----+-------
  1 | china
(1 row)

很明显,从库已经同步了主库的数据,到此可以说PG流复制热备已经创建结束了。以下对流复制做一些简单的应用。

三 主备切换

一般可以通过若干命令查询数据库的主备属性,主数据库是读写的,备数据库是只读的。当主数据库宕机了,可以通过建立触发文件,备数据库将被提升为主数据库,实现一些基本的HA应用。

3.1 查询主备

3.1.1 pg_controldata

主机
[postgres@localhost ~]$ pg_controldata
pg_control version number:            960
Catalog version number:               201608131
Database system identifier:           6362107256088627972
Database cluster state:               in production
备机
pg_control version number:            960
Catalog version number:               201608131
Database system identifier:           6362107256088627972
Database cluster state:               in archive recovery

主机的cluster state是in production,备机的cluster state是in archive recovery。

3.1.2 字典表pg_stat_replication

在主机字典表中是能查到记录,备机中是查询不到的。

postgres=# select pid,application_name,client_addr,client_port,state,sync_state from pg_stat_replication;
  pid  | application_name |  client_addr  | client_port |   state   | sync_state 
-------+------------------+---------------+-------------+-----------+------------
 17131 | walreceiver      | 192.168.0.105 |       55734 | streaming | async
(1 row)

3.1.3 进程信息识别

进程中显示wal sender的是主机,显示wal receiver的是备机
master:

PostgreSQL流复制热备

主机进程.png

slave:

PostgreSQL流复制热备

备机进程.png

3.1.4 通过pg函数

备机是t,主机是f。
主机

postgres=# select pg_is_in_recovery();
 pg_is_in_recovery 
-------------------
 f
(1 row)

备机

postgres=# select pg_is_in_recovery();
 pg_is_in_recovery 
-------------------
 t
(1 row)

3.2 备机切换成主机

主机宕机前:

PostgreSQL流复制热备

宕机前备机进程.png

主机执行pg_ctl stop 命令。
宕机后:

PostgreSQL流复制热备

主机宕机后.png

备机报错,说不能连接主机了。
之前曾配置过:

 trigger_file = '/home/postgres/datatrigger_file'

备机切换到主机,在备机上执行

[postgres@localhost ]$  touch /home/postgres/data/trigger_file;

再去备机上查看进程:

PostgreSQL流复制热备

备机进程.png

备机已经切换到主机了。

3.3 原来主机切换成备机

在当前主机(现在是slave了,主机切换了)执行插入语句

postgres=#  insert into tt(name) values('sdf');

如果master上data目录中的recovery.done没有变成recovery.conf,可以手动强制更改。

[postgres@data]$  mv recovery.done recovery.conf

如果已经是recovery.conf就直接执行下面的。

#启动数据库
[postgres@data]$  pg_ctl start
[postgres@bogon data]$ ERROR:  requested starting point 0/6000000 on timeline 1 is not in this server's history
DETAIL:  This server's history forked from timeline 1 at 0/4000098.
ERROR:  requested starting point 0/6000000 on timeline 1 is not in this server's history
DETAIL:  This server's history forked from timeline 1 at 0/4000098.
ERROR:  requested starting point 0/6000000 on timeline 1 is not in this server's history
#其实还有很多时间线不一致等

原因是当前主机slave数据发生变化了,原来的master数据和当前数据不一致了,要确保数据时间线一致。我们使用pg_rewind来同步时间线。
在master(从机上操作)

#从slave上拉取最新时间线和数据给当前的master
[postgres@bogon ~]$ pg_rewind  --target-pgdata=/home/postgres/data --source-server='host=slave port=5432 user=postgres dbname=postgres'

target server must be shut down cleanly
Failure, exiting

发现报错了,说target server 必须关闭,source-server是slave,那么target server就是master,那么停掉master上pg服务。

#先停止服务
[postgres@bogon ~]$  pg_ctl stop
#再拉取数据
[postgres@bogon ~]$ pg_rewind  --target-pgdata=/home/postgres/data --sourceserver='host=slave port=5432 user=postgres dbname=postgres'
servers diverged at WAL position 0/4000098 on timeline 1
rewinding from last common checkpoint at 0/4000028 on timeline 1
Done!
#重启服务
[postgres@bogon ~]$  pg_ctl start

可以检查下,现在的master上数据和slave是一致的了。

点赞
收藏
评论区
推荐文章
秃头王路飞 秃头王路飞
4个月前
webpack5手撸vue2脚手架
webpack5手撸vue相信工作个12年的小伙伴们在面试的时候多多少少怕被问到关于webpack方面的知识,本菜鸟最近闲来无事,就尝试了手撸了下vue2的脚手架,第一次发帖实在是没有经验,望海涵。languageJavaScript"name":"vuecliversion2","version":"1.0.0","desc
浅梦一笑 浅梦一笑
4个月前
初学 Python 需要安装哪些软件?超级实用,小白必看!
编程这个东西是真的奇妙。对于懂得的人来说,会觉得这个工具是多么的好用、有趣,而对于小白来说,就如同大山一样。其实这个都可以理解,大家都是这样过来的。那么接下来就说一下python相关的东西吧,并说一下我对编程的理解。本人也是小白一名,如有不对的地方,还请各位大神指出01名词解释:如果在编程方面接触的比较少,那么对于软件这一块,有几个名词一定要了解,比如开发环
光头强的博客 光头强的博客
4个月前
Java面向对象试题
1、请创建一个Animal动物类,要求有方法eat()方法,方法输出一条语句“吃东西”。创建一个接口A,接口里有一个抽象方法fly()。创建一个Bird类继承Animal类并实现接口A里的方法输出一条有语句“鸟儿飞翔”,重写eat()方法输出一条语句“鸟儿吃虫”。在Test类中向上转型创建b对象,调用eat方法。然后向下转型调用eat()方
刚刚好 刚刚好
4个月前
css问题
1、在IOS中图片不显示(给图片加了圆角或者img没有父级)<div<imgsrc""/</divdiv{width:20px;height:20px;borderradius:20px;overflow:h
blmius blmius
1年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
小森森 小森森
4个月前
校园表白墙微信小程序V1.0 SayLove -基于微信云开发-一键快速搭建,开箱即用
后续会继续更新,敬请期待2.0全新版本欢迎添加左边的微信一起探讨!项目地址:(https://www.aliyun.com/activity/daily/bestoffer?userCodesskuuw5n)\2.Bug修复更新日历2.情侣脸功能大家不要使用了,现在阿里云的接口已经要收费了(土豪请随意),\\和注意
晴空闲云 晴空闲云
4个月前
css中box-sizing解放盒子实际宽高计算
我们知道传统的盒子模型,如果增加内边距padding和边框border,那么会撑大整个盒子,造成盒子的宽度不好计算,在实务中特别不方便。boxsizing可以设置盒模型的方式,可以很好的设置固定宽高的盒模型。盒子宽高计算假如我们设置如下盒子:宽度和高度均为200px,那么这会这个盒子实际的宽高就都是200px。但是当我们设置这个盒子的边框和内间距的时候,那
艾木酱 艾木酱
3个月前
快速入门|使用MemFire Cloud构建React Native应用程序
MemFireCloud是一款提供云数据库,用户可以创建云数据库,并对数据库进行管理,还可以对数据库进行备份操作。它还提供后端即服务,用户可以在1分钟内新建一个应用,使用自动生成的API和SDK,访问云数据库、对象存储、用户认证与授权等功能,可专
Wesley13 Wesley13
1年前
MySQL查询按照指定规则排序
1.按照指定(单个)字段排序selectfromtable_nameorderiddesc;2.按照指定(多个)字段排序selectfromtable_nameorderiddesc,statusdesc;3.按照指定字段和规则排序selec
Wesley13 Wesley13
1年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
helloworld_28799839 helloworld_28799839
4个月前
常用知识整理
Javascript判断对象是否为空jsObject.keys(myObject).length0经常使用的三元运算我们经常遇到处理表格列状态字段如status的时候可以用到vue