Wesley13 Wesley13
2年前
RMAN备份恢复
1介绍RMAN是RecoveryManager的缩写,为Oracle的恢复管理器,是Oracle数据库推荐提供的一种恢复和备份数据库的工具,也是数据库管理员管理数据库常用的工具之一。它是物理备份,而EXP是逻辑备份它可以实现一致性备份,非一致性备份,增量备份,而exp且做不到很多第三方的工具也是调用rman的脚本来实现备份功能,如赛门铁克,NBU
Easter79 Easter79
2年前
TiDB DM踩坑实践总结
一、背景在早期从MySQL到TiDB实施同步操作过程中,我们大多数用的是mydumperloader进行整体全量备份的导出,之后拿到meta信息后,通过syncer实现增量同步,整体操作起来比较麻烦,涉及的配置文件较多,其基本原理就是Syncer通过把自己注册为一个MySQLSlave的方式,和MySQLMaster进行通信,然后不
Wesley13 Wesley13
2年前
Mysql数据库的主从与主主
前言:首先,我们得知道我们为什么要做数据库的主从与主主,而后,再讨论他们的优劣与特点:为什么要做主从呢?因为Mysql数据库没有增量备份的机制,当数据量太大的时候备份是个难以解决的问题。但是mysql数据库有主从备份的机制,说白了就是把主数据库的所有的数据同时写到备份的数据库中。实现mysql数据库的热备份。 要想实现主从或主主,首先要满足主从
Easter79 Easter79
2年前
TiDB Ecosystem Tools 原理解读系列(三)TiDB
作者:张学程简介TiDBDM(DataMigration)是用于将数据从MySQL/MariaDB迁移到TiDB的工具。该工具既支持以全量备份文件的方式将MySQL/MariaDB的数据导入到TiDB,也支持通过解析执行MySQL/MariaDBbinlog的方式将数据增量同步到TiDB。特别地,对于有多个MySQL
Stella981 Stella981
2年前
MongoDB 定位 oplog 必须全表扫描吗?
MongoDBoplog(类似于MySQLbinlog)记录数据库的所有修改操作,除了用于主备同步;oplog还能玩出很多花样,比如1.全量备份增量备份所有的oplog,就能实现MongoDB恢复到任意时间点的功能2.通过oplog,除了实现到备节点的同步,也可以额外再往单独的集群同步数据(甚至是异构的数据库),实现容
Wesley13 Wesley13
2年前
PG_RMAN使用手册
众所周知,Oracle下可以使用rman进行物理备份,支持数据库的全量、增量、归档的备份模式;而PostgreSQL作为开源数据库,也推出了开源功工具pg\_rman,同样具备了oraclerman大部分的功能。本文写的很早,近期才翻出来,挂到博客上,希望能帮助需要的朋友。1、下载安装软件root@mydb01~wget
Wesley13 Wesley13
2年前
Mysql之binlog日志说明及利用binlog日志恢复数据操作记录
众所周知,binlog日志对于mysql数据库来说是十分重要的。在数据丢失的紧急情况下,我们往往会想到用binlog日志功能进行数据恢复(定时全备份binlog日志恢复增量数据部分),化险为夷!一、简单了解binlogMySQL的二进制日志binlog可以说是MySQL最重要的日志,它记录了所有的DDL和DML语句(除了数据查询语句sel
Stella981 Stella981
2年前
Flink 助力美团数仓增量生产
简介:本文由美团研究员、实时计算负责人鞠大升分享,主要介绍Flink助力美团数仓增量生产的应用实践。内容包括:1、数仓增量生产;2、流式数据集成;3、流式数据处理;4、流式OLAP应用;5、未来规划。一、数仓增量生产1.美团数仓架构先介绍一下美团数仓的架构以及增量生产。如下图所示,这是美团数仓的简单架构,我
Wesley13 Wesley13
2年前
RHCE系列之备份工具
我一哥们最近在搞备份,需要用到rsync。因此,鄙人就简单总结了下rsync,也就有了这篇博文,希望对51的博友们有所帮助!RSYNC简介:Rsync(remotesync)是一款开源、快速,多功能、可实现增量的本地或远程数据镜像同步备份优秀工具。它可通过 LAN/WAN 快速同步多台主机间的文件。Rsync 本来是用以取代r
Wesley13 Wesley13
2年前
MySQL数据库全量、增量备份与恢复
MySQL数据库全量、增量备份与恢复数据库备份的重要性在生产的环境中,数据的安全性是至关重要的,任何数据的丢失都可能产生严重的后果。造成数据丢失的原因程序错误人为商店计算机失败磁盘失败灾难(如火山、地震)和偷窃数据库备份的分类从物理与