DCache 分布式存储系统|安装部署与应用创建

Stella981
• 阅读 529

DCache 分布式存储系统|安装部署与应用创建

作者 | Eaton

导语 | 随着微服务与云的发展,分布式架构的需求变得越来越普遍,Web 上的数据类型不再单一,数据量呈爆发式增长。传统的 SQL 结构化存储方案已经跟不上脚步, NoSQL 便出现了。DCache 作为基于 TARS 的分布式 NoSQL 缓存系统,完美支持 TARS 服务,能够方便地在 TARS 服务中使用,本系列文章将着重介绍 DCache 的安装与使用。那么如何拥有这套系统呢?本文将对 DCache 的安装和应用创建方式进行介绍。

目录

  • 简介
    • 背景
    • SQL 与 NoSQL
    • DCache
  • 安装 DCache
    • 环境依赖
    • 编译构建
    • 部署
  • 创建 DCache 应用
  • 总结

简介

背景

随着移动互联网和云的发展,用户量不断增长,业务访问量与日俱增,光靠资源的扩容已经无法解决所有的问题。特别是像电商平台、音视频点播等,存在大规模的数据访问,对查询效率要求很高,传统的数据库磁盘 IO 已经很难满足。

为了解决这一问题,NoSQL 数据库诞生了,它通过将数据缓存到内存中,使用时直接从内存中调用,大大减少磁盘 IO 的开销,提升查询效率,与分布式结合还能够实现海量数据的处理。这个NoSQL,具体No在哪呢?

SQL 与 NoSQL

SQL 是指数据库的结构化查询语言,它是数据库的操作命令集,传统的关系型数据库都使用标准的 SQL 语句操作处理数据。

NoSQL 是指一类数据库,主要用于高性能处理超海量数据,它的一大特点是数据结构简单,以 key-value 为主,数据之间非关联,容易做水平扩展。

DCache 分布式存储系统|安装部署与应用创建

从字面上看,NoSQL 似乎是与 SQL 对立的,做 NoSQL 似乎就意味着放弃 SQL,然而实际上 NoSQL 本意是 Not Only SQL,它不仅仅是 SQL,那么也就可以包含 SQL 的能力。

DCache

DCache 是一个基于 TARS 框架开发的分布式 NoSQL 存储系统,数据采用内存存储,同时支持连接后端 DB 实现数据持久化,结合了 NoSQL 和 SQL 的优势,具备以下特点

  • 高性能存储引擎,支持 key-value(键值对),k-k-row(多键值),list(列表),set(集合),zset (有序集合)等多种数据结构;
  • 采用集群模式,实现高扩展性和高可用性,支持异地镜像,就近接入;
  • 支持通过 TARS 名字服务访问,支持同步、异步、单向 RPC 调用方式;
  • 高效运维平台,在线完成服务部署、扩缩容、迁移,以及服务配置,服务调用质量监控;
  • 业务无须和直接和 MySQL 交互, DCache 会自动缓写 DB。

更多关于 DCache 的信息,可以查看 DCache的GitHub仓库

那么接下来,我们来看看如何在 TARS 上安装部署 DCache。

安装 DCache

环境依赖

DCache 基于 TARS 开发,因此编译安装之前,需要先安装 TARS 框架,具体安装步骤可以参考 TARS 框架部署文档

编译构建

先将 DCache 源码克隆下来

git clone https://github.com/Tencent/DCache.git

接着进入 DCache 目录,执行以下命令进行编译构建

mkdir build
cd build
cmake ..
make
make release
make tar

执行完之后即可生成 DCache 中各服务的发布包。

部署

生成发布包后,接下来就是将 DCache 部署在 TARS 中了。这一步,我们直接使用 DCache 中的自动部署脚本就可以了。

我们只需要进入前面编译构建项目的 build 目录,填写参数,执行安装脚本即可

cd build
../deploy/install.sh $TARS_MYSQL_IP $TARS_MYSQL_PORT $TARS_MYSQL_USER $TARS_MYSQL_PASSWORD $DCACHE_MYSQL_IP $DCACHE_MYSQL_PORT $DCACHE_MYSQL_USER $DCACHE_MYSQL_PASSWORD $CREATE $WEB_HOST $WEB_TOKEN $NODE_IP

各参数释义如下

  • TARS_MYSQL_IP: TARS 数据库的 IP;
  • TARS_MYSQL_PORT: TARS 数据库的端口;
  • TARS_MYSQL_USER: TARS 数据库的用户名;
  • TARS_MYSQL_PASSWORD: TARS 数据库的密码;
  • DCACHE_MYSQL_IP: DCache 数据库的 IP;
  • DCACHE_MYSQL_PORT: DCache 数据库的端口;
  • DCACHE_MYSQL_USER: DCache 数据库的用户名;
  • DCACHE_MYSQL_PASSWORD: DCache 数据库的密码;
  • CREATE: 是否重新创建 DCache 的数据库,为 true 则重新创建;如果已经创建,例如需要升级原有 DCache,可以设置为 false,避免重新创建;
  • WEB_HOST: TarsWeb 平台地址;
  • WEB_TOKEN: TarsWeb 平台 Token (需要进入web平台, 用户中心上, 创建一个 Token);
  • NODE_IP: 公共服务部署节点 IP, 部署完成后, 你可以在 TarsWeb 平台扩容到多台节点机上。

例如

../deploy/install.sh 192.168.1.123 3306 tarsAdmin Tars@2019 192.168.1.124 3306 root 123456 192.168.1.123:3000 abcdefg1randomtoken12345 192.168.1.123

TARS 与 DCache 的数据库可以相同,但如果在正式环境中使用,建议分开使用,为 DCache 建立独立的数据库。

执行完成后,DCache 即安装完成,如下图。

DCache 分布式存储系统|安装部署与应用创建

创建 DCache 应用

安装完 DCache,我们就可以来创建第一个 DCache 应用了。

首先我们需要先添加一个地区,用于标识我们创建的 DCache 应用。点击顶部的 服务创建,点击下方 Tab 栏中的 地区,点击 新增地区,填写地区和标签,例如 深圳,标签 sz,如下

DCache 分布式存储系统|安装部署与应用创建

创建完成后,点击 Tab 栏中的 创建应用,填写应用名,并选择一个 IDC 地区,点击 创建应用。比如我们创建一个 TestDemo 应用,地区选择 深圳,如下

DCache 分布式存储系统|安装部署与应用创建

Router配置信息 中,选择 服务IP,并填写 MySQL 实例信息;Proxy配置信息 中,选择代理服务的 服务IP,点击 创建 router、proxy 服务 完成应用创建。

DCache 分布式存储系统|安装部署与应用创建

最后,点击 安装发布,即可发布应用

DCache 分布式存储系统|安装部署与应用创建

发布完成后,回到 服务管理,刷新即可看到刚刚创建的 DCache 应用 TestDemo

DCache 分布式存储系统|安装部署与应用创建

我们将在下一篇文章中介绍如何在这一应用中部署缓存模块,并在 TARS 服务中使用,敬请期待。

总结

本文简要介绍了 DCache 的特性,并详细说明了如何安装 DCache 并创建一个 DCache 应用,帮助开发者快速部署、上手 DCache。关于 DCache 服务模块的创建和使用,将在后续系列文章中进行介绍,尽请期待。

TARS 可以在考虑到易用性和高性能的同时快速构建系统并自动生成代码,帮助开发人员和企业以微服务的方式快速构建自己稳定可靠的分布式应用,从而令开发人员只关注业务逻辑,提高运营效率。多语言、敏捷研发、高可用和高效运营的特性使 TARS 成为企业级产品。

TARS微服务助您数字化转型,欢迎访问:

TARS官网:https://TarsCloud.org

TARS源码:https://github.com/TarsCloud

Linux基金会官方微服务免费课程:https://www.edx.org/course/building-microservice-platforms-with-tars

获取《TARS官方培训电子书》:https://wj.qq.com/s2/6570357/3adb/

或扫码获取:

DCache 分布式存储系统|安装部署与应用创建

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Jacquelyn38 Jacquelyn38
2年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Stella981 Stella981
2年前
KVM调整cpu和内存
一.修改kvm虚拟机的配置1、virsheditcentos7找到“memory”和“vcpu”标签,将<namecentos7</name<uuid2220a6d1a36a4fbb8523e078b3dfe795</uuid
Easter79 Easter79
2年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
2年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
2年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
2年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
为什么mysql不推荐使用雪花ID作为主键
作者:毛辰飞背景在mysql中设计表的时候,mysql官方推荐不要使用uuid或者不连续不重复的雪花id(long形且唯一),而是推荐连续自增的主键id,官方的推荐是auto_increment,那么为什么不建议采用uuid,使用uuid究
Python进阶者 Python进阶者
4个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这