御弟哥哥 御弟哥哥
4年前
RAID在数据库存储上的应用
随着单块磁盘在数据安全、性能、容量上呈现出的局限,磁盘阵列(RedundantArraysofInexpensive/IndependentDisks,RAID)出现了,RAID把多块独立的磁盘按不同的方式组合起来,形成一个磁盘组,以获得比单
Wesley13 Wesley13
3年前
IM系统海量消息数据是怎么存储的?
一、与消息相关的主要场景1、存储和离线消息。现在的IM系统,消息都要落地存储。这样如果接收消息的用户不在线,等他下次上线时,能获取到消息数据。2、消息漫游消息漫游包括主要两种场景,(1)用户新安装IM软件,要能看到以前的聊天记录(2)聊天软件有PC版和App版,在App上聊的天,打开PC版要能够看到
Wesley13 Wesley13
3年前
MongoDB介绍
MongoDB介绍制作人:全心全意MongoDB存储的是json对象(文档型存储)。MongoDB将磁盘格式化为gridfs,在此文件格式上存储数据,存储的数据为二进制的json格式。MongoDB引用了chrome独特的js引擎chromev8,所以MongoDB有能力执行JS。命令介绍
Stella981 Stella981
3年前
Python 转化成 PB 格式数据
一、概述ProtocolBuffers是Google公司开发的一种轻便高效的结构化数据存储格式,可以用于结构化数据串行化,或者说序列化。它很适合做数据存储或RPC数据交换格式。可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。ProtocolBuffers简称为protobuf或pb,下面
Stella981 Stella981
3年前
Neo4J空间数据存储
<divclass"topic\_content"<divclass"markdowntext"<p</p<h31.Neo4jSpatial简介</h3<h41.1Neo4jSpatial概念</h4<p</p<pNeo4jSpatial项目是图数据库Neo4j的一个插件,它通过将空间数据映射到图模型(graph
Wesley13 Wesley13
3年前
MongoDB 基本使用
MongoDB是一个基于分布式文件存储的数据库。由C语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。MongoDB将数据存储为一个文档,数据结构由键值(keyvalue)对组成。MongoDB文档(
Stella981 Stella981
3年前
HBase和MySQL存储方式的差别?或者说是,行存储和列存储的区别?
HBase借鉴列存储的思想,但是最底层依然是依靠键值对来存储数据,HBase为非关系型数据库而MySQL则是行存储,MySQL为关系型数据库!(https://oscimg.oschina.net/oscnet/up8e3871eb35254668547a96b7d98726890e3.png)写过程
Wesley13 Wesley13
3年前
MySQL:数据库基本认识
1、什么是数据库通俗来讲,数据库就是用于存储数据的仓库。很多人可能会问,存储数据用文件不就行了吗?为什么还要弄数据库?文件存储数据具有以下几个缺点:文件的安全性问题文件不利于查询和数据库管理文件不利于存放海量数据文件在程序中控制不方便为了解决上面这些问
基于ClickHouse解决活动海量数据问题 | 京东云技术团队
魔笛活动平台要记录每个活动的用户行为数据,帮助客服、运营、产品、研发等快速处理客诉、解决线上问题并进行相关数据分析和报警。可以预见到需要存储和分析海量数据,预估至少几十亿甚至上百亿的数据量,所以需要选择一款能存储海量数据的数据库。由于是通过接收MQ存储或者API方式存储,所以对实时写入性能也有一定要求。同时可能后续还需要一些实时数据分析等
京东云开发者 京东云开发者
10个月前
ClickHouse内幕(1)数据存储与过滤机制
本文主要讲述ClickHouse中的数据存储结构,包括文件组织结构和索引结构,以及建立在其基础上的数据过滤机制,从Part裁剪到Mark裁剪,最后到基于SIMD的行过滤机制。数据过滤机制实质上是构建在数据存储格式之上的算法,所以在介绍过滤机制前先介绍下Cl