文章
wfs 海量小文件存储系统
WFS文件存储系统,主要解决海量小文件的存储问题WFS官网(https://link.segmentfault.com/?encfujQ5cNvmeGghFS4hZ00Jw%3D%3D.RYSmNtshcLSHq8NYhW7wlYK0kXnGPolyl0jGpbF9D
CurveFS 助力网易云商,解决语音识别训练数据增长需求
背景随着语音技术在各行各业的广泛应用,自动语音识别(ASR)正在成为众多云服务商的核心竞争力。但ASR模型的持续优化需要大量训练数据的支持,如何高效管理海量训练数据成为云商面临的一个难题。网易云商在发展ASR业务过程中,存储面临了巨大挑战。将海量训练数据保
Python + Sqlalchemy 对数据库的批量插入或更新(Upsert)
本篇承接上一篇《Mysql数据库的批量插入或更新(Upsert)(https://segmentfault.com/a/1190000042748357)》的内容,来看看在Python中,怎么实现大量数据的upsert(记录存在就更新,不存在则插入)。由于不同数据库对这种upser
墨天轮访谈 | OceanBase 白超:海量数据管理,为什么选择OceanBase?
<blockquote<strong分享嘉宾</strong:<strong白超(大窑)</strongOceanBase解决方案架构师、前蚂蚁集团数据库团队DBA专家<br/<strong整理</strong:<ahref"https://link.segmentfau
LightningChart实时显示海量数据
LightningChart.NET(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fwww.evget.com%2Fproduct%2F3309)完全由GPU加速,并且性能经过优化,可用于实时显示海量数据超过10亿个数据点。LightningChart包括广泛的2D,高级3D,Po
Go 程序利用 ElasticSearch 游标 Scroll 实现海量数据分页查询
!(https://oscimg.oschina.net/oscnet/59b2d5a4de1aa55f71bd4504157460e74e5.png)加关注,不迷路!!(https://oscimg.oschina.net/oscnet/796820ceff8f6d91a9c62dbfc726967dde4.png)环境
vivo 云服务海量数据存储架构演进与实践
一、写在开头vivo云服务提供给用户备份手机上的联系人、短信、便签、书签等数据的能力,底层存储采用MySQL数据库进行数据存储。随着vivo云服务业务发展,云服务用户量增长迅速,存储在云端的数据量越来越大,海量数据给后端存储带来了巨大的挑战。云服务业务这几年最大的痛点,就是如何解决用户海量数据的存储问题。二、面临挑战
IM系统海量消息数据是怎么存储的?
一、与消息相关的主要场景1、存储和离线消息。现在的IM系统,消息都要落地存储。这样如果接收消息的用户不在线,等他下次上线时,能获取到消息数据。2、消息漫游消息漫游包括主要两种场景,(1)用户新安装IM软件,要能看到以前的聊天记录(2)聊天软件有PC版和App版,在App上聊的天,打开PC版要能够看到
PB级海量数据服务平台架构设计实践
基于PB级海量数据实现数据服务平台,需要从各个不同的角度去权衡,主要包括实践背景、技术选型、架构设计,我们基于这三个方面进行了架构实践,下面分别从这三个方面进行详细分析讨论:实践背景该数据服务平台架构设计之初,实践的背景可以从三个维度来进行说明:当前现状、业务需求、架构需求,分别如下所示:当前现状收集了当前已有数据、分工、团队
100台机器上海量IP如何查找出现频率 Top 100?
场景题<blockquote有100机器,每个机器的磁盘特别大,磁盘大小为1T,但是内存大小只有4G,现在每台机器上都产生了很多ip日志文件,每个文件假设有50G,那么如果计算出这100太机器上访问量最多的100ip呢?也就是Top100。</blockquo
已加载文章中没有匹配内容,试试其他关键词或清空搜索。