Wesley13 Wesley13
3年前
11张图了解HDFS的架构设计
HDFS介绍HDFS是一个适合部署在廉价机器上的,具有高度容错性的,高吞吐量的分布式文件系统。HDFS的设计理念支持超大规模数据集运行在HDFS上的应用具有很大的数据集。HDFS上的一个典型文件大小一般都在G字节至T字节。因此,HDFS被设计成支持大文件存储,能在一个集群里扩展到
Easter79 Easter79
3年前
spring总结
    spring的知识面很广,给我们带来的信息量很大,长久积累导致脑子里的碎片记忆越来越多,经常出现模棱两可的画面。为了能够快速回忆spring的知识,花了两个星期的时间画了一些图,再此分享给大家,希望能帮到大家。其实,除了总结spring,我还总结了其它的知识点,还在整理当中。  点击图片放大看吧。。。。。1\.Spring模块
徐小夕 徐小夕
4年前
2年vue项目实战经验汇总
前言vue作为前端主流的3大框架之一,目前在国内有着非常广泛的应用,由于其轻量和自底向上的渐进式设计思想,使其不仅仅被应用于PC系统,对于移动端,桌面软件(electronjs)等也有广泛的应用,与此诞生的优秀的开源框架比如elementUI,iView,antdesignvue等也极大的降低了开发者的开发成本,并极大的提高了开发效率。笔者最初接触v
Stella981 Stella981
3年前
SkyWalking 数据清理机制(TTL)
版本:7.0.0描述通过采样率设置,我们可以配置采样的数据量,如80%,50%等,这样做的目的是避免采集过分多的数据。但是,这样会丢失一些信息,如果恰好我们想查看的数据丢失了,就会导致排查问题难度提升,甚至遗漏问题。SkyWalking同时提供了数据清理机制,即我们采集的数据会保留多长时间。因为链路追踪这样的需求,大多数情
Stella981 Stella981
3年前
Hive、Inceptor数据倾斜详解及解决
一、倾斜造成的原因正常的数据分布理论上都是倾斜的,就是我们所说的2080原理:80%的财富集中在20%的人手中,80%的用户只使用20%的功能,20%的用户贡献了80%的访问量。俗话是,一个人累死,其他人闲死的局面这也违背了并行计算的初衷,首先一个节点要承受着巨大的压力,而其他节点计算完毕后要
财务数据处理问题及解决方案分享
一、平台介绍财务自营计费主要承接京东自营数据在整个供应链中由C端转B端的功能实现,在整个供应链中属于靠后的阶段了,系统主要功能是计费和向B端的汇总。二、问题描述近年来自营计费数据量大增,有百亿的数据量,一天中汇总占据了一半的数据库资源。1、每天从单表千万
聊一聊Java中的Steam流 | 京东物流技术团队
在我们的日常编程任务中,对于集合的制造和处理是必不可少的。当我们需要对于集合进行分组或查找的操作时,需要用迭代器对于集合进行操作,而当我们需要处理的数据量很大的时候,为了提高性能,就需要使用到并行处理,这样的处理方式是很复杂的。流可以帮助开发者节约宝贵的时间,让以上的事情变得轻松。
Mybatis 拦截器实现单数据源内多数据库切换 | 京东物流技术团队
物流的分拣业务在某些分拣场地只有一个数据源,因为数据量比较大,将所有数据存在一张表内查询速度慢,也为了做不同设备数据的分库管理,便在这个数据源内创建了多个不同库名但表完全相同的数据库,如下图所示:现在需要上线报表服务来查询所有数据库中的数据进行统计,那么现
数字先锋 | “言”之有“力”,大模型背后的算力“推手”!
在算力调度方面,天翼云通过自研的调度系统,协助思必驰DFM2大模型调度GPU、NPU、CPU等异构算力资源,大规模训练上云1个月,可以完成数十亿规模大模型所有阶段训练和效果评估。在训练能力打造方面,天翼云支持多种模型训练方式,不仅可以提升大模型训练平台的数据量,还大幅缩短了训练周期和交付进度。
邢德全 邢德全
1年前
万界星空科技注塑行业MES解决方案
注塑行业是一个具有发展潜力的行业,随着人们对物质生活的质量要求越来越高,日用品、医疗保健、汽车工业以及建筑等行业对注塑制品的需求量日益增长。注塑企业提供的多种多样的塑料产品已深入到经济生活的各个领域,为国家经济的各个部门包括轻工业和重工业提供重要支持。