HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Linux 进程卡住了怎么办?

在我们使用Linux系统时,如果网络或者磁盘等I/O出问题,会发现进程卡住了,即使用<codekill9</code也无法杀掉进程,很多常用的调试工具,比如<codestrace</code,<codepstack</code等也都失灵了,是怎么回事?!(h

JuiceFS 数据加密原理

JuiceFS作为分布文件系统,每天与海量的数据打着交道,因此数据的安全性尤为关键,今天就来介绍一下JuiceFS在数据加密方面所做的努力。传输中数据加密JuiceFS在网络上传输时会对数据进行加密,以防止未经授权的用户窃听网络通信。JuiceFS客户端始终使用HT

巧用符号链接迁移 HDFS 数据,业务完全无感知!

问题JuiceFS是一个基于对象存储的分布式文件系统,在之前跟对象存储比较的文章中已经介绍了JuiceFS能够保证数据的强一致性和极高的读写性能,因此完全可以用来替代HDFS。但是数据平台整体迁移通常是一个费时费力的大工程,需要做到迁移超大规模数据的同时尽量不影响上层业务。下面将

Hdfs学习(一)

HDFS1、HDFS概述1.1简介HDFS(HadoopDistributedFileSystem),Hadoop分布式文件系统,用来解决海量数据的存储问题。核心组件:HDFS(分布式文件系统)YARN(运算资源调度系统)MAPREDUCE(分布式运算编程

Structured Streaming 之状态存储解析

引言我们知道,持续查询的驱动引擎StreamExecution会持续不断地驱动每个批次的执行。对于不需要跨批次的持续查询,如map(),filter()等,每个批次之间的执行相互独立,不需要状态支持。而比如类似count()的聚合式持续查询,则需要跨批次的状态支持,这样本批次的执行只需依赖上一个批次的结果,而不需要

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。