作者吕亚霖，2019年加入作业帮，作业帮架构研发负责人，在作业帮期间主导了云原生架构演进、推动实施容器化改造、服务治理、GO微服务框架、DevOps的落地实践。莫仁鹏，2020年加入作业帮，作业帮高级架构师，在作业帮期间，推动了作业帮云原生架构演进，负责作业帮服务治理体系的设计和落地、服务感知体系建设以及自研mesh、MQproxy研发工作。摘要日志是服务

一、Hadoop压缩简介1、hadoop的3个阶段（1）分布式文件系统HDFS（2）分布式编程框架MapReduce（3）yarn框架2、Hadoop数据压缩MR操作过程中进行大量数据传输。压缩技术能够有效的减少底层存储（HDFS）读写字

（点击上方公众号，可快速关注）简介ElasticJob是一个分布式调度解决方案，由两个相互独立的子项目ElasticJobLite和ElasticJobCloud组成。ElasticJobLite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务。

DistributedConfigurationManagementPlatform(分布式配置管理平台)专注于各种 分布式系统配置管理 的通用组件/通用平台,提供统一的配置管理服务。主要目标：部署极其简单：同一个上线包，无须改动配置，即可在多个环境中(RD/QA/PRODUCTION)上线

!(https://oscimg.oschina.net/oscnet/0c08fb0b18a1456caf7fee690e02de5e.jpg)本文提纲如下：0\.前言1\.单数据源事务&多数据源事务2\.常见分布式事务解决方案2.1.分布式事务模型

!(https://uploadimages.jianshu.io/upload_images/9738807a8c8f8164641456f.png?imageMogr2/autoorient/strip|imageView2/2/w/600)简介Git作为分布式版本控制系统，基于去中心化的设计思想，在每个分布式节点上都保存有完

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统

1、概念Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica）分布式消息系统（kafka2.8.0版本之后接触了对zk的依赖，使用自己的kRaft做集群管理，新增内部主体@metadata存储

在程序员的职业规划中，成为软件架构师是一个非常有吸引力的选择。但是对于如何才能成为一名架构师，不少同学认为只要代码写得好，就能得到公司提拔，晋升为架构师。还真不是这样的，如果不具备架构思维，即使代码能写到极致，在开展工作时也将不可避免地掉到坑里去。例如，看

作者：京东零售张继1，概念Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统（kafka2.8.0版本之后接触了对zk的依赖，使用自己的kRaf