一、ElasticSearch简介1.1什么是ElasticSearchElasticSearch，简称es，es是一个开源的高扩展的分布式全文搜索引擎，可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理pb级别的数据。es也使用java开发并使用Lucene作为其核心来实现所有索

“Hadoop能做什么？”，概括如下：　　1）搜索引擎：这也正是DougCutting设计Hadoop的初衷，为了针对大规模的网页快速建立索引；　　2）大数据存储：利用Hadoop的分布式存储能力，例如数据备份、数据仓库等；　　3）大数据处理：利用Hadoop的分布式处理能力，例如数据挖掘、数据分析等；　　4）

前言安装搜索引擎过程中，我遇到了很多坑！发出来让各位绕道而行，后面都是用ES关键字来代替Elasticsearch，后面的搭建和使用都是在centos6.8环境下，本人使用的ES是5.5.0的版本，JDK使用1.8版本。相关文章：     Elasticsearch5.5入门必会之Javaclien

一、读写锁简介现实中有这样一种场景：对共享资源有读和写的操作，且写操作没有读操作那么频繁。在没有写操作的时候，多个线程同时读一个资源没有任何问题，所以应该允许多个线程同时读取共享资源；但是如果一个线程想去写这些共享资源，就不应该允许其他线程对该资源进行读和写的操作了。　针对这种场景，JAVA的并发包提供了读写锁ReentrantReadW

一、操作场景对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务，若分配给它多个Executor，可是却没有任何任务分配给它，而此时有其他的应用却资源紧张，这就造成了很大的资源浪费和资源不合理的调度。动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时的增减Executor个数，从而

ApacheMesos官方文档只提供了源码安装方式，然而我尝试了几次，总是在某些阶段报错。而通过搜索引擎搜到的其他办法，也多少会遇到一些莫名其妙的错误。所以根据自己尝试的结果，整理了一个简单的方法。1，添加yum仓库rpmUvhhttp://repos.mesosphere.io/el/7/noarch/RPMS/mesosphere

作者邱天，腾讯云高级工程师，负责腾讯云TKE动态调度器与重调度器产品。背景原生kubernetes调度器只能基于资源的resourcerequest进行调度，然而Pod的真实资源使用率，往往与其所申请资源的request/limit差异很大，这直接导致了集群负载不均的问题：1.集群中的部分节点，资源的真实使用率远低于resourc

作者邱天，腾讯云高级工程师，负责腾讯云TKE动态调度器与重调度器产品。背景原生kubernetes调度器只能基于资源的resourcerequest进行调度，然而Pod的真实资源使用率，往往与其所申请资源的request/limit差异很大，这直接导致了集群负载不均的问题：1.集群中的部分节点，资源的真实使用率远低于resourcerequest，却没有被调度更多的Pod，这造成了比较大的资源浪费；2.而集群中的另外一些节点，其资源的真实使用率事实上已经过载，却无法为调

一、应用背景简介ClickHouse是Yandex（俄罗斯最大的搜索引擎）开源的一个用于实时数据分析的基于列存储的数据库，其处理数据的速度比传统方法快1001000倍。ClickHouse的性能超过了目前市场上可比的面向列的DBMS，每秒钟每台服务器每秒处

1前言Elasticsearch作为一个分布式搜索引擎，自身是高可用的；但也架不住一些特殊情况的发生，如：集群超过半数的master节点丢失，ES的节点无法形成一个集群，进而导致集群不可用；索引shard的文件损坏，分片无法被正常恢复，进而导致索引无法正常