HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

14天1000+大集群滚动升级,银行柜台竟然毫无感觉

摘要:中国工商银行联合华为完成了金融行业首家规模超千台的Hadoop集群大版本滚动升级,为期两周的升级过程突破了传统的离线升级模式,真正实现了业务无感的平滑滚动升级。2020年8月27日,中国工商银行联合华为完成了金融行业首家规模超千台的Hadoop集群大版本滚动升级,为期两周的升级过程突破了传统的离线升级模式,真正实现了业务无感的平滑滚动升

2017上

    2017上总结2017年过去一半了,这半年自己也做了蛮多事。这些天把这半年的一些东西理了理。    这半年时间主要在学三个方面linux,python,java(hadoop)    Linux方面的学习:        “工欲善其事必先利其器”深入的学习了vim编辑器用法        对linux系统底层服务(servi

java程序中获取kerberos登陆hadoop

本文由作者周梁伟授权网易云社区发布。一般我们在使用kbs登陆hadoop服务时都直接在shell中调用kinit命令来获取凭证,这种方式简单直接,只要获取一次凭证之后都可以在该会话过程中重复访问。但是这种方式一个明显的问题就是如果在本次shell中会间隔调用不同的java程序,而这些程序需要访问不同权限的问题,需要在访问前调用各自的ktab文件获

hive(02)、数据仓库Hive的基本使用

       在上篇《hive(01)、基于hadoop集群的数据仓库Hive搭建实践(https://my.oschina.net/zss1993/blog/1602402)》一文中我们搭建了分布式的数据仓库Hive服务,本文主要是在上文的基础上结合Hadoop分布式文件系统,将结构化的数据文件映射为一张数据库表,将sql语句转换为MapRedu

MAPREDUCER学习笔记

MAPREDUCE基本原理      一,概念理解  1,Mapreduce是一个分布式运算程序的编程架构,相对于HDFS来说就是客户端。其核心功能就是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并运行在一个hadoop集群上。  2,基本整体架构:MEAppMaster,MapTask,R

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。