文章
如何更改 datax 以支持hive 的 DECIMAL 数据类型?
如何更改datax以支持hive的DECIMAL数据类型?1.JAVA数据类型float/double与BigDecimal大家知道,JAVA中可以用来存储小数的数字类型,主要包括:基本数据类型float/double;基本数据类型
线上数据问题排查案例分享-因为 HMS 和底层 orc 文件中某字段的数据精度不一致造成的数据丢失问题
线上数据问题排查案例分享因为HMS和底层orc文件中某字段的数据精度不一致造成的数据丢失问题大家好,我是明哥,本篇文章跟大家分享一次线上数据问题的排查案例,并总结下背后的技术背景和最佳实践,希望对大家有所帮助。1.避坑指南和最佳实践先说下通过本案例总结的避坑
hadoop-配置history server
historyserver配置:mapredsite.xml<pre<code<!指定mapreduce运行在yarn上><property><name>mapreduce.framework.name<
新手搭建hadoop集群深坑
DataNode不启动搭建hadoop集群可以参考我之前的几篇文章.我的hadoop集群版本是3.3.3此处记录一下困扰了好几天的问题:我的hadoop集群如下hadoop4hadoop5hadoop6部署完成后,使用startdfs.sh启动.有个问题.假如我在hadoop4
躬行系列-自动故障转移-hadoop
接手动配置的上文增加HA配置hdfssite.xml<pre<code<!启用nn故障自动转移><property><name>dfs.ha.automaticfailover.enabled&l
一站式全覆盖数据 I/O 平台 - Alluxio 与 Aunalytics 的完美结合
<blockquote<p“Aunalytics云原生数据分析平台与Alluxio的开源数据编排软件相结合,使客户能够进行跨所有数据源的统一访问,并驱动人工智能分析,产出更好的答案,获得竞争优势。”</p<ul<liAunalytics分析云首席技术官</li<li汤姆·帕诺佐</l
躬行系列-手动控制active的hadoop集群
配置文件coresite.xml<pre<code<configuration><!多个namenode地址组装成一个集群,这里mycluster变量名是供hdfssite.xml里文件引用的><property&g
【深入浅出 Yarn 架构与实现】2-3 Yarn 基础库 - 服务库与事件库
一个庞大的分布式系统,各个组件间是如何协调工作的?组件是如何解耦的?线程运行如何更高效,减少阻塞带来的低效问题?本节将对Yarn的服务库和事件库进行介绍,看看Yarn是如何解决这些问题的。一、服务库一)简介对于生命周期较长的对象,Yarn采用基于服务的模型
Ooize-sqoop任务失败Failing Oozie Launcher exit code [1]
CDH集群重启后,Ooizesqoop任务失败原文地址:https://segmentfault.com/a/11...(https://segmentfault.com/a/1190000042594185)<pre<codeSTDOUT2022
【深入浅出 Yarn 架构与实现】2-2 Yarn 基础库 - 底层通信库 RPC
RPC(RemoteProcedureCall)是Hadoop服务通信的关键库,支撑上层分布式环境下复杂的进程间(InterProcessCommunication,IPC)通信逻辑,是分布式系统的基础。允许运行于一台计算机上的程序像调用本地方法一样,调用另一台计算机的子程序。由于
已加载文章中没有匹配内容,试试其他关键词或清空搜索。