HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

网易智企斩获“2021全球新经济卓越成就奖”两项大奖

近日,由艾媒咨询集团(iiMediaResearch)举办的“2021全球未来科技大会暨年度全球新经济卓越成就奖颁奖典礼”在广州隆重召开。现场正式揭晓“2021全球新经济卓越成就奖”获奖榜单,网易旗下一站式企业服务提供商网易智企斩获两个奖项,其中,网易智企获得「2021最具投资价值企业」,网

多线程环境下的读写分离思想

一、场景当我们在多线程的环境下操作一个集合,比如ArrayList或者Hashmap,这些集合默认情况下肯定是线程不安全的,如果说多个线程同时去读和写这些集合就会有线程安全问题。好,问题来了,我们应该怎么让一个集合变成线程安全的呢?二、synchronized或者lock锁有一个

Elastic-Job的执行原理及优化实践

1.QuartzQuartz是由OpenSymphony提供的强大的开源任务调度框架,用来执行定时任务。比如每天凌晨三点钟需要从数据库导出数据,这时候就需要一个任务调度框架,帮我们自动去执行这些程序。那Quartz是怎样实现的呢?1)首先我们需要定义一个运行业务逻辑的接口,即Job

大数据开发之数据仓库架构分析

概述架构是数据仓库建设的总体规划,从整体视角描述了解决方案的高层模型,描述了各个子系统的功能以及关系,描述了数据从源系统到决策大数据培训系统的数据流程。业务需求回答了要做什么,架构就是回答怎么做的问题。架构的价值!(https://imghelloworld.oss

hive on spark参数调整

HiveonSpark是指使用Spark替代传统MapReduce作为Hive的执行引擎,在HIVE7292提出。HiveonSpark的效率比onMR要高不少,但是也需要合理调整参数才能最大化性能,本文简单列举一些调优项。为了符合实际情况,Spark也采用onYARN部署方式来说明。

大数据开发之Hive应用分析

Hive架构1.用户接口:ClientCLI(hiveshell)JDBC(java访问hive)WEBUI(浏览器访问hive)2.元数据(Metastore)数据库元数据包括:表名称、表所属的数据库、表的拥有者、列/分区字段名、表的类型(外部/内部)、表的数据所在的目录默认存储在

大数据开发之Hadoop生态6 大核心组件

Hadoop第一代分布式存储计算框架Hadoop是一个分布式系统基础架构,由Apache基金会开发,它允许用户在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力高速运算和存储。Hadoop包含丰富的生态组件,有我们耳熟能详的分布式文件系统HDFS,分布式计算框架MapRed

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。