HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
线上 hive on spark 作业执行超时问题排查案例分享
线上hiveonspark作业执行超时问题排查案例分享大家好,在此分享一个某业务系统的线上hiveonspark作业在高并发下频现作业失败问题的原因分析和解决方法,希望对大家有所帮助。1问题现象某业务系统中,HIVESQL以hiveonspa
Spark on k8s 在阿里云 EMR 的优化实践
<blockquote<p<strong导读:</strong随着大数据技术的发展,Spark成为当今大数据领域最受关注的计算引擎之一。在传统的生产环境中,SparkonYARN成为主流的任务执行方式,而随着容器化概念以及存算分离思想的普及,尤其是Spark3.1版本下该模式的
Apache Kyuubi 在B站大数据场景下的应用实践
01背景介绍近几年随着B站业务高速发展,数据量不断增加,离线计算集群规模从最初的两百台发展到目前近万台,从单机房发展到多机房架构。在离线计算引擎上目前我们主要使用Spark、Presto、Hive。架构图如下所示,我们的BI、ADHOC以及DQC服务都是通过自研的Dispatc
SparkSQL on K8s 在网易传媒的落地实践
作者:鲁成祥易顺随着云原生技术的发展和成熟,大数据基础设施积极拥抱云原生是业内发展的一大趋势。网易传媒在2021年成功将SparkSQL部署到了K8s集群,并实现与部分在线业务的混合部署,到目前已经稳定运行了一年多。期间传媒联合杭研Spark内核团队和云计算团队对出现的问题进行
开源无国界,从openEuler Maintainer到Spark Committer的贡献开源之路
2022年10月初,openEulerMaintainer姜逸坤接受ApacheSparkPMC邀请,正式成为ApacheSparkCommitter(核心贡献者)1。他的主要贡献是ApacheSpark在基础设施、云原生、PySpark等方向的改进。开源之路,从懵
SeaTunnel连接器V1到V2的架构演进与探究
核心概念整个SeaTunnel设计的核心是利用设计模式中的<code控制翻转</code或者叫<code依赖注入</code,主要概括为以下两点:上层不依赖底层,两者都依赖抽象流程代码与业务逻辑应该分离对于整个数据处理过程,大致可以分为以下几个流程:输入
(4)SparkSQL中如何定义UDF和使用UDF
SparkSQL中用户自定义函数,用法和SparkSQL中的内置函数类似;是saprkSQL中内置函数无法满足要求,用户根据业务需求自定义的函数。首先定义一个UDF函数:<pre<codepackagecom.udf;importorg.apache.spark.sql.ap
数据平台发展史-从数据仓库数据湖到数据湖仓
数据平台发展史从数据仓库数据湖到数据湖仓做数据的同学经常听到一些数据相关的术语,常见的包括数据仓库,逻辑数据仓库,数据湖,数据湖仓/湖仓一体,数据网格datamesh,数据编织datafabric等.笔者在这里回顾了下数据平台的发展史,也介绍和对比了下常见的概念,主要包括数
数据湖管理及优化
<blockquote<p摘要:本文整理自阿里云开源大数据高级开发工程师杨庆苇在7月17日阿里云数据湖技术专场交流会的分享。本篇内容主要分为两个部分:</p<ol<li数据湖元数据仓库介绍</li<li阿里云DLF数据湖管理与优化</li</ol</blockquote
开启 Kerberos 安全的大数据环境中,Yarn Container 启动失败导致 spark/hive 作业失败
大数据问题排查系列开启Kerberos安全的大数据环境中,YarnContainer启动失败导致spark/hive作业失败前言大家好,我是明哥!最近在若干个不同客户现场,都遇到了大数据集群中开启Kerberos后,spark/hive作业提交到YARN
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。