HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
hive on spark参数调整
HiveonSpark是指使用Spark替代传统MapReduce作为Hive的执行引擎,在HIVE7292提出。HiveonSpark的效率比onMR要高不少,但是也需要合理调整参数才能最大化性能,本文简单列举一些调优项。为了符合实际情况,Spark也采用onYARN部署方式来说明。
SparkSQL数据抽象与执行过程分享
SparkSQL数据抽象引入DataFrame就易用性而言,对比传统的MapReduceAPI,Spark的RDDAPI有了数量级的飞跃并不为过。然而,对于没有MapReduce和函数式编程经验的新手来说,RDDAPI仍然存在着一定的门槛。另一方面,数据科学家们所熟悉的R、Pa
Spark面试题(一)
1、spark的有几种部署模式,每种模式特点?(☆☆☆☆☆)1)本地模式 Spark不一定非要跑在hadoop集群,可以在本地,起多个线程的方式来指定。将Spark应用以多线程的方式直接运行在本地,一般都是为了方便调试,本地模式分三类 local:只启动一个executor
大数据开发之Spark 基础入门学习
集群相关ClusterManager指的是在集群上获取资源的外部服务,为每个sparkapplication在集群中调度和分配资源的组件,目前有三种类型:•Standalone:Spark原生的资源管理,由Master负责资源的分配•ApacheMesos:与Hadoop
大数据开发之Spark入门
什么是Spark?·大数据的电花火石。·Spark类似于MapReduce的低延迟的交互式计算框架。·Spark是UCBerkeleyAMPLab开发的是一种计算框架,分布式资源工作交由集群管理软件(Mesos、YARN)。·Spark是处理海量数据的快速通用引擎大数据培训(http
大数据开发之Spark SQL/Hive实用函数分享
字符串函数1.concat对字符串进行拼接:concat(str1,str2,...,strN),参数:str1、str2...是要进行拼接的字符串。returntheconcatenationofstr1、str2、...,strNSparkSQLs
搭建Hadoop2.7.2和Hive2.3.3以及Spark3.1.2
Hadoop简介Hadoop是一个用Java编写的Apache开源框架,允许使用简单的编程模型跨计算机集群分布式处理大型数据集。Hadoop框架工作的应用程序在跨计算机集群提供分布式存储和计算的环境中工作。Hadoop旨在从单个服务器扩展到数千个机器,每个都提供本地计算和存储。
大数据开发之Yarn和Spark UI界面获取的方法
一、Yarn以获取Yarn界面队列信息为例:1.接口(HTTPRequest)<ahttp://ip:port/ws/v1/cluster/...</aip和port:YarnResourceManageractive节点的ip地址和端口号2.请求方式GET
spark性能优化(一)
本文内容说明初始化配置给rdd和dataframe带来的影响repartition的相关说明cache&persist的相关说明性能优化的说明建议以及实例配置说明<pre<codespark:2.4.0服务器:5台(8核32G
如何基于Jupyter notebook搭建Spark集群开发环境
<blockquote<strong摘要:</strong本文介绍如何基于Jupyternotebook搭建Spark集群开发环境。</blockquote本文分享自华为云社区《基于JupyterNotebook搭建Spark集群开发环境(https://link.segmen
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。