HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
RDD
RDD(ResilientDistributedDatasets),弹性分布式数据集,它是一种特殊集合,支持多种来源,有容错机制,可以被缓存,支持并行操作spark编程模型的最主要抽象,第一个是RDD,第二个抽象是两种共享变量,即支持并行计算的广播变量和累加器
Spark隐藏接口
Spark有一些隐藏的API,官方没有暴露出来,下面是一些示例,可以方便开发获取job状态<pre<codecurlhttp://sparkclusterip:6066/v1/submissions/status/driver201510081451260000 </c
【Spark】大数据平台搭建(Hadoop+Spark)
一.基本信息1.服务器基本信息<table<thead<tr<th主机名</th<thip地址</th<th安装服务</th</tr</thead<tbody<tr<tdsparkmaster</td<td172.16.200.81<
大数据分析,鲁班为祖师
1.《全栈数据之门》现货上架经过一段时间的等待,目前已经可以在各大电商平台『现货』购买本书。<code本文后面也有京东、当当、天猫的购买链接!</code本书适用<blockquote<p本书以数据分析领域最热的Python语言为主要线索,介绍数据分析库Num
intellij远程调试spark源码示例
环境与版本OS:centos7JDK版本:1.8Spark版本:2.1.0Scala版本:2.11IDE:intellijidea14.1.4前置条件完成编译Spark源码并导入intellij
新书《全栈数据之门》完整目录
!封面(/img/bVK0aK?w350&h350)全栈数据之门前言 自强不息,厚德载物0x1 Linux,自由之光0x10 Linux,你是我的眼0x11 Linux基础,从零开始01
Spark on YARN 部署案例
环境准备1.服务器角色分配<table<thead<tr<thip</th<thhostname</th<throle</th</tr</thead<tbody<tr<td10.8.26.197</td<tdserver1</td<t
Spark Standalone 模式部署案例
先决条件:环境rhel7.2jdk8u102linuxx64spark2.0.2binhadoop2.7Scala2.11,注意:2.11.x版本是不兼容的,见官网:http://spark.apache.org/
Spark 2.7.3 VMware Ubuntu 16.04 虚拟机搭建
Spark2.7.3配置教程在root用户下操作ubunut中用到的文件及位置<pre<code/home/hadoop/hadoop2.7.3/java/java1.8.0_112
spark笔记
传递第三方jars当用sparksubmit提交任务时,可以通过jars选项传递第三方jars包,如果有多个jars,用逗号分开。本地调试用sbt打包好后,最好先在本地调试一下。可以把master指定为local,然后把输入输出改为本地路径即可。
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。