HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
CDH的hadoop与Spark套件组安装
1.解压JDBC并复制到cm目录中<pre<codetarzxvfmysqlconnectorjava5.1.43.tar.gzcp/opt/mysqlconnectorjava5.1.43/mysqlconnectorjava5.1.43bin.jar
CDH的Spark安装准备工作
0.本文说明本文主要撰写安装Spark过程中linux系统需要做的一些前置工作及系统配置本文所有步骤均在以下环境实施:Centos6.5参考文献:阿里yum源(https://link.segmentfault.com/?encDEz
Spark Streaming遇到问题分析
SparkStreaming遇到问题分析1、Spark2.0之后搞了个StructuredStreaming还没仔细了解,可参考:https://github.com/lwlin/Coo...(https://link.segmentfault.com/?encPN8t
Spark Streaming学习笔记之HDFS
Hadoop分布式文件系统(hadoopdistributedfilesystem,HDFS)。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS可以实现流的形式访问(streamingaccess)文件系统中的数据。
Spark SQL学习笔记
SparkSQL是Spark中处理结构化数据的模块。与基础的SparkRDDAPI不同,SparkSQL的接口提供了更多关于数据的结构信息和计算任务的运行时信息。SparkSQL如今有了三种不同的API:SQL语句、DataFrameAPI和最新的DatasetAPI。SparkSQ
Spark Streaming学习笔记
特点:SparkStreaming能够实现对实时数据流的流式处理,并具有很好的可扩展性、高吞吐量和容错性。SparkStreaming支持从多种数据源提取数据,如:Kafka、Flume、Twitter、ZeroMQ、Kinesis以及TCP套接字,并且可以提供一些高级AP
Spark学习笔记之相关记录
编程指南:http://spark.apache.org/docs/...(https://link.segmentfault.com/?enc%2BmYpjE1iXQfcxZnB0UO%2FIg%3D%3D.s2ptPCdGHzBp5oTbXYSDUxqEb4HGhgaBDUjEp1b12q
Spark入门阶段一之扫盲笔记
介绍spark是分布式并行数据处理框架与mapreduce的区别:mapreduce通常将中间结果放在hdfs上,spark是基于内存并行大数据框架,中间结果放在内存,对于迭代数据spark效率更高,mapreduce总是消耗大量时间排序,而有些场景不需要排序,spark可以避免不必
Spark通过bulkLoad对HBase快速导入
项目中有需求将Hive的表存储在HBase中。通过Spark访问Hive表,通过一定ETL过程生成HFile,并通知HBase进行bulkload。实测这是导数最快的手段。环境:CDH:5.7.0Hadoop:2.6.0cdh5.7.0Spark:1.6.
Spark中的Application、SparkSession、SparkContext、RDD及其拓展
接触Spark的时候容易产生这样的疑惑,RDD是什么,SparkContext是什么,SparkSession又是什么...它们之间又是什么关系?简介先来个简单的一图流:!图片描述(/img/bVOfCt?w597&h646)再来个粗暴的一句话描述:
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。