HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
Spark常用的三种计算模式
以计算PI为例子进入spark的安装目录单机local模式提交任务./bin/sparksubmitclassorg.apache.spark.examples.SparkPimasterlocalexamples/jars/sparkexamples\.jaryarnclient模式执
Spark安装教程
注:该教程转自厦门大学大数据课程学习总结Spark的安装过程较为简单,在已安装好Hadoop的前提下,经过简单配置即可使用。安装Spark1.sudotar\zxf~/下载/spark1.6.2binwithouthadoop.tgzC/usr/local/
Spark学习之路 (十七)Spark分区
一、分区的概念 分区是RDD内部并行计算的一个计算单元,RDD的数据集在逻辑上被划分为多个分片,每一个分片称为分区,分区的格式决定了并行计算的粒度,而每个分区的数值计算都是在一个任务中进行的,因此任务的个数,也是由RDD(准确来说是作业最后一个RDD)的分区数决定。二、为什么要进行分区 数据分区,在分布式
Spark学习之Spark安装
Spark安装spark运行环境spark是Scala写的,运行在jvm上,运行环境为java7如果使用Python的API,需要使用Python2.6或者Python3.4Spark1.6.2 Scala2.10 Spark2.0.0 Scala 2.11
Spark如何进行动态资源分配
一、操作场景对于Spark应用来说,资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务,若分配给它多个Executor,可是却没有任何任务分配给它,而此时有其他的应用却资源紧张,这就造成了很大的资源浪费和资源不合理的调度。动态资源调度就是为了解决这种场景,根据当前应用任务的负载情况,实时的增减Executor个数,从而
Spark如何与深度学习框架协作,处理非结构化数据
随着大数据和AI业务的不断融合,大数据分析和处理过程中,通过深度学习技术对非结构化数据(如图片、音频、文本)进行大数据处理的业务场景越来越多。本文会介绍Spark如何与深度学习框架进行协同工作,在大数据的处理过程利用深度学习框架对非结构化数据进行处理。Spark介绍Spark是大规模数据处理的事实标准,包括机器学习的操
Spark入门(二)
用Idea搭建我们的Spark环境用IDEA搭建我们的环境有很多好处,其中最大的好处,就是我们甚至可以在工程当中直接运行、调试我们的代码,在控制台输出我们的结果。或者可以逐行跟踪代码,了解spark运行的机制。因此我们选择了idea,当然Idea不是首选,当然也可以用其他工具。因为我们的Spark程序用scala和ja
Spark与Hadoop的比较(特别说一下 Spark 和 MapReduce比较)
Hadoop和Spark方面要记住的最重要一点就是,它们并不是非此即彼的关系,因为它们不是相互排斥,也不是说一方是另一方的简易替代者。两者彼此兼容,这使得这对组合成为一种功能极其强大的解决方案,适合诸多大数据应用场合。Hadoop的定义Hadoop是Apache.org的一个项目,其实是一种软件库和框架,以便使用简单的编程模型,跨计算器集群对
SparkML(1)环境构建
工欲善其事必先利其器,我们先搭建好我们的开发环境。安装配置好Docker首先,我们需要Docker。毕竟我们的重点并不是在安装配置spark上面,怎么简便,怎么做是最好的啦。不过为了适用尽量多的场景,我们会配置一个单机集群,同时配置Pycharm远程调试。安装Docker的步骤,网上已经有很多了,我们这里贴一个基于Cent
Spark1.6.0 on Hadoop2.6.0单机伪分布式安装
1、Scala安装(1)解压文件ubuntu@Ubuntu:~$ sudo tar zxvf scala2.10.4.gz C /opt !(https://oscimg.oschina.net/oscnet/5fc13090fea3cd9b3e6829d482a1b5f43d9.png)(2) 环境变量配置ubunt
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。