HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
Squirrel-sql作为SnappyData的远程客户端
Squirrelsql客户端下载squirrelsql客户端是java开发,理论上支持所有的实现了JDBC接口规范的DB驱动。squirrelsql下载地址(https://link.segmentfault.com/?encMOycl5dQ%2Fk%2FO
Spark编译
前提在这里我们编译的是Spark2.2.0,Hadoop版本为hadoop2.6.0cdh5.7.0,Scala版本为2.11.8更多关于编译Spark2.2.0参见Spark编译官方文档(https://link.segmentfault.com/?encWqETMrDd
【DataMagic】如何在万亿级别规模的数据量上使用Spark
欢迎大家前往腾讯云社区(https://link.segmentfault.com/?enc0D1ZbrFbV2jN2leJlbLzSw%3D%3D.gKSZezXWzBEyj1AnUh6dcsTu%2FlZvMdiRtjVYi2FZQpMy4Z6c6fdrbWSZFuj5A9W6befpV
spark 数据处理中的,正则化标准化和归一化
A.正则化1.正则化的目的是什么?正则化是为了防止过拟合,加入正则项和的参数估计是符合我们之前的预定目标的,即用尽量少的变量去拟合数据。正则化符合奥卡姆剃刀原理,在所有可能选择的模型中,能够很好的解释已知数据,并且十分简单的才是最好的模型,也就是要选择的模型。2.机器学习中的范数L0范数是指
梯度下降算法spark实现
spark中梯度下降的实现在GradientDescent中的方法runMiniBatchSGD中1.第一步是采样并计算梯度采样用的是RDD.sample方法<pre<code//sample方法获取一个子集//根据采样计算梯度//RDD.aggregate方
[原] 深入对比数据科学工具箱: SparkR vs Sparklyr
!(https://media.licdn.com/mpr/mpr/AAEAAQAAAAAAAAjKAAAAJDc4NWRjNGE5LTA0ZTktNGE3Mi1iZjBiLWE0YzIyZmVhOGJkZg.png)背景介绍SparkR和Sparklyr是两个基于Sp
Spark User-guide Summary - Tunning
Summarizedfromhttp://spark.apache.org/docs/...(https://link.segmentfault.com/?enciDXMkN95OBVKu5MRbnkRsw%3D%3D.QlGVdxK16Yry1789nBg8%2BCoVPgM6Y8aoR
Spark User-guide Summary - Building Script
PackageinstallBasicSoftwareDependence,preinstall.sh<pre<code!/usr/bin/envbashaptinstallsoftwarepropertiescommonaddaptrep
【转】spark ui 简介
看图说话基于SparkUI性能优化与调试——初级篇Spark有几种部署的模式,单机版、集群版等等,平时单机版在数据量不大的时候可以跟传统的java程序一样进行断电调试、但是在集群上调试就比较麻烦了...远程断点不太方便,只能通过Log的形式进行数据分析,利用sparkui做性能调整和优
Spark集群调度和开发环境的搭建
概述在日常的工作中,不管是生产环境还是实验环境,我们运行Spark任务都是基于Spark集群环境,虽然有时候我们可以在本地使用Maven来搭建spark的开发环境来做一些测试,来完成代码的编写。(上家公司是一个例外,在本地IDEA写完程序,就可以直接连接到大数据平台HDP直接运行)但是
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。