HelloWorld 开发者社区
科技资讯
微软 MAI Code 2 系列进入 Copilot:按工程任务选择编程模型
OpenAI 发布 GPT-6.2 Astra 与 Sol:专业交付、编程效率与团队选型
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
开源项目
全部项目推荐好文
SparkSQL内核解析
!(https://oscimg.oschina.net/oscnet/a20f873682c6837bb01308c014c365da91b.jpg)(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzU3MzgwNT
SparkSQL UDF两种注册方式:udf() 和 register()
调用sqlContext.udf.register()此时注册的方法只能在sql()中可见,对DataFrameAPI不可见用法:sqlContext.udf.register("makeDt",makeDT(_:String,_:String,_:String))示例:defmakeDT(date:Stri
Spark2.x精通:ShuffleReader过程源码深度剖析
!(https://oscimg.oschina.net/oscnet/d5faf24ffe0cd18c36b230fb42019591efa.gif)一、概述 之前我们写了几篇文章详细讲解了SparkShuffle的Writer原理、技术演进历程及Spark2.x中三种Writer机制的具体实现,这里我们对Shuffle
Spark2.4.0源码——RpcEnv
参考《Spark内核设计的艺术:架构设计与实现——耿嘉安》NettyRpcEnv概述 Spark的NettyRpc环境的一些重要组件:privatenettyvaltransportConfSparkTransportConf.fromSparkConf(...)privat
Spark2.3.1在Idea控制台调整日志等级
Spark2.3.1在Idea控制台输出Spark2.3.1在Idea控制台输出时默认会打印INFO级别日志信息,在调试代码时会觉得日志太多,需要有方法调整输出的日志级别,只输出关注的日志即可调整控制台日志输出级别importorg.apache.log4j
Spark2.3(三十七):Stream join Stream(res文件每天更新一份)
kafka测试数据生成:packagecom.dx.kafka;importjava.util.Properties;importjava.util.Random;importorg.apache.kafka.clients.producer.Producer;
Spark2.0机器学习系列之8:多类分类问题(方法归总和分类结果评估)
一对多(OnevsRestclassifier)将只能用于二分问题的分类(如Logistic回归、SVM)方法扩展到多类。参考:http://www.cnblogs.com/CheeseZH/p/5265959.html(https://www.oschina.net/action/G
Spark1.6.0 on Hadoop2.6.0单机伪分布式安装
1、Scala安装(1)解压文件ubuntu@Ubuntu:~$ sudo tar zxvf scala2.10.4.gz C /opt !(https://oscimg.oschina.net/oscnet/5fc13090fea3cd9b3e6829d482a1b5f43d9.png)(2) 环境变量配置ubunt
Spark 配置连接hive 元数据库(mysql)
Spark连接hive元数据库(mysql)方法一:1)打开Hivemetastoreroot@head42~hiveservicemetastore&netstatano|grep9083???2)开启spark连接Mysq
Spark 部署及示例代码讲解
Spark部署及示例代码讲解本文介绍了如何下载、部署Spark及示例代码的运行。此外,深入介绍了运行代码的过程、脚本内容,通过这些介绍力求让读者可以快速地上手Spark。目前市面上发布的Spark中文书籍对于初学者来说大多较为难读懂,作者力求推出一系列Spark文章,让读者能够从实际入手的角度来了解Spa
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。


