HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
小红书推荐大数据在阿里云上的实践
本篇内容主要分三个部分,在第一部分讲一下实时计算在推荐业务中的使用场景。第二部分讲一下小红书是怎么使用Flink的一些新的功能。第三部分主要是讲一些OLAP的实时分析的场景,以及和阿里云MCHologres的合作。作者:小红书推荐工程负责人郭一小红书推荐业务架构!
学Spark需要什么基础?
学Spark需要什么基础?作为大数据主流框架之一的Spark,也是大数据开发人员必须要掌握的重要技术框架,在企业招聘当中,掌握Spark框架的大数据人才,也更加具备竞争优势。那么Spark需要什么基础?今天就来给大家讲讲Spark需要什么基础? 首先,学习大数据,不管是Hadoop还是Spar
如何优化多表查询情况下的查询性能问题
在实际开发过程中,使用例如DDD领域模型充血方案或者为了数据模型更加的便于之后的拓展和解释,不便于也不建议通过增加状态字段的方式解决问题,但同时上层业务有相对比较复杂,就会存在数据模型与业务要求之间的适配问题,复杂的业务可能提现在数据模型中需要用到多张表的联表查询情况,这类问题如何解决呢?
livy 安装并集成kerberos
使用原因:因为griffin需要安装livy组件的支持,所以需要安装livy提交spark任务。版本说明:Livy版本0.7spark版本CDH6.2spark2.4安装(1)下载apachelivy下载地址:https://gith
Livy探究(七) -- 编程接口分析
在前面的篇章中,我们把重点放在livy的<codeREPL</code功能的展示和源码分析。这篇我们探索一下<codelivy</codeUsingtheProgrammaticAPI(https://link.segmentfault.com/?encuNgmzVHNGq9xR
Livy探究(六) -- RPC的实现
Livy基于netty构建了一个RPC通信层。本篇我们来探究一下Livy的RPC层的实现细节。读者应当具备netty编程的基础知识。RPC相关的代码主要在rsc目录和org.apache.livy.rsc包中。KryoMessageCodec<codeKryo</code是
Livy探究(五) -- 解释器的实现
本篇我们深入源码,探究一下livy解释器的实现原理。ReplDriver<codeReplDriver</code是真正最终运行的Driver程序对应的类(其基类是第三篇中提到的<codeRSCDrvier</code)。在这一层,重点关注handle系列方法:<pr
Livy探究(四) -- 从es读取数据
在前面的所有例子中,我们只是运行了<codelivy</code官方给的两个例子。这篇我们要尝试运行一些有意义的代码。<blockquote如没有特殊说明,以后所有的实验都是在<codeyarncluster</code模式下运行的。</blockquote我们打算尝试运行下
Livy探究(三) -- 核心架构细节探索
在前两篇中,我们通过官网的example体验了livy的功能,留下了一个疑问,究竟livy是如何做到的呢?这一篇从源码里面找一下答案。在直接分析源码前,先把结论通过时序图画出来,有个直观的映像:!image.png(https://imghelloworld.osscnbeiji
Livy探究(二) -- 运行模式
上一篇的例子采用Livy默认的Local模式运行Spark任务。本篇我们尝试一下其他模式。因为修改配置文件需要重启,而每次重启服务都要设置<codeSPARK_HOME</code和<codeHADOOP_CONF_DIR</code比较麻烦。我们首先修改一下<codeconf/livy
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。