HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Spark SQL百万级数据批量读写入MySQL

SparkSQL读取MySQL的方式SparkSQL还包括一个可以使用JDBC从其他数据库读取数据的数据源。与使用JdbcRDD相比,应优先使用此功能。这是因为结果作为DataFrame返回,它们可以在SparkSQL中轻松处理或与其他数据源连接。JDBC数据源也更易于使用Java

【mlflow系列5】一站式开源测试平台MeterSphere

背景由于我们公司部署mlflow服务的需要,而且之前的mlflow的研究以及部分上线,都是我亲手操刀的,虽然mlflow算法服务是开源完美的部署上去了,但是这里涉及到该mlflow服务的性能问题,也就是该服务能支持的最大QPS,由于之前比较忙,所以直接用jmeter做的压测,这当然

DevOps是什么

DevOps的维基百科定义是:DevOps是一组过程、方法与系统的统称,用于促进开发、技术运营和质量保障(QA)部门之间的沟通、协作与整合。具体每个步骤就是:plancodebuildtestreleasedeployoperatormoni

常见的Hadoop和Spark项目

  常见的Hadoop和Spark项目,如果有正在做项目的小伙伴可以了解一下,下面我们一块来看一下具体的内容。  有一句古老的格言是这样说的,如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情,他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm,每个人都认

存算分离下写性能提升10倍以上,EMR Spark引擎是如何做到的?

​引言随着大数据技术架构的演进,存储与计算分离的架构能更好的满足用户对降低数据存储成本,按需调度计算资源的诉求,正在成为越来越多人的选择。相较HDFS,数据存储在对象存储上可以节约存储成本,但与此同时,对象存储对海量文件的写性能也会差很多。腾讯云弹性MapReduce(E

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。