HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

[原]基于Spark的ADMM分布式算法在组合优化中的应用

概述首先,您有必要了解一下,为什么我们需要用分布式算法来计算我们的组合优化问题(一个QAP问题)。在实际生产中,即使我们基于传统的MV理论构建标准二次规划模型,使得二次项系数是正定矩阵,然后约束条件采用线性约束,最后在R中调用quadprog包来求解这个一定有解的二次规划问题。然而,

数据处理平台架构中的SMACK组合:Spark、Mesos、Akka、Cassandra以及Kafka

<blockquote<p在今天的文章中,我们将着重探讨如何利用SMACK(即Spark、Mesos、Akka、Cassandra以及Kafka)堆栈构建可扩展数据处理平台。虽然这套堆栈仅由数个简单部分组成,但其能够实现大量不同系统设计。除了纯粹的批量或者流处理机制之外,我们亦可借此实现复杂的

浅谈 Spark 应用程序的性能调优

Spark是基于内存的分布式计算引擎,以处理的高效和稳定著称。然而在实际的应用开发过程中,开发者还是会遇到种种问题,其中一大类就是和性能相关。在本文中,笔者将结合自身实践,谈谈如何尽可能地提高应用程序性能。分布式计算引擎在调优方面有四个主要关注方向,分别是CPU、内存、网络开销和I/O,其具体调

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。