Stella981 Stella981
2年前
R语言 并行计算parallel包
众所周知,在大数据时代R语言有两个弱项,其中一个就是只能使用单线程计算。但是R在2.14版本之后,R就内置了parallel包,强化了R的并行计算能力。parallel包实际上整合了之前已经比较成熟的snow包和multicore包,multicore无法在windows下运行。parallel包可以很容易的在计算集群上实施并行计算,在多个CPU
Wesley13 Wesley13
2年前
2.任务包多线程并行计算
1include<future//进程通信,获取未来的结果2include<iostream3include<thread4include<string5include<chrono//时间6include<mutex//互斥量7
Stella981 Stella981
2年前
ScalaMP
1、前言        这个项目是一次课程作业,老师要求写一个并行计算框架,本人本身对openmp比较熟,加上又是scala的爱好者,所以想了许久,终于想到了用scala来实现一个类似openmp的一个简单的并行计算框架。项目github地址:ScalaMp(https://www.oschina.net/action/GoT
Wesley13 Wesley13
2年前
MPI多机器实现并行计算
  最近使用一个系统的分布式版本搭建测试环境,该系统是基于MPI实现的并行计算,MPI是传统基于msg的系统,这个框架非常灵活,对程序的结构没有太多约束,高效实用简单,下面是MPI在多台机器上实现并行计算的过程。  这里准备使用三台机器,假设为A,B,C,对应IP分别为:192.168.86.16(A),192.168.86.108(B),192.168
Stella981 Stella981
2年前
Spark学习之路 (十七)Spark分区
一、分区的概念  分区是RDD内部并行计算的一个计算单元,RDD的数据集在逻辑上被划分为多个分片,每一个分片称为分区,分区的格式决定了并行计算的粒度,而每个分区的数值计算都是在一个任务中进行的,因此任务的个数,也是由RDD(准确来说是作业最后一个RDD)的分区数决定。二、为什么要进行分区  数据分区,在分布式
Wesley13 Wesley13
2年前
Java线程池实现原理及其在美团业务中的实践
!(https://oscimg.oschina.net/oscnet/up73bb571946412ea63fda451b053faa90006.png)随着计算机行业的飞速发展,摩尔定律逐渐失效,多核CPU成为主流。使用多线程并行计算逐渐成为开发人员提升服务器性能的基本武器。J.U.C提供的线程池:ThreadPoolExecutor类,帮助开
Easter79 Easter79
2年前
Tiny并行计算框架之复杂示例
问题来源非常感谢@doctorwho的问题:假如职业介绍所来了一批生产汽车的工作,假设生产一辆汽车任务是这样的:搭好底盘、拧4个轮胎、安装发动机、安装4个座椅、再装4个车门、最后安装顶棚。之间有的任务是可以并行计算的(比如拧4个轮胎,安装发动机和安装座椅),有的任务有前置任务(比如先装好座椅,才能装车门和顶棚)。让两组包工头组织两种类型的工作
Stella981 Stella981
2年前
Fourinone如何实现并行计算和数据库引擎
关于并行计算的概念有非常多,硬件落地其实就只有两种,CPU上的并行计算和GPU上的并行计算,GPU做点积这样的矢量计算(矩阵计算)有优势,但目前还运行不了操作系统和数据库,比较多用于研究性质的计算。在我们生产系统中运用最多的是CPU上的并行计算,其落地方式也只有两种,多线程和多进程。围绕多线程、多进程结合通信技术的灵活设计,它的应用范围非常广泛,不光用于并行
秦朗 秦朗
1个月前
高性能神经网络与AI芯片应用研修课程
//下仔のke:https://yeziit.cn/13718/高性能神经网络是指那些经过优化以提高计算效率和准确率的神经网络。这些网络通常采用一些特殊的设计和实现技巧,以充分利用计算资源并提高处理速度。以下是一些高性能神经网络的设计和实现技巧:并行计算: