如何学习并行编程

① linux 并行编程

简单回答一下，因为你没有告诉cpu哪个完成哪个工作。具体代码我记不得了，用伪代码写一下。

如果你用open mpi:

#omp begin
loop begin
#omp end
这个最好实现，不需要分配cpu。

如果用mpi,就要读thread number, function我记不得了。
int thread=get_thread_no();

if (thread ==0)
...
if (thread== 1)
....

② 基于多核处理器的并行编程

一般学习现成的多线程API比较快，平台间移植也更方便。

OpenMP 是最适合多核（SMP）的并内行容API；另一种API是 MPI（如MPICH等） ，虽然不是非常合适单机多核计算，但它能扩展应用到更大规模的多主机上实现超级计算机上的并行计算。

你可以看我的这个回答：
http://..com/question/99403696.html

③ c++如何并行编程

多线程才可以啊，好比一个人的大脑，计算机也不能同时工作的，即使是多线程，也是交替使用cpu的资源的

④ 我主修C++的，现在想学习并行程序设计，多线程，想问问学习过的人有什么比较好的参考书吗，平时应该如何

C++ primer plus(第六版)，我正在用，是本不错的书籍，最重要的是里面的一些代码的设计模式是很值得学习的，感觉不太适合初学者，原因是:一个简单的语法知识却以大量的代码作为例子，更加侧重培养读者的代码的设计能力，而不是单纯学习语法。
还有一般C++ primer 这本书涉及很多与STL模板泛型编程相关的知识，有一定的难度，适合作工具书，边学边用。

⑤ MPI并行程序设计

编写并行计算软件，常用于超级计算机上的并行计算，比如上海超算中心做流体力学、药物设计等方面的高性能计算，可以说——假如没有MPI或者类似的并行编程工具，那些百万亿次、千万亿次的计算机就是废物。

⑥ 如何利用Scala构建并行机器学习系统

引言
在学习Scala的过程中，我发现其在构建大规模分布式计算系统上有与生俱来的特质。其丰富的类型系统可以帮助编程设计提供很好的信息隐藏和抽象，其monoids和monads概念利用Scala高阶函数实现计算并行和数据处理流水线，其Actor系统帮助编写可伸缩性的应用程序，其实现特定领域语言的优势帮助开发用户很好克服不同语言的障碍。
虽然以上Scala优点说起来不会感同身受，但这可以作为我学习的一大动力，让我开始尝试编写并行机器学习系统。
在学习过程中，我主要参考《Scala for Machine Learning》一书和相关网上的资料。希望这些分享能帮助自己学习，也更好的服务有兴趣的读者。
为何使用Scala构建机器学习系统
抽象
Monoids和Monads是函数式编程的重要概念。
Monoids定义了在具有闭包性质（property of closure）的数据集上的二元操作op，恒等操作（identity operation）和结合性（associativity）。
下面是代码描述：
trait Monoid[T] {
def zero: T
def op(a: T, b: T): T
}1234

Monoids具有结合性的操作。假设ts1、ts2、ts3是三个时间序列，该性质保证ts1+(ts2+ts3) = (ts1+ts2)+ts3。Monoid的结合性对于计算流的并行化是很关键的。
Monads可以被认为是容器的结构，它是Monoids的推广。像是Scala标准库中的List，Map等集合被设计成monads的结构。
Monads提供了以下的功能：1. 创建集合； 2. 对集合的元素进行转换； 3. 压平嵌套的集合。
下面是Scala代码描述：
trait Monad[M[_]] {
def apply[T](a: T): M[T]
def flatMap[T, U](m: M[T])(f: T=>M[U]): M[U]
}1234

Monads允许集合或者容器连接起来产生一个工作流，该性质可以应用在任何科学计算中。
可扩展性

⑦ Java并行编程有什么书推荐

《Java并发编程的艺术》（方腾飞）电子书网盘下载免费在线阅读

资源链接：

链接: https://pan..com/s/1WUZl6mu4QtMdtaO0Et17gA

书名：Java并发编程的艺术

作者：方腾飞

豆瓣评分：7.4

出版社：机械工业出版社

出版年份：2015-7-1

页数：240

内容简介：

并发编程领域的扛鼎之作，作者是阿里和1号店的资深Java技术专家，对并发编程有非常深入的研究，《Java并发编程的艺术》是他们多年一线开发经验的结晶。本书的部分内容在出版早期发表在Java并发编程网和InfoQ等技术社区，得到了非常高的评价。它选取了Java并发编程中最核心的技术进行讲解，从JDK源码、JVM、CPU等多角度全面剖析和讲解了Java并发编程的框架、工具、原理和方法，对Java并发编程进行了最为深入和透彻的阐述。

《Java并发编程的艺术》内容涵盖Java并发编程机制的底层实现原理、Java内存模型、Java并发编程基础、Java中的锁、并发容器和框架、原子类、并发工具类、线程池、Executor框架等主题，每个主题都做了深入的讲解，同时通过实例介绍了如何应用这些技术。

作者简介：

方腾飞（花名清英，英文名kiral），

蚂蚁金服集团技术专家，从事Java开发近10年。5年以上的团队管理、项目管理和敏捷开发经验，崇尚团队合作。曾参与CMS、电子海图、SOC、ITIL、电子商务网站和信贷管理系统等项目。目前在蚂蚁金服网商银行贷款管理团队负责数据采集平台开发工作。与同事合作开发了tala code Review插件，深受阿里数千名工程师拥趸，并开发过开源工具jdbcutil（https://github.com/kiral/utils）。创办了并发编程网，组织翻译了百余篇国外优秀技术文章，并曾为InfoQ撰写“聊聊并发”专栏，在《程序员》杂志撰写敏捷实践系列文章

魏鹏，

阿里巴巴集团技术专家，在阿里巴巴中国网站技术部工作多年，曾担任中国网站交易平台架构师，主导了交易系统服务化工作，设计实现的数据迁移系统高效地完成了阿里巴巴中国网站交易数据到阿里巴巴集团的迁移工作。目前在阿里巴巴共享业务事业部从事Java应用容器Pandora和服务框架HSF的相关工作，其中Java应用容器Pandora是阿里巴巴中间件运行的基础，而服务框架HSF则是阿里巴巴集团实现服务化的主要解决方案，二者在阿里巴巴拥有最为广泛的使用量。个人平时喜欢阅读技术书籍，翻译一些国外优秀文档，喜欢总结、乐于分享，对Java应用容器、多线程编程以及分布式系统感兴趣。

程晓明，

1号店资深架构师，从事1号店交易平台系统的开发，技术上关注并发与NIO。因5年前遇到的一个线上故障，解决过程中对Java并发编程产生了浓厚的兴趣，从此开始了漫长的探索之旅：从底层实现机制、内存模型到Java同步。纵观我自己对Java并发的学习过程，是一个从高层到底层再到高层的一个反复迭代的过程，我估计很多读者的学习过程应该与我类似。文章多见诸《IBM developerWorks》、InfoQ和《程序员》杂志。

⑧ GPU并行编程：如何启动多维块

首先，我们需要使用CUDA C库中的一个关键词定义我们的变量：

dim3 multiBlockArray(X,Y);

你可能要问，为什么是dim3呢?因为将来CUDA C也可能会支持三维数组，但现在它只是留作备用的，因此当你创建数组时，你只要指定x和y轴的维度，然后第三轴自动被设置为1。

实现我们的实验方案

首先，包括stdio.h和定义块数组大小：

#include<stdio.h>
#defineBLOCKS 10
Next, we create our main-function.
intmain(void)
{

然后定义一个二维数组，一个从GPU拷贝出或拷贝到GPU指针，以及我们的dim3变量：

inthostArray[BLOCKS][BLOCKS];
int*deviceArray;

接下来，我们给数组分配在设备上需要的内存，正如你所看到的，我们要处理一个二维数组，使用BLOCKS*BLOCKS分配内存：

cudaMalloc( (void**)&deviceArray, BLOCKS*BLOCKS*sizeof(int) );
cudaMemcpy( deviceArray,
hostArray, BLOCKS*BLOCKS*sizeof(int),
cudaMemcpyHostToDevice );

获得设备上的空间后，我们开始启动内核，在GPU上执行计算任务。

generateArray<<<multiBlockArray,1>>>( deviceArray );

这里唯一的不同是，我们传递了multiBlockArray参数，它就是我们前面提到的我们想要运行的块数。

接下来我们拷贝GPU上的数组到主机，这样我们才能显示它：

cudaMemcpy( hostArray,
deviceArray,
BLOCKS*BLOCKS*sizeof(int),
cudaMemcpyDeviceToHost );
for(inti=0; i<BLOCKS; i++)
{
printf( “Thread ID running:%d”, hostArray[0][i] );
for(intj=1; j<BLOCKS; j++)
{
printf( ”%d”, hostArray[j][i] );
}
printf( “ ” );
}
cudaFree( deviceArray );

这里也没什么要说的，除了我们现在也从设备拷贝BLOCKS*BLOCKS外，我们也要遍历每个块，打印出它们的内容。

最后不要忘了main函数的结束括号“}”。

现在，我们添加内核：

__global__voidgenerateArray(int*hostArray )
{
intThreadIndex=blockIdx.x+blockIdx.y*gridDim.x;
hostArray[ThreadIndex]=ThreadIndex;
}

看起来和前面的完全一样，blockId.x用于获得在x维度上工作的块，blockId.y用于获得在y维度上工作的块，girdDim是我们网格维度的最大长度，.x表示x轴，.y表示y轴，和创建块数组指定的数字是一样的。

如果运行这个例子，你将看到类似下图所示的结果：

▲图 2 运行结果

正如你看到的，有很多不同的情景使用多维索引更好，另一个例子是，当你处理二维图像时，你可以在相同的坐标系统为每个像素创建一个块，如下图所示。

⑨ 《R并行编程实战》epub下载在线阅读全文，求百度网盘云资源

《R并行编程实战》（（美）西蒙 R.查普尔（Simon R.Chapple））电子书网盘下载免费在线阅读

链接：https://pan..com/s/1RLlporkNQEi-3P14d5n5tw

书名:R并行编程实战

作者:（美）西蒙 R.查普尔（Simon R.Chapple）

出版社:机械工业出版社

出版时间:2017年11月

内容简介

本书是一本构建大规模高效算法的综合性实用书籍，介绍各种并行技术，从R语言的并行版本lapply()的简单应用到基于Hadoop和ApacheSpark框架的高级AWS云。在本书的后，你将了解到影响并行效率的因素，包括：评估代码性能和实现负载平衡；要避免的陷阱，包括死锁和数值不稳定问题；对于你的项目，如何为适合的并行类型构建代码和数据；如何在各种计算机系统中运行R代码获取佳性能。本书针对那些想要超越单线程和内存限制的R程序员，使其从中学习如何实现高效大规模算法，这是对大数据高性能处理的必要条件。

作者简介

About the Authors 关于作者西蒙R. 查普尔（Simon R. Chapple）是一位经验丰富的解决方案架构师和首席软件工程师，从事数据分析和医疗信息系统解决方案和应用的开发超过25年。他也是超级计算机HPC和大数据处理方面的专家。
Simon是Datalytics科技有限公司的首席技术官和管理合伙人，带领一个团队建设下一代大规模数据分析平台，该平台建立在一组由高性能工具、框架和系统所构成的可定制的工具集合基础上，可以使从数据采集、分析到呈现的整个实时处理周期，轻松地部署到任何已有的IT操作环境中。
此前，他在Aridhia信息公司担任产品创新总监，为苏格兰的医疗服务供应商建立了多个新系统，包括为苏格兰18周转诊治疗和癌症患者的管理而提供的一体化病人路径跟踪系统，该系统应用了10个单独数据系统的集成（减少病人等待时间，从而提供好的服务）。他还利用公共云托管监测系统，为实时化疗患者建立了专门的移动系统，该系统在澳大利亚进行了临床试验，受到护士和病人的高度赞扬，“就像在你的起居室里有一位护士……希望所有的化疗病人每天都有天使般的安全舒适的护理环境。”
Simon也是ROpenCL开源软件包的作者之一，该添加包使得用R编写的统计程序可以应用图形加速器芯片中的并行计算能力。