并行置数(Parallel Computing)是指利用多个处理器(甚至是多台计算机)同时处理同一任务,以提高计算速度的一种计算模式。并行计算可以实现大规模计算,提高计算速度,解决现实中的诸多问题。
并行计算的主要优点是可以显著提高计算速度。并行计算可以使用多台计算机与多个处理器同时工作,相比单台计算机进行串行计算,可以大幅缩短计算时间。另外,对于一些数据密集型的任务,比如图像处理、大数据分析等,就算是单个处理器运行也会非常慢。这时候,使用多个处理器来并行计算则非常有优势。
并行计算的应用场景非常广泛。在计算机科学领域,一些需要高性能计算的任务都需要使用并行计算技术,比如生物信息学、物理学、气象学等领域;在商业领域,一些需要大数据处理的公司,比如Google、Facebook等,也都使用并行计算来提高计算效率;在智能设备领域,也有很多需要使用并行计算来提高效率的应用,比如人脸识别、语音识别等等。
并行计算的本质是利用多个处理器来同时处理同一任务,实现并行计算的方式主要有三种:共享内存、分布式内存和GPU并行计算。共享内存是指多个处理器共享同一块物理内存,适合于在单个计算机上实现并行计算;分布式内存是指将计算机集群中的物理内存进行分布式管理,适用于比较大规模的计算任务,分布式内存的典型应用是MapReduce编程模型;GPU并行计算是指利用显卡中的众多流处理器来并行计算,适用于一些数据密集型的任务,比如图像处理等。