Dask的本地集群配置和编程
5,446 阅读
Dask提供了多种分布式调度器,当缺少多台服务器时候,也可以通过本地集群来实现单机分布式的计算。这篇博客主要就是介绍如何实现Dask的单机分布式调度器。第一小节是简介,第二节是单机调度器的简写版本,第三节是单机调度器的完整版本,第四节是使用的一些示例。
一、单机分布式
使用dask.distributed调度器可以在一台计算机上很好地工作。由于以下原因,有时它比默认调度程序更可取:
- 它提供对异步API的访问,例如Futures
- 它提供了一个诊断仪表板(diagnostic dashboard),可以提供有关性能和进度的宝贵见解
- 它可以在本地执行更复杂地数据处理,因此在需要多个流程的工作负载上,它比多进程调度器(multiprocess)更有效。
您可以通过导入和创建不带参数的Client来创建dask.distributed调度程序。这将覆盖先前设置的任何默认值。

