Hadoop 与 Spark

Hadoop 和 Spark 都允许您以不同的方式处理大数据。

Apache Hadoop 的创建是为了将数据处理委托给多台服务器，而不是在单台计算机上运行工作负载。

同时，Apache Spark 是一个更新的数据处理系统，它克服了 Hadoop 的关键局限性。尽管 Hadoop 能够处理大型数据集，但它只能分批处理，延迟时间很长。

架构

Hadoop 有一个名为 Hadoop Distributed File System（HDFS）的原生文件系统。HDFS 允许 Hadoop 将大型数据块分成多个较小的统一数据块。然后，它将小数据块存储在服务器组中。

同时，Apache Spark 没有自己的原生文件系统。许多组织在 Hadoop 的文件系统上运行 Spark 来存储、管理和检索数据。

或者，您也可以使用 Amazon Redshift 或 Amazon Simple Storage Service（Amazon S3）作为 Spark 的数据存储选项。

性能

Hadoop 可以批量处理大型数据集，但速度可能较慢。为了处理数据，Hadoop 从外部存储读取信息，然后分析数据并将其输入到软件算法。

对于每个数据处理步骤，Hadoop 都会将数据写回外部存储，这会增加延迟。因此，它不适合实时处理任务，但非常适合具有可容忍时间延迟的工作负载。例如，Hadoop 适合用于分析月度销售记录，但可能不是从社交媒体馈送信息中确定实时品牌情绪的最佳选择。

与之相对的是，Apache Spark 旨在实时处理大量数据。

Spark 会在处理数据之前将其复制到 RAM，而不是从外部存储访问数据。它仅在完成特定任务后才将数据写回外部存储。从 RAM 中写入和读取比使用外部驱动器进行写入和读取要快得多。此外，Spark 可将检索到的数据重复用于许多操作。

因此，无论是简单还是复杂的数据处理，Spark 的性能都不同程度地优于 Hadoop。

机器学习

Apache Spark 提供了一个名为 MLlib 的机器学习库。数据科学家使用 MLlib 来执行回归分析、分类和其他机器学习任务。您还可以使用非结构化和结构化数据来训练机器学习模型，并将其部署到业务应用程序中。

相比之下，Apache Hadoop 没有内置的机器学习库。相反，您可以将 Spark 与 Apache Mahout 等其他软件集成，以构建机器学习系统。软件的选择取决于工作负载的特定要求。您可以考虑诸如数据的大小和复杂性、要使用的机器学习模型类型以及应用程序的性能和可扩展性要求之类的问题。

安全性

Apache Hadoop 设计为具有强大的安全功能，可以保护数据。例如，Hadoop 使用加密和访问控制来防止未经授权的各方访问和操纵数据存储。

但是，Apache Spark 本身的安全保护措施有限。根据 Apache Software Foundation 的说法，您必须启用 Spark 的安全功能，并确保它在安全的环境中运行。

Spark 支持多种部署类型，其中一些部署类型更加安全。例如，由于 Hadoop 采用加密分布式存储，因此在 Hadoop 上部署 Spark 可以提高整体安全性。

可扩展性

使用 Hadoop 进行扩展比使用 Spark 更轻松。如果您需要更高的处理能力，可以以合理的成本在 Hadoop 上额外添加节点或计算机。

相比之下，扩展 Spark 部署通常需要投资更多 RAM。本地基础设施的成本可能会迅速增加。

成本

Apache Hadoop 的设置和运行成本更低，因为它使用硬盘来存储和处理数据。您可以在标准或低端计算机上设置 Hadoop。

同时，使用 Spark 处理大数据的成本更高，因为它使用 RAM 进行内存处理。RAM 通常比存储大小相等的硬盘更昂贵。