Hadoop 和Spark详细比较

大数据已成为过去十年技术行业的热门词汇。随着每秒钟产生大量数据，高效地管理和处理数据变得至关重要。

这就是Hadoop和Spark的用武之地。两者都是强大的大数据处理框架，可以处理规模庞大的数据集。

Hadoop概述

历史和发展

Hadoop是由Doug Cutting和Mike Cafarella于2005年在雅虎工作时创建的。该项目以Cutting的儿子拥有的一只玩具大象命名。最初设计用于处理大量非结构化数据，Hadoop已发展成为用于大数据处理的强大分布式计算平台。

架构

Hadoop架构由两个主要组件组成：HDFS（Hadoop分布式文件系统）和YARN（Yet Another Resource Negotiator）。HDFS负责在分布式集群中存储大量数据，而YARN管理集群中的资源并调度要执行的任务。

组件

Hadoop有几个主要组件共同组成完整的Big Data处理生态系统。其中包括−

HDFS – 一个能处理PB级数据的分布式文件系统
YARN – 一个资源管理系统，可以在同一个集群上为不同的应用程序分配资源
MapReduce – 用于批处理的分布式计算框架
Hive – 提供与HDFS中存储的数据进行类似SQL查询的数据仓库基础架构
Pig – 用于创建MapReduce作业的高级脚本语言
ZooKeeper – 用于在多个节点之间维护配置信息的服务

特点

Hadoop提供了几个功能，使其在大数据开发人员和分析师中广受欢迎。其中包括−

可伸缩性 – Hadoop可以水平扩展以处理PB级数据
容错性 – 系统可以在应用程序层面检测到故障并提供自动恢复机制
成本效益 – Hadoop在商用硬件和开源软件上运行，成为大数据处理的经济解决方案。
灵活性 – Hadoop可以使用批处理、实时处理和机器学习等各种数据处理技术处理结构化和非结构化数据。

Spark概述

Apache Spark是一种开源分布式计算系统，专为大规模数据处理而设计。Spark通过Java、Scala、Python和R的高级API提供了一个统一的框架，用于批处理、流式处理和交互式查询。

历史和发展

Spark首次于2009年在加州大学伯克利分校的AMPLab作为研究项目提出。它旨在改进Hadoop的MapReduce，提供一个更快、更灵活的数据处理引擎，可以处理批量和实时工作负载。2010年，它作为开源项目发布在Apache软件基金会（ASF）下，这极大地促进了它的流行和更广泛的采用。

架构

Spark的架构基于弹性分布式数据集（RDDs）的概念 – 不可变的分布式对象集合，可以在群集中的多个节点上并行处理。RDD是通过对其他RDD或外部数据集（如Hadoop分布式文件系统（HDFS），Amazon S3，Cassandra等）进行转换而创建的，并且可以在内存中进行缓存以提高访问速度。

Spark架构的核心组件包括−

Spark Core − 负责在群集上安排任务的底层计算引擎。
Spark SQL − 通过类似于SQL的查询处理结构化数据的模块。
Spark Streaming − 实时处理模块，允许用户处理实时数据流。
Mllib（机器学习库）− 一个具有各种机器学习算法的库，如分类模型或回归模型

组件

Spark具有使其成为强大而灵活的数据处理引擎的各种组件。其中包括−

Spark Core − Spark的基础层，负责在群集上安排和执行任务。
Spark SQL − 通过类似于SQL的查询处理结构化数据的模块。
Spark Streaming − 实时处理模块，允许用户处理实时数据流。
Mllib（机器学习库）− 一个具有各种机器学习算法的库，如分类模型或回归模型
DataFrames API：一种分布式的数据集合，以命名列的形式组织，可以对结构化和半结构化数据进行操作。

特点

Spark提供以下功能，使其成为处理大数据的热门选择−

更快的处理速度− Spark的内存计算能力使其在运行某些应用程序时比Hadoop MapReduce快100倍。
灵活的处理模型− Spark支持批处理、交互式查询、实时流处理和机器学习工作负载，都在一个平台上。
易于使用− Spark提供的高级API使开发人员能够构建复杂的分析工作流，无需对底层系统有深入了解。

Spark旨在提供一种高效灵活的处理大规模数据集的方式。它的架构基于RDD，它是不可变的分布式对象集合，在集群中的多个节点上并行处理。

Hadoop和Spark的比较

下表列出了Hadoop和Spark之间的差异.

基础	Hadoop	Spark
处理速度和性能	Hadoop的MapReduce模型从磁盘读取和写入数据，因此处理速度较慢。	Spark将磁盘读写次数减少，并将中间数据存储在内存中，因此处理速度更快。
用途	Hadoop设计用于高效处理批量数据。	Spark设计用于高效处理实时数据。
延迟	Hadoop是一个高延迟计算框架，没有交互模式。	Spark是一个低延迟计算框架，可以交互式地处理数据。
数据	使用Hadoop MapReduce，开发人员只能批处理数据。	Spark可以处理实时数据，包括来自Twitter和Facebook等实时事件。
成本	Hadoop是一个较便宜的选项，从成本角度来比较。	Spark需要大量的RAM来运行内存中的操作，从而增加了集群的成本。
使用的算法	Hadoop使用了PageRank算法。	Spark使用了名为GraphX的图计算库。
容错性	Hadoop是一个高度容错的系统，容错性通过复制数据块来实现。如果一个节点出现故障，数据可以在另一个节点上找到。	通过存储转换链实现的容错性如果数据丢失，可以在原始数据上重新计算转换链
安全性	Hadoop支持LDAP、ACL、SLA等等，因此非常安全。	Spark不安全，它依赖于与Hadoop的集成来达到所需的安全级别。
机器学习	Hadoop中的数据片段可能过大，可能造成瓶颈。因此，它比Spark慢。	Spark更快，因为它使用了MLib进行计算，并具有内存处理的功能。
可扩展性	Hadoop通过添加节点和磁盘来轻松扩展存储。它支持成千上万的节点。	根据内存进行计算使其扩展变得相当困难。它支持集群中的数千个节点。
语言支持	它使用Java或Python进行MapReduce应用程序。	它使用Java、R、Scala、Python或Spark SQL进行API。
用户友好性	使用起来更困难。	更加用户友好。
资源管理	YARN是最常见的资源管理选项。	它具有用于资源管理的内置工具。