HDFS 特性与目标
Hadoop分布式文件系统(HDFS)是一种分布式文件系统。它是Hadoop的核心组成部分,用于数据存储。它设计在廉价硬件上运行。
与其他分布式文件系统不同,HDFS具有高容错性,并且可以部署在低成本硬件上。它可以轻松处理包含大量数据集的应用程序。
让我们看一下HDFS的一些重要特性和目标。
HDFS特性
- 高度可扩展 – HDFS具有高度可扩展性,因为可以在单个集群中扩展数百个节点。
- 复制 – 由于一些不利的条件,包含数据的节点可能丢失。因此,为了克服这些问题,HDFS始终在不同的机器上保留数据的副本。
- 容错性 – 在HDFS中,容错性表示系统在失败事件发生时的健壮性。HDFS具有高度容错性,如果任何一台机器失败,包含该数据副本的其他机器会自动变为活动状态。
- 分布式数据存储 – 这是HDFS最重要的特性之一,使得Hadoop非常强大。在这里,数据被分割成多个块并存储在节点上。
- 可移植 – HDFS设计得可以轻松地从一个平台迁移到另一个平台。
HDFS目标
- 处理硬件故障 – HDFS包含多个服务器机器。无论如何,如果有任何机器出现故障,HDFS的目标是快速恢复。
- 流数据访问 – HDFS应用程序通常在通用文件系统上运行。这些应用程序需要对其数据集进行流式访问。
- 一致性模型 – 在HDFS上运行的应用程序需要遵循一次写入,多次读取的方法。因此,一旦创建文件,就不需要更改。但是可以进行附加和截断。