Hadoop 设置Hadoop的前提条件和安全加固

在设置Hadoop之前，您必须满足特定要求并进行安全加固。首先安装必要的软件前提条件，例如Java开发工具包（JDK）和安全外壳（SSH）。在建立网络设置之前，请验证DNS解析和防火墙规则的准确性。然后，通过为Hadoop服务创建用户账户并分配正确的权限，确保访问安全。通过激活基于Kerberos的身份验证和授权系统以及设置SSL/TLS进行安全通信来加固Hadoop的安全性。为了进一步保护存储在Hadoop集群中的敏感数据，定期更新安全补丁并设置严格的访问控制。

使用的方法

手动安装。
Hadoop发行版和部署工具。

手动安装

手动安装是直接在Linux系统上执行所需步骤，用于配置Hadoop的前提条件和实施安全加固。使用软件包管理器安装必要的软件依赖项，如JDK和SSH。编辑配置文件以更改网络设置、DNS解析和防火墙规则。设置SSH访问并创建具有适当权限的用户账户以供Hadoop服务使用。安装和配置所需的软件包将启用像Kerberos这样的身份验证和授权系统。通过创建和安装SSL/TLS证书，可以保护通信安全。为了保护存储在Hadoop集群中的关键数据，采用严格的访问规则并定期安装安全修补程序。使用手动安装可以使设置过程更加灵活且在您的控制之下。

步骤

安装软件依赖项−
使用软件包管理器（如apt或yum）安装JDK和SSH以及其他必要的软件依赖项。

sudo apt update
sudo apt install openjdk-8-jdk ssh

调整网络设置−
根据您的网络环境，编辑所需的网络配置文件以调整 DNS 解析和防火墙规则。

sudo apt update
sudo apt install openjdk-8-jdk ssh

创建用户账户−
“useradd”命令可以用于为HDFS和YARN等Hadoop服务创建用户账户。
为了提供安全访问并根据需要限制权限，为用户账户设置正确的权限。

sudo useradd -m -s /bin/bash hadoop_user

创建SSH访问 −

可以使用”ssh-keygen”命令生成SSH密钥对。

将每个Hadoop服务用户的公钥复制到authorized_keys文件中，以提供安全的SSH访问。

ssh-keygen -t rsa -b 4096

为Hadoop用户添加authorized_keys文件。

cat ~/.ssh/id_rsa.pub >> /home/hadoop_user/.ssh/authorized_keys

实现身份验证和授权功能
为了启用安全的用户身份验证，安装并设置Kerberos或其他身份验证系统。
设置访问控制策略，强制执行用户权限限制和授权。

sudo apt install krb5-user

通过编辑krb5.conf文件配置Kerberos

sudo nano /etc/krb5.conf

建立SSL / TLS进行安全通信 −
对于Hadoop服务，使用类似OpenSSL的软件创建SSL / TLS证书。
在配置所需的Hadoop组件之前安装授予的证书以允许安全通信。

openssl req -newkey rsa:2048 -nodes -keyout key.pem -x509 -days 365 -out certificate.pem

用于Hadoop core-site.xml的示例配置

<property>
   <name>hadoop.ssl.enabled</name>
   <value>true</value>
</property>
<property>
   <name>hadoop.ssl.keystores.factory.class</name>
  <   value>org.apache.hadoop.security.ssl.FileBasedKeyStoresFactory</value>
</property>
<property>
   <name>hadoop.ssl.server.conf</name>
   <value>ssl-server.xml</value>
</property>

定期检查已安装的程序依赖项的更新和安全修复，然后应用安全补丁。
快速应用修复程序以消除潜在的安全漏洞。

sudo apt update && sudo apt upgrade

实施严格的访问控制 – 配置网络访问和防火墙规则，限制可以访问Hadoop集群的人员。
建立严格的密码规定，并确保只有具备权限的人可以访问重要信息。

sudo apt install ufw
sudo ufw default deny incoming
sudo ufw default allow outgoing
sudo ufw allow ssh
sudo ufw enable

Hadoop分发和部署工具

通过Hadoop分发和部署工具，设置Hadoop的前提条件和实施安全加固变得更加简单。这些解决方案为预打包的Hadoop安装提供了内置的软件依赖和安全设置。用户可以通过按照提供的文档和实施指南来轻松设置网络设置，管理用户账户并启用安全功能。此外，像Ambari这样的部署工具可以简化Hadoop集群的设置和管理，自动化大量的配置过程，并提供用户友好的基于Web的界面。利用Hadoop分发和部署工具可以加快设置速度，确保一致性，并使Hadoop环境的安全更容易有效地加固。

步骤

安装要求：

要安装JDK，请使用包管理器（如apt或yum）。 −

sudo apt install default-jdk

为了启用远程访问，安装SSH

sudo apt install openssh-server

设置网络设置

sudo nano /etc/hosts

为Hadoop服务创建用户帐户

sudo adduser hadoop_user

为Hadoop服务创建用户账户

sudo chown -R hadoop_user:hadoop_group /hadoop_directory

安全增强

使Kerberos身份验证可用

sudo apt install krb5-user
sudo nano /etc/krb5.conf

设置 SSL/TLS

sudo openssl req -x509 -nodes -days 365 -newkey rsa:2048 -keyout /etc/ssl/private/hadoop.key -out /etc/ssl/certs/hadoop.crt
sudo nano /etc/hadoop/hadoop-env.sh

安装安全更新

sudo apt update
sudo apt upgrade

实施访问控制 −

sudo chmod 700 /hadoop_directory
sudo ufw allow 22  # SSH access
sudo ufw enable

使用配置管理工具进行自动化操作是可选的。

使用Ansible自动化安装和配置任务。
应为Ansible playbook定义每个阶段的任务。
使用ansible-playbook命令在目标Linux计算机上运行playbooks。

可选 - Hadoop的发行版和部署工具

选择像Cloudera或Hortonworks这样的Hadoop发行版。
查阅发行版的文档和部署说明。
为简化Hadoop集群的设置和维护，使用像Ambari这样的部署工具。

结论

总之，为安全有效的Hadoop环境建立先决条件并采取安全加固措施是必不可少的。通过安装所需的软件依赖、设置网络、创建用户账户并启用Kerberos等身份验证技术，增加了Hadoop集群的安全性。通过建立SSL/TLS进行安全连接、经常安装安全补丁和采取严格的访问控制措施，进一步保护存储在Hadoop集群中的敏感数据免受未经授权的访问。使用配置管理工具进行自动化操作或使用Hadoop发行版和部署工具等可选选项，可以提供额外的便利性和效果。这些措施共同构建了一个强大而安全的Hadoop基础设施。