hadoop生态圈背后隐藏的“凶险”（二）

二、Hadoop的安全问题

回顾hadoop生态圈发展史，会发现hadoop中的所有产品都是根据不同用户需求开发。这就导致Hadoop生态圈中的产品缺乏共同的架构和整体的考虑，安全性会完全依赖hadoop框架来提供。而hadoop最初开发时并没有考虑安全因素，当时Hadoop的用例都是围绕着如何管理大量的公共web数据来考虑的，没有考虑数据的保密性和内部的复杂权限管理。按照Hadoop最初的设想，它假定集群总是处于可信的环境中，由可信用户使用的相互协作的可信计算机组成。这就导致整个Hadoop生态圈一度被暴露在安全的风险之下。Hadoop生态圈的安全风险大致分五类：

缺乏安全认证；

缺乏权限控制；

缺乏关键行为审计；

缺乏静态加密；

缺乏动态加密。

随着hadoop在云上的广泛运用，很多公司对hadoop提出了安全应对方案。如Yahoo提出的Kerberos体系解决安全认证问题、ACL解决访问控制问题。具体到每个产品会采用不同的解决手段。讨论解决方案之前，我们先详细了解一下hadoop的五种安全隐患。

1、安全认证

由于Hadoop中没有用户身份认证机制，所以任何用户都可以伪装成为其他合法用户，访问其在HDFS上的数据，获取MapReduce产生的结果，从而存在恶意攻击者假冒身份，篡改HDFS上他人的数据，提交恶意作业破坏系统、修改节点服务器的状态等隐患；由于集群缺乏对Hadoop服务器的认证，攻击者假冒成为DataNode或TaskTracker节点，加入集群，接受NameNode和JobTracker。一旦借助代码，任何用户都可以获取 root 权限，并非法访问 HDFS 或者 MapReduce 集群，恶意提交作业、修改 JonTracker 状态、篡改 HDFS 上的数据等。

身份验证基本可以认为是hadoop生态中最严重的安全问题。不解决“你是谁”的问题？会给hadoop带来冒充合法用户和冒充服务节点两大类问题。

较成熟的商业解决方法是通过Kerberos解决Hadoop身份认证。Kerberos通过相互认证的强认证方式，防止窃听的网络认证协议。每一位用户和服务都有一个主题属性和凭证来完成所有的RPC用户认证。但如果客户端和每个节点都要进行Kerberos认证，随着节点的扩展，KDC逐渐会成为整个系统的性能瓶颈。为了提高Kerberos的效率，加入委托令牌，利用对称加密的方式，共享密钥根据令牌的类型分布到成千上万个主机，利用Kerberos凭证从名字节点获得最初认证后，客户端获得1个委托令牌，并将它传递给下一个在名字节点上进行认证的作业。但委托令牌自身也存在一定问题。

hadoop推出了Kerberos+tokens的解决方式，但在实际使用中，由于不便利、不利于拓展性、降低效率等原因，并未广泛应用开来。