讲解hadoop和spark的工作原理和部署方法,测试大数据程序的执行,对各种任务和资源进行管理。
学习了前置课程《Ubuntu Linux系统管理》 或者有Linux系统管理经验,对进程运行环境、linux磁盘管理、网络管理、服务管理熟悉。
3天(21学时)
Lab 1.1:登陆到你的集群
单元2:HDFS架构
单元3:安装 Hadoop
Lab 3.1:设置你的环境
Lab 3.2:用Ambari安装HDP2.0集群
单元4:配置Hadoop
Lab 4.1:添加一个新的节点到集群
Lab 4.2:停止和启动HDP 服务
Lab 4.3:使用HDFS命令
单元5:数据完整性检查
Lab 5.1:用块扫描和fsck 核查数据
单元6:HDFS NFS网关
Lab 6.1:安装HDFS 到本地文件系统
单元7:YARN架构和MapReduce
Lab 7.1:MapReduce 任务的故障处理
单元8:任务调度
Lab 8.1:配置容量调度
单元9:企业数据运行
Lab 9.1:用distcp 从远程集群复制数据
单元10:HDFS Web服务
Lab 10.1:使用Web HDFS
单元11:Hive管理
Lab11.1:Understanding HiveTables
单元12:Sqoop数据转移
Lab12.1:Using Sqoop
单元13:Flume
Lab13.1:Install and TestFlume
单元14:Oozie
Lab14.1:Running an OozieWorkflow
单元15:监控HDP2服务
单元16:增加及删除节点
Lab16.1:Commissioning &Decommissioning DataNodes
单元17:备份和恢复
Lab17.1:Using HDFS、Snapshots
单元18:机架感知
Lab18.1:Configuring RackAwareness
单元19:NameNode HA
Lab19.1:ImplementingNameNode HA
单元20:HDP的安全访问控制
Lab20.1:Securing aHDPCluster