400-888-5228

课程简介

讲解hadoop和spark的工作原理和部署方法,测试大数据程序的执行,对各种任务和资源进行管理。

 

学员要求

学习了前置课程《Ubuntu Linux系统管理》 或者有Linux系统管理经验,对进程运行环境、linux磁盘管理、网络管理、服务管理熟悉。

 

培训时长

3天(21学时)

 

课程收益

  1. 了解Hadoop的历史及目前发展的现状、以及Hadoop的技术特点,从而把握分布式计算框架及未来发展方向,在大数据时代能为企业的技术选型及架构设计提供决策参考。
  2. 全面掌握Hadoop的架构原理和使用场景,并通过贯穿课程的项目进行实战锻炼,课程还涵盖了分布式计算领域的常用算法介绍,帮助学员为企业在利用大数据方面体现自身价值。
  3. 深入理解Hadoop技术架构,对Hadoop运作机制有清晰全面的认识,可以独立规划及部署生产环境的Hadoop集群,掌握Hadoop基本运维思路和方法,对Hadoop集群进行管理和优化。

培训对象

  1. 云计算管理员
  2. 大数据管理及开发人员
  3. 项目经理
  4. 架构师及对spark感兴趣人员

 

课程内容

单元1:Hortonworks大数据平台和Hadoop 2.0介绍

Lab 1.1:登陆到你的集群

单元2:HDFS架构

单元3:安装 Hadoop

Lab 3.1:设置你的环境

Lab 3.2:用Ambari安装HDP2.0集群

单元4:配置Hadoop

Lab 4.1:添加一个新的节点到集群

Lab 4.2:停止和启动HDP 服务

Lab 4.3:使用HDFS命令

单元5:数据完整性检查

Lab 5.1:用块扫描和fsck 核查数据

单元6:HDFS NFS网关

Lab 6.1:安装HDFS 到本地文件系统

单元7:YARN架构和MapReduce

Lab 7.1:MapReduce 任务的故障处理

单元8:任务调度

Lab 8.1:配置容量调度

单元9:企业数据运行

Lab 9.1:用distcp 从远程集群复制数据

单元10:HDFS Web服务

Lab 10.1:使用Web HDFS

单元11:Hive管理

Lab11.1:Understanding HiveTables

单元12:Sqoop数据转移

Lab12.1:Using Sqoop

单元13:Flume

Lab13.1:Install and TestFlume

单元14:Oozie

Lab14.1:Running an OozieWorkflow

单元15:监控HDP2服务

单元16:增加及删除节点

Lab16.1:Commissioning &Decommissioning DataNodes

单元17:备份和恢复

Lab17.1:Using HDFS、Snapshots

单元18:机架感知

Lab18.1:Configuring RackAwareness

单元19:NameNode HA

Lab19.1:ImplementingNameNode HA

单元20:HDP的安全访问控制

Lab20.1:Securing aHDPCluster