Hadoop&Spark大数据运维 · 课程介绍
- 了解Hadoop的历史及目前发展的现状、以及Hadoop的技术特点，从而把握分布式计算框架及未来发展方向，在大数据时代能为企业的技术选型及架构设计提供决策参考。
- 全面掌握Hadoop的架构原理和使用场景，并通过贯穿课程的项目进行实战锻炼，课程还涵盖了分布式计算领域的常用算法介绍，帮助学员为企业在利用大数据方面体现自身价值。
- 深入理解Hadoop技术架构,对Hadoop运作机制有清晰全面的认识，可以独立规划及部署生产环境的Hadoop集群，掌握Hadoop基本运维思路和方法，对Hadoop集群进行管理和优化。
课程简介
讲解hadoop和spark的工作原理和部署方法，测试大数据程序的执行，对各种任务和资源进行管理。
学员要求：
学习了前置课程《Ubuntu Linux系统管理》 或者有Linux系统管理经验，对进程运行环境、linux磁盘管理、网络管理、服务管理熟悉。
培训时长：
3天（21学时）
课程收益：
- 云计算管理员
- 大数据管理及开发人员
- 项目经理
- 架构师及对spark感兴趣人员
培训对象：
Lab 1.1：登陆到你的集群
单元2：HDFS架构
单元3：安装 Hadoop
Lab 3.1：设置你的环境
Lab 3.2：用Ambari安装HDP2.0集群
单元4：配置Hadoop
Lab 4.1：添加一个新的节点到集群
Lab 4.2：停止和启动HDP 服务
Lab 4.3：使用HDFS命令
单元5：数据完整性检查
Lab 5.1：用块扫描和fsck 核查数据
单元6：HDFS NFS网关
Lab 6.1：安装HDFS 到本地文件系统
单元7：YARN架构和MapReduce
Lab 7.1：MapReduce 任务的故障处理
单元8：任务调度
Lab 8.1：配置容量调度
单元9：企业数据运行
Lab 9.1：用distcp 从远程集群复制数据
单元10：HDFS Web服务
Lab 10.1：使用Web HDFS
单元11：Hive管理
Lab11.1：Understanding HiveTables
单元12：Sqoop数据转移
Lab12.1：Using Sqoop
单元13：Flume
Lab13.1：Install and TestFlume
单元14：Oozie
Lab14.1：Running an OozieWorkflow
单元15：监控HDP2服务
单元16：增加及删除节点
Lab16.1：Commissioning &Decommissioning DataNodes
单元17：备份和恢复
Lab17.1：Using HDFS、Snapshots
单元18：机架感知
Lab18.1：Configuring RackAwareness
单元19：NameNode HA
Lab19.1：ImplementingNameNode HA
单元20：HDP的安全访问控制
Lab20.1：Securing aHDPCluster
- 艾威是 Prometric，VUE，PSI……等众多国际认证中心授权的考点
- 艾威是国际项目管理协会 PMI 授权的全球(PMP,PGMP,ACP,PBA)教育机构
- 艾威是国际需求管理协会 IIBA 授权的全球(CCBA,CBAP)教育机构
- 艾威是 IT 服务管理官方 EXIN 授权的 ITIL，ITIL EXPERT,Prince2,EXIN Agile Scrum Master 教育机构，同时也是此系列课程的认证考试中心。
- 艾威是国际信息审计协会 ISACA 授权的 CISA,CISM,CRISC,CGEIT,COBIT 教育机构，同时也是此系列课程的认证考试中心。
- 艾威是The Open Group 授权的 TOGAF 企业架构的官方培训机构。
- 艾威是 EPI 授权的数据中心 CDCP 培训机构，华东地区唯一 CDCP 授权培训机构，同时也是 CDCP 认证考试考场。
- 艾威是国际外包专业协会(IAOP)独家授权外包治理国际认证 SGF(Sourcing Governance Foundation)
关于艾威
艾威（中国）秉承总部“诚信为本、品质为先”的理念，凭借美国艾威科学的课程体系和多年积累的丰富教学经验，结合中国本土企业文化、实际需求，为企业、个人提供定制化的培训解决方案。艾威进入中国这十八年来已经服务了超过 10000 多家客户，获得了良好的口碑！已被众多 500强企业纳入培训供应商,如 HP，NOKIA，CISCO，INTEL，GE，华为，宝马，德电，通用，大陆汽车，中国银行，交行，工行，罗氏，赛诺菲，埃森哲……等。
