Hadoop&Spark大数据运维 · 课程介绍

课程简介

讲解hadoop和spark的工作原理和部署方法，测试大数据程序的执行，对各种任务和资源进行管理。

 

学员要求：

学习了前置课程《Ubuntu Linux系统管理》 或者有Linux系统管理经验，对进程运行环境、linux磁盘管理、网络管理、服务管理熟悉。

 

培训时长：

3天（21学时）

 

课程收益：

1. 了解Hadoop的历史及目前发展的现状、以及Hadoop的技术特点，从而把握分布式计算框架及未来发展方向，在大数据时代能为企业的技术选型及架构设计提供决策参考。
2. 全面掌握Hadoop的架构原理和使用场景，并通过贯穿课程的项目进行实战锻炼，课程还涵盖了分布式计算领域的常用算法介绍，帮助学员为企业在利用大数据方面体现自身价值。
3. 深入理解Hadoop技术架构,对Hadoop运作机制有清晰全面的认识，可以独立规划及部署生产环境的Hadoop集群，掌握Hadoop基本运维思路和方法，对Hadoop集群进行管理和优化。

培训对象：

1. 云计算管理员
2. 大数据管理及开发人员
3. 项目经理
4. 架构师及对spark感兴趣人员

 

课程内容：

单元1：Hortonworks大数据平台和Hadoop 2.0介绍

Lab 1.1：登陆到你的集群

单元2：HDFS架构

单元3：安装 Hadoop

Lab 3.1：设置你的环境

Lab 3.2：用Ambari安装HDP2.0集群

单元4：配置Hadoop

Lab 4.1：添加一个新的节点到集群

Lab 4.2：停止和启动HDP 服务

Lab 4.3：使用HDFS命令

单元5：数据完整性检查

Lab 5.1：用块扫描和fsck 核查数据

单元6：HDFS NFS网关

Lab 6.1：安装HDFS 到本地文件系统

单元7：YARN架构和MapReduce

Lab 7.1：MapReduce 任务的故障处理

单元8：任务调度

Lab 8.1：配置容量调度

单元9：企业数据运行

Lab 9.1：用distcp 从远程集群复制数据

单元10：HDFS Web服务

Lab 10.1：使用Web HDFS

单元11：Hive管理

Lab11.1：Understanding HiveTables

单元12：Sqoop数据转移

Lab12.1：Using Sqoop

单元13：Flume

Lab13.1：Install and TestFlume

单元14：Oozie

Lab14.1：Running an OozieWorkflow

单元15：监控HDP2服务

单元16：增加及删除节点

Lab16.1：Commissioning &Decommissioning DataNodes

单元17：备份和恢复

Lab17.1：Using HDFS、Snapshots

单元18：机架感知

Lab18.1：Configuring RackAwareness

单元19：NameNode HA

Lab19.1：ImplementingNameNode HA

单元20：HDP的安全访问控制

Lab20.1：Securing aHDPCluster

关于艾威

源于美国 始于1998 艾威（AVTECH）是北美著名的培训机构，总部位于美国新泽西州，2000 年进入中国，以培养国际化的中高端信息人才为己任,专注于国际前沿的新技术研发与教育,艾威主要的业务为培训与咨询两大类，目前培训的主要产品有：项目管理培训、IT 管理培训、IT 技术培训、云计算大数据培训、需求管理培训、产品管理培训，信息安全类，AI 人工智能等....近十类上几百门的课程的培训与咨询服务。
艾威（中国）秉承总部“诚信为本、品质为先”的理念，凭借美国艾威科学的课程体系和多年积累的丰富教学经验，结合中国本土企业文化、实际需求，为企业、个人提供定制化的培训解决方案。艾威进入中国这十八年来已经服务了超过 10000 多家客户，获得了良好的口碑！已被众多 500强企业纳入培训供应商,如 HP，NOKIA，CISCO，INTEL，GE，华为，宝马，德电，通用，大陆汽车，中国银行，交行，工行，罗氏，赛诺菲，埃森哲……等。

• 艾威是 Prometric，VUE，PSI……等众多国际认证中心授权的考点
• 艾威是国际项目管理协会 PMI 授权的全球(PMP,PGMP,ACP,PBA)教育机构
• 艾威是国际需求管理协会 IIBA 授权的全球(CCBA,CBAP)教育机构
• 艾威是 IT 服务管理官方 EXIN 授权的 ITIL，ITIL EXPERT,Prince2,EXIN Agile Scrum Master 教育机构，同时也是此系列课程的认证考试中心。
• 艾威是国际信息审计协会 ISACA 授权的 CISA,CISM,CRISC,CGEIT,COBIT 教育机构，同时也是此系列课程的认证考试中心。
• 艾威是The Open Group 授权的 TOGAF 企业架构的官方培训机构。
• 艾威是 EPI 授权的数据中心 CDCP 培训机构，华东地区唯一 CDCP 授权培训机构，同时也是 CDCP 认证考试考场。
• 艾威是国际外包专业协会(IAOP)独家授权外包治理国际认证 SGF(Sourcing Governance Foundation)