Hadoop 核心组件课程

讲师介绍

侯圣文

Oracle ACE总监,恩墨学院院长,OCM联盟创始人,ACOUG核心专家,DATAGURU专家团成员,Blogger,ITPUB Oracle专题深入讨论版版主曾任职于海关总署数据中心,负责运维国家级海量数据库;国际航空运输协会(IATA)任高级数据架构师,负责国际化高可用海量数据库系统架构设计、实施及运维。现任云和恩墨培训业务中心总经理一职,致力推广Oracle技术。为多家大中型企业提供过Oracle相关课程培训,培训经验丰富,讲课富有激情和感染力,善于理论联系实践,擅长以通俗易懂、诙谐幽默的语言讲解枯燥深奥的数据库理论,并凭借丰富的实践经验,教导学员学以致用、融会贯通,使学员受教于课堂之上,受益于工作之中。作为OCM认证金牌讲师,目前培养OCM大师百余人,培训DBA千余人。个人Blog:http://www.secooler.me。

拥有证书:Cloudera大数据管理员证书,HBase技术实战认证讲师


李美静

李美静,恩墨学院高级讲师,从事Oracle管理工作多年,曾就职于政府、保险、能源等多家单位,负责维护核心数据库,熟悉Oracle体系结构,擅长Oracle高可用架构与灾备等技术,培训学员覆盖银行、政府、金融等多个行业。诙谐、幽默、细心的授课方式,得到学员的一致好评。拥有证书:Oracle 11g/12c  OCM认证Oracle 11g/12c  OCP认证


大数据Hadoop核心组件课程大纲

Hadoop 分布式文件系统:HDFS 概述

Hadoop 分布式文件系统:HDFS 概述

分布式文件系统究竟是什么

HDFS 起源以及与 Linux 文件系统的对比

HDFS 体系结构与运行机制

实践:HDFS 与本地文件系统操作对比

Hadoop 分布式文件系统:HDFS 进阶

HDFS 存储思路:数据与元数据分开存储

HDFS 元数据节点:namenode 以及 数据节点:datanode

HDFS 心跳原理剖析

HDFS 元数据的元数据 fsimage 与日志 edit_log

实践:HDFS 元数据 checkpoint 过程

HDFS 的数据块结构

    HDFS 应用程序接口API

    将结构化数据从传统关系型数据库数据导入:Sqoop 组件

实践:利用 sqoop 做全库导入 HDFS

将非机构化数据导入大数据平台:Flume 组件

实践:搭建简易 Web 服务器,并模拟用户访问产生日志,利用 Flume Web 服务器日志实时导入 HDFS

Hadoop 分布式计算框架 - MapReduce 概述

什么是分布式计算

什么是函数式编程思想与 MapReduce 起源

MapReduce 计算框架概述

实践:执行一个 MapReduce 程序

本是同根生:YARN MapReduce

YARN 与其它计算框架 Spark

YARN 资源调度过程解析

Hadoop 分布式计算框架 - MapReduce 进阶

MapReduce 关键过程:Partitioner

实践:实现自定义 Partitioner

    MapReduce 关键过程:Shuffle Sort

    MapReduce 的缺陷与分布式缓存 Distribute Cache

实践:动手写你的第一个MapReduce 程序,利用它分析 HDFS 上的文件

Hadoop 集群的规划与搭建

部署 Hadoop 集群之前要考虑的几件事

集群节点的硬件选择

集群节点的软件选择

规划一个可扩展的集群

初始化配置与 Linux 内核参数调整

实践:调整与 Hadoop 相关的 Linux 内核参数

大规模部署:操作系统安装 kickstart + PXE

Hadoop 集群搭建进阶

Hadoop 集群资源管理:调度器

实现 Hadoop 集群的多租户架构

图形化管理工具

实践1:搭建多节点 Hadoop 集群,开启 HDFSYARN MapReduce 服务

实践2:配置实现 Hadoop 多租户架构,用多用户提交 MapReduce 作业验证

Hadoop 集群的高级配置

高级配置参数详解

实践:在集群中查找参数并修改参数的默认值

配置 Hadoop HDFS 高可用环境 HA

资源协调器:Apache Zookeeper 组件介绍

Zookeeper 选举算法:Paxos算法

实践:Zookeeper HA 环境中的作用

Hadoop 性能调优

HDFS 组件性能调优:数据平衡

实践:HDFS 数据节点的数据平衡

l YARN / MapReduce 组件性能调优

实践:MapReduce 内存选项调整

实践:一次集群故障的诊断

恩墨学院Hadoop 核心组件课程

联系我们

  • 全国统一咨询热线:400-660-8755
  • QQ咨询:点击这里给我发消息 点击这里给我发消息 点击这里给我发消息
  • QQ群咨询:279589917
  • 邮箱:training@enmotech.com
  • 联系人:黄老师