恩墨学院 - 名师传道,授业以专

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
Spark学习(八)
heartseaworld 2017-4-26 17:50
Spark SQL 1、什么是Spark SQL 1)用于结构化数据处理的Spark模块 2)替换Shark(以前的Spark模块,现已弃用) 3)建立在核心Spark之上 2、Spark SQL提供什么 1)DataFrame API用于将数据用作表格的库,定义包含行和列的DataFrames 2)Catalyst Optimizer一个可扩展的优化框架 3)一个SQL引擎和 ...
5 次阅读|0 个评论
Hadoop学习(四十一)
heartseaworld 2017-4-25 23:23
11、对于特定于Volume的Secondary NameNode属性重复此操作,通常只是dfs.namenode.secondary.http-address 12、在整个集群中传播配置更改,如果设置新的HDFS安装,后续步骤与未经过预定的安装相匹配 13、如果添加联盟到现有的安装,不要格式化NameNode 14、客户端安装,HDFS联合允许多个NameNodes,客户端安装一个或多 ...
4 次阅读|0 个评论
Hadoop学习(四十)
heartseaworld 2017-4-24 22:42
1、HDFS联合允许集群具有多个NameNodes,每个管理命名空间卷,客户端安装定义整体视图(类似于/etc/fstab) 2、命名空间卷(和名称节点)是独立的,他们不相互沟通 3、HDFS联盟的好处:可扩展性、表现、隔离 4、本节中的材料仅适用于CDH4和等效的Apache Hadoop版本(0.23.x),可以说HDFS联盟不是在生产中使用的 5、联 ...
7 次阅读|0 个评论
Hadoop学习(三十九)
heartseaworld 2017-4-23 23:21
1、配置YARN和MapReduce安全性 1)编辑yarn-site.xml以添加ResourceManager和NodeManager属性,必须在群集中的每台机器上指定它们 yarn.resourcemanager.keytab=/etc/hadoop/conf/yarn.keytab yarn.resourcemanager.principal=yarn/_HOST@YOUR-REALM.COM yarn.nodemanager.keytab=/etc/hadoop/conf/yar ...
7 次阅读|0 个评论
Hadoop学习(三十八)
heartseaworld 2017-4-22 23:35
1、配置HDFS安全 1)编辑hdfs-site.xml以添加NameNode属性,些必须在集群中的每个机器上指定 dfs.block.access.token.enable=true dfs.web.authentication.kerberos.principal=HTTP/_HOST@YOUR_REALM.COM dfs.namenode.keytab.file=/etc/hadoop/conf/hdfs.keytab dfs.namenode.kerberos.principal ...
7 次阅读|0 个评论
Hadoop学习(三十七)
heartseaworld 2017-4-21 23:26
1、创建Kerberos主体 1)在每个Hadoop集群节点上创建这些Kerberos主体 HTTP/myhost.example.com@MYREALM.COM hdfs/myhost.example.com@MYREALM.COM mapred/myhost.example.com@MYREALM.COM yarn /myhost.example.com@MYREALM.COM 2)这些必须包含一个完全限定的主机名,这必须是当前节点的主 ...
9 次阅读|0 个评论
hadoop学习(三十六)
heartseaworld 2017-4-20 23:25
1、Hadoop安全设置先决条件 1)Hadoop集群工作 2)Kerberos KDC服务器工作 3)所有Hadoop节点上都安装了Kerberos客户端库 2、Hadoop集群安全的主要步骤是 1)在Java中启用强加密 2)在所有Hadoop节点上设置KDC主机名和领域 3)创建Kerberos主体 4)创建和部署Kerberos keytab文件 5)关 ...
8 次阅读|0 个评论
Hadoop学习(三十五)
heartseaworld 2017-4-19 22:11
Kerberos配置 1、Kerberos消息交换,客户端访问服务需要三个阶段:认证、授权、服务请求 认证阶段:1)客户端向AS发送授权单(TGT)请求 2)AS检查数据库以验证客户端,验证通常通过检查LDAP / Active Directory来完成,如果有效,AS向客户端发送票证授予票(TGT) 授权阶段:1)客户使用此TGT从TGS ...
10 次阅读|0 个评论
Hadoop学习(三十四)
heartseaworld 2017-4-18 14:54
Hadoop集群常见错误配置与故障处理 1、Hadoop Metrics2框架 1)支持所有CDH守护进程,包括NameNode,DataNode,SecondaryNameNode,ResourceManager和NodeManager 2)支持Map任务和Reduce任务 3)允许根据上下文(jvm,dfs,mapred,rpc等)、守护程序、源、记录或度量名称过滤,发布到接收器的指标 4) ...
12 次阅读|0 个评论
Hadoop学习(三十三)
heartseaworld 2017-4-17 15:40
1、监控Hadoop集群,你应该使用监视工具来警告您群集中各个机器上的潜在或实际问题 2、Cloudera Manager提供Hadoop集群监控,无需额外的配置,我们建议使用Cloudera Manager来监视Hadoop集群 3、Hadoop公开了可以将集群监控集成到许多现有监控工具中的数据:JMX广播、指标下沉 4、监控项 1)监视Hadoop守护进程 ...
13 次阅读|0 个评论

公司介绍|加入我们|联系我们|enmoedu.inc  

GMT+8, 2017-4-27 17:11 , Processed in 0.036695 second(s), 10 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

返回顶部