华为云服务器大数据环境配置
参加牛客🐂的活动,买了一台华为云服务器,40G,可以搭建一个伪分布式的大数据环境用来学习,终于可以放过自己的小本本了,开心😍🤗
一、Hadoop 伪分布式安装与配置
参考博客:“化鲲为鹏,我有话说”十七,基于鲲鹏搭建 Hadoop 伪分布式环境
1. Java 环境配置
安装 JDK1.8 并配置 JAVA_HOME
1 | ## bash 执行命令: |
1 | ## 在 .bashrc 中追加: |
2. 安装 Hadoop
1 | ## 下载 Hadoop 2.7.7 |
3. 设置 Hadoop 的环境变量
1 | vi ~/.bashrc |
1 | export HADOOP_HOME=/usr/local/hadoop |
4. 修改 Hadoop 的配置文件
/usr/local/hadoop/etc/hadoop/core-site.xml
1 | <configuration> |
/usr/local/hadoop/etc/hadoop/hdfs-site.xml
1 | <configuration> |
5. 格式化 NameNode
1 | cd /usr/local/hadoop |
启动 NameNode 和 DataNode 进程:
1 | sbin/start-dfs.sh |
关闭 Hadoop 进程:
1 | /usr/local/hadoop/sbin/stop-dfs.sh |
再起启动只需要执行下面命令:1
/usr/local/hadoop/sbin/start-dfs.sh
6. 配置免密登录
如果在终端中输入ssh localhost
有返回,则已经配置好了SSH keys,如果没有,新建 SSH keys 配置:
1 | $ ssh-keygen -t rsa -P "" |
为了避免每次询问你的密码,可以授权你的公钥到本地:
1 | $ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys |
现在 SSH keys 就设置成功
二、HBase 安装配置
HBase 的安装,看了好多教程,比较混乱,自己搞一下吧
1. 安装 HBase
直接从官网上下载的,比较慢,可以找找国内的镜像资源
1 | ## 下载 |
2. 设置 HBase 环境
仍然在 .bashrc 中追加,并使其生效
1 | #hbase |
3. 修改 HBase 配置文件
配置 conf/hbase-env.sh
1 | export JAVA_HOME=${JAVA_HOME} |
配置 hbase-site.xml
1 | <configuration> |
4. HBase - MapReduce
并在 hadoop-env.sh 中配置:(注意:在 for 循环之后配)1
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/local/hbase/lib/*
- 本文作者: Kelly Liu
- 本文链接: http://tiantianliu2018.github.io/2020/03/22/华为云服务器大数据环境配置/
- 版权声明: 本博客所有文章除特别声明外,均采用 MIT 许可协议。转载请注明出处!