Windows环境下hadoop安装和配置详细步骤(图文)
参考
https://www.cnblogs.com/caiyishuai/p/12392070.htmlhttps://blog.csdn.net/qq_35535690/article/details/81976032
https://blog.csdn.net/wangaz521/article/details/79717177
1.首先下载hadoop2.7.1和hadooponwindows-master.zip
链接: https://pan.baidu.com/s/1M2i8prhEPFOIROG_EIYhJw
提取码:acif
下载并解压到本地 我是放到了的D盘
2.原版的Hadoop不支持Windows系统,我们需要修改一些配置方便在Windows上运行,hadooponwindows-master.zip 解压后
复制解压开的bin文件和etc文件到hadoop-2.7.1文件中,并替换原有的bin和etc文件。
或者也可以到官网下载hadoop: https://archive.apache.org/dist/hadoop/common/
3.下载配置JAVA_HOME并检查是否成功
4.配置HADOOP_HOME,环境变量path添加%HADOOP_HOME%\bin
5.使用编辑器打开D:\hadoop\hadoop-2.7.1\etc\hadoop\hadoop-env.cmd
修改JAVA_HOME的路径
把set JAVA_HOME改为jdk的位置
6.在D:\hadoop\hadoop-2.7.1目录下 添加tmp文件夹
在D:\hadoop\hadoop-2.7.1添加data和namenode,datanode子文件夹
7.打开 D:/hadoop/hadoop-2.7.1/etc/hadoop/hdfs-site.xml
修改路径为hadoop下的namenode和datanode
8.从D:\hadoop\hadoop-2.7.1\bin下拷贝hadoop.dll到 C:\Windows\System32 ,不然在window平台使用MapReduce测试时报错
9.以管理员身份打开命令提示符
输入hdfs namenode -format,看到如下所示就说明format成功
10.转到hadoop-2.7.1\sbin文件下
输入start-all,启动hadoop集群
D:\hadoop\hadoop-2.7.1\sbin>start-all
出现下面四个窗口表示启动hadoop集群成功
11.输入jps - 可以查看运行的所有节点
12.访问http://localhost:50070,访问hadoop的web界面
访问http://localhost:8088,访问yarn的web界面,有就表明已经成功
停止运行的所有节点的命令stop-all
13.上传测试
根据你core-site.xml的配置,接下来你就可以通过:hdfs://localhost:9000来对hdfs进行操作了。
- 创建输入目录
C:\WINDOWS\system32>hadoop fs -mkdir hdfs://localhost:9000/user/
C:\WINDOWS\system32>hadoop fs -mkdir hdfs://localhost:9000/user/wcinput
- 上传数据到目录
C:\WINDOWS\system32>hadoop fs -put D:\personal\debug.log hdfs://localhost:9000/user/wcinput
cx101211: 确实可以了,感谢
ChauLeungyu: 【查询和" 01 "号的同学学习的课程 完全相同的其他同学的信息】利用group_concat select student.* from student, (select groupcid.ScSid from (select sc.SId ScSid ,group_concat(sc.CId) allcid from sc group by sc.SId) as groupcid, (select sc.SId ScSid ,group_concat(sc.CId) allcid from sc where SId = '01' group by sc.SId) as goalcid where goalcid.allcid = groupcid.allcid) as goalsid where student.SId = goalsid.ScSid
qq_41761480: 是的,bug好多
weixin_45593932: 那有啥好用推荐没兄弟
Hxxxxxy: 大佬,访问hadoop界面失败怎么搞??防火墙关过了,网上一些方法都没用啊