您现在的位置是:首页 >其他 >虚拟机+Hadoop下MapReduce的Wordcount案例网站首页其他

虚拟机+Hadoop下MapReduce的Wordcount案例

白驹୧⍤⃝� 2023-06-28 12:00:04
简介虚拟机+Hadoop下MapReduce的Wordcount案例

环境:ubuntu18.04

前提:Hadoop已经搭建好

1.新建WDtest.txt文件,自定义执行样例

抄作业记得改标题

cd /usr/local/hadoop
vim WDtest.txt

输入内容(可以自定义,抄作业别写一样的)

 

2.开启hadoop

cd /usr/local/hadoop
./sbin/start-all.sh

3.修改yarn-site.xml文件的配置

cd /usr/local/hadoop/etc/hadoop
vim yarn-site.xml

yarn-site.xml内容如下,注意第一个<property>要改:

·输入hadoop classpath(任意路径下均可),将返回的内容复制在第一个<property>的<value>中


<?xml version="1.0"?>

<configuration>
	<property>
		<name>yarn.application.classpath</name>
		<value>*这个要改-输入hadoop classpath(任意路径下均可),将返回的内容复制在这个标签中*</value>
	</property>
	<property>  
		<name>yarn.nodemanager.aux-services</name>  
		<value>mapreduce_shuffle</value>  
	</property> 
	<property>
	<name>yarn.nodemanager.vmem-pmem-ratio</name>
	<value>3.0</value>
	</property>
</configuration>

4.新建输入文件夹

 hadoop fs -mkdir -p /input/wordcount 

如果报错Command ‘hadoop‘ not found, did you mean

参考这篇博文:(37条消息) hdfs报错Command ‘hdfs‘ not found, did you mean_hdfs not found_码农阿益的博客-CSDN博客

5.新建输出文件夹

 hadoop fs -mkdir -p /output

6.上传WDtest.txt到输入文件夹中

hadoop fs -put /usr/WDtest /input/wordcount

7.运行自带的wordcount程序

注意版本号是否一样,不一样去到沿着路径查看后修改

cd /usr/local/hadoop/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordcount /input/wordcount /output/wordcountresult

8.生成执行结果

hadoop fs -text /output/wordcountresult/part-r-00000

9.关闭hadoop

cd /usr/local/hadoop
./sbin/stop-all.sh
风语者!平时喜欢研究各种技术,目前在从事后端开发工作,热爱生活、热爱工作。