MapReduce 字符计数示例

在MapReduce字符计数示例中，我们找出每个字符的频率。Mapper的作用是将键映射到现有的值，Reducer的作用是聚合相同值的键。因此，所有内容都以键值对的形式表示。

先决条件

Java安装 – 使用以下命令检查Java是否已安装。java -version
Hadoop安装 – 使用以下命令检查Hadoop是否已安装。hadoop version

执行MapReduce字符计数示例的步骤

在本地计算机上创建一个文本文件，并将一些文本写入其中。$ nano info.txt

MapReduce 字符计数示例

检查info.txt文件中的文本。 $ cat info.txt

MapReduce 字符计数示例

在这个示例中，我们找出了每个字符值在文本文件中存在的频率。

在HDFS中创建一个目录，用于存放文本文件。 $ hdfs dfs -mkdir /count
将info.txt文件上传到HDFS的特定目录中。 $ hdfs dfs -put /home/codegyani/info.txt /count

MapReduce 字符计数示例

使用eclipse编写MapReduce程序。

文件：WC_Mapper.java

package com.javatpoint;

import java.io.IOException;    
import org.apache.hadoop.io.IntWritable;  
import org.apache.hadoop.io.LongWritable;  
import org.apache.hadoop.io.Text;  
import org.apache.hadoop.mapred.MapReduceBase;  
import org.apache.hadoop.mapred.Mapper;  
import org.apache.hadoop.mapred.OutputCollector;  
import org.apache.hadoop.mapred.Reporter;  
public class WC_Mapper extends MapReduceBase implements Mapper<LongWritable,Text,Text,IntWritable>{  
    public void map(LongWritable key, Text value,OutputCollector<Text,IntWritable> output,   
           Reporter reporter) throws IOException{  
        String line = value.toString();  
        String  tokenizer[] = line.split("");  
        for(String SingleChar : tokenizer)
        {
            Text charKey = new Text(SingleChar);
            IntWritable One = new IntWritable(1);
            output.collect(charKey, One);               
        }
    }  

}

文件：WC_Reducer.java

package com.javatpoint;
    import java.io.IOException;  
    import java.util.Iterator;  
    import org.apache.hadoop.io.IntWritable;  
    import org.apache.hadoop.io.Text;  
    import org.apache.hadoop.mapred.MapReduceBase;  
    import org.apache.hadoop.mapred.OutputCollector;  
    import org.apache.hadoop.mapred.Reducer;  
    import org.apache.hadoop.mapred.Reporter;  

    public class WC_Reducer  extends MapReduceBase implements Reducer<Text,IntWritable,Text,IntWritable> {  
    public void reduce(Text key, Iterator<IntWritable> values,OutputCollector<Text,IntWritable> output,  
     Reporter reporter) throws IOException {  
    int sum=0;  
    while (values.hasNext()) {  
    sum+=values.next().get();  
    }  
    output.collect(key,new IntWritable(sum));  
    }  
    }

文件：WC_Runner.java

package com.javatpoint;

    import java.io.IOException;  
    import org.apache.hadoop.fs.Path;  
    import org.apache.hadoop.io.IntWritable;  
    import org.apache.hadoop.io.Text;  
    import org.apache.hadoop.mapred.FileInputFormat;  
    import org.apache.hadoop.mapred.FileOutputFormat;  
    import org.apache.hadoop.mapred.JobClient;  
    import org.apache.hadoop.mapred.JobConf;  
    import org.apache.hadoop.mapred.TextInputFormat;  
    import org.apache.hadoop.mapred.TextOutputFormat;  
    public class WC_Runner {  
        public static void main(String[] args) throws IOException{  
            JobConf conf = new JobConf(WC_Runner.class);  
            conf.setJobName("CharCount");  
            conf.setOutputKeyClass(Text.class);  
            conf.setOutputValueClass(IntWritable.class);          
            conf.setMapperClass(WC_Mapper.class);  
            conf.setCombinerClass(WC_Reducer.class);  
            conf.setReducerClass(WC_Reducer.class);       
            conf.setInputFormat(TextInputFormat.class);  
            conf.setOutputFormat(TextOutputFormat.class);         
            FileInputFormat.setInputPaths(conf,new Path(args[0]));  
            FileOutputFormat.setOutputPath(conf,new Path(args[1]));   
            JobClient.runJob(conf);  
        }  
    }

下载源代码

创建此程序的JAR文件并命名为 charcountdemo.jar 。
运行JAR文件hadoop jar /home/codegyani/charcountdemo.jar com.javatpoint.WC_Runner /count/info.txt /char_output。
输出存储在/char_output/part-00000中。

MapReduce 字符计数示例