1.一个map task 处理一个InputSplit 数据（分片）
2.reducer 的入参是 ：一个key 对应 一个value的集合
3.文本的是可以分片的（不考虑压缩）

1.getSplits方法（拿到分片）

2.RecordReader(上面拿到分片 ，这个分片就是提供RecordReader 读进来的)

他的实现类有很多：
1.isSplitable 方法 （是否可以分片 ，有压缩 就不一定可以分片的哦）

waitForCompletion{
    submit(){
        connect(); // 其实就是为了拿到一个cluster（Local YARN）
        submitJobInternal(){
            checkSpecs(job);  // 为了检查输出目录是否存在
            // 创建一个staging目录
            Path jobStagingArea = JobSubmissionFiles.getStagingDir(cluster, conf);
            // 获取该Job的id
            JobID jobId = submitClient.getNewJobID();
            job.setJobID(jobId);
            // 本Job对应的目录: staging + jobid
            Path submitJobDir = new Path(jobStagingArea, jobId.toString());
            // 本Job的信息
            copyAndConfigureFiles(job, submitJobDir);
            // 获取该Job对应的map数量
            int maps = writeSplits(job, submitJobDir);
            // 本Job的信息写入到指定的文件中去
            writeConf(conf, submitJobFile);
            // 删除该Job对应的文件目录中的信息
            jtFs.delete(submitJobDir, true);
        }
    }
}

最重要的是求多少个分片 （map task的个数）
1.默认splitSize 取得是 blocksize 128m

问：一个129M的文件占用几个Block？几个InputSplit？
答：2个Block 1个InputSplit

一个文件如果没有超过块大小 它就是一个 分片
如果一个文件大小超过splitsize的10% 就是两个分片

为什么呢？
2.源码有一个判断 当文件大小大于块大小的时候
一个文件如果没有超过块大小 它就是一个 分片
如果一个文件大小剩余部分超过splitsize的10% 就是两个分片
剩余部分=文件大小减去块大小

注意：与小文件合并的区别

如果有四个小文件 没有设置小文件合并  ，（一个文件如果没有超过块大小 它就是一个 分片）
那么会开启四个map task 进程，这个是完全没有必要的，如何解决呢？

解决：合并小文件
CombineTextInputFormat   job设置inputformat 为CombineTextInputFormat.class  默认走的是TextInputFormat
如果四个文件大小是 1m ,2m,4m,5m
那么结果就是 使用一个map task  默认splitsize是128m

继续：测试
如果设置CombineTextInputFormat.setMaxInputSplitSize(job,4194304)  4m
那么这次是几个分片呢？

1m      <4m    即一个块  1m
 2m     <4m      1个块  2m
 4m    >4m    < 2* 4  那么就拆成两块  2   2 
 5m   >4m    <2*4    那么就拆成两块  2.5   2.5

4<1+2+1 = 4<4*1.1   即第一个分片 
4<1 + 2+1 = 4 <4*1.1  即第二个分片
4<1.5 + 2.5 = 4 < 4 * 1.1 即第三个分片

1.    100 列 * 100 行     5G
2.  2 列  *    xxx 行       5G   
 那么 2 就要使用 按行数进行分片

1.Hashpartitioner
(key.hashCode() & Integer.MAX_VALUE) % numReduceTasks

& Integer.MAX_VALUE ?????? 这个东西是做什么用的呢？

2.自定义分区
注意 ：job里设置 自定义分区的类.class 
2.分区数 就是 reduce task  的 个数 （可以这么理解 分区器里面 设计分区的个数 ，一般reduce task的个数是和分区数相等的）

注意：
1.有几个reduce 就有几个输出 ， spark里面有几个task就有几个输出
2.reducer的个数越多你的分区数越多 ，分区数越多生成的文件越多 出现的小文件越多
3.总结：
    reducer task 个数 > partitions    ，会有空文件产生
     1  < reducer task 个数 < partitions   ,会报错
     1= reduce task 个数  ,就是一个文件输出

reduce 的个数增加 并行度增加了 同时 输出的文件也多了 小文件会多
最好的选择是  ： 你能忍受输出的文件是多大  ，
1 . 输出的文件大 那么reduce task 就设置小一些  （程序会跑的慢一些）
2. 让程序跑块一些 ，就设置 reducer task 大一些  输出的文件会增加 文件的大小会小

排序 是按照 key  进行排序的
按照recuer 的 输入的key 进行排序 （reducer 的输入 就是 mapper 的输出）

bean类要实现writablecomparable 接口

1.全局排序（生产生用的很少）只有 一个reduce 性能低
2.分区排序