Hadoop

2019-03-02chenssy阅读(4956)评论(2)赞(10)

小编从今年开始就学习大数据了，但是除了 《Hadoop 权威指南》 之外并没有找到很好的入门资料，这个系列文章是小编在查询大数据相关资料的时候无意中发现的，稍微浏览了下，真是一个大数据入门的全系列文章，于是小编一口气把他看完，然后配上 ...

2019-03-02chenssy阅读(991)评论(0)赞(1)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html 求所有两两用户之间的共同好友 数据格式 A:B,C,D,F,E,O B:A,C,E,K C:F,A...

2019-03-02chenssy阅读(643)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html 第一题 下面是三种商品的销售数据  要求：根据以上数据，用 MapReduce 统计出如下数据： ...

2019-03-02chenssy阅读(738)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html 数据及需求 数据格式 movies.dat　　3884条数据 1::Toy Story (1995...

2019-03-02chenssy阅读(782)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html 学生成绩—增强版 数据信息 1 computer,huangxiaoming,85,8...

2019-03-02chenssy阅读(764)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html YARN 1.1、YARN 概述 YARN（Yet Another Resource Negoti...

2019-03-02chenssy阅读(633)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html 概述 1、MapReduce 中，mapper 阶段处理的数据如何传递给 reducer 阶段，是...

2019-03-02chenssy阅读(674)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html MapReduce的输入 作为一个会编写MR程序的人来说，知道map方法的参数是默认的数据读取组件...

2019-03-02chenssy阅读(764)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html MapReduce Join 对两份数据data1和data2进行关键词连接是一个很通用的问题，如...

2019-03-02chenssy阅读(621)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html 前言 在Hadoop中，排序是MapReduce的灵魂，MapTask和ReduceTask均会对...

2019-03-02chenssy阅读(752)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html 流量统计项目案例 样本示例 需求 1、 统计每一个用户（手机号）所耗费的总上行流量、总下行流量，总...

2019-03-02chenssy阅读(742)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html 对combiner的理解 combiner其实属于优化方案，由于带宽限制，应该尽量map和redu...

2019-03-02chenssy阅读(590)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html Partitioner分区类的作用是什么？ 在进行MapReduce计算时，有时候需要把最终的输出...

2019-03-02chenssy阅读(613)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html MapReduce 多 Job 串联 需求 一个稍复杂点的处理逻辑往往需要多个 MapReduce...

2019-03-02chenssy阅读(616)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html 概述 一个完整的 MapReduce 程序在分布式运行时有两类实例进程： 1、MRAppMaste...

2019-03-02chenssy阅读(782)评论(0)赞(1)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html MapReduce是什么 首先让我们来重温一下 hadoop 的四大组件： HDFS：分布式存储系...

2019-03-02chenssy阅读(775)评论(0)赞(2)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html NameNode 学习目标 理解 namenode 的工作机制尤其是元数据管理机制，以增强对 HD...

2019-03-02chenssy阅读(762)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html HDFS的写操作 《HDFS权威指南》图解HDFS写过程 详细文字说明（术语） 1、使用 HDFS...

2019-03-02chenssy阅读(1699)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html HDFS的API就两个：FileSystem 和 Configuration 1、文件的上传和下载...

2019-03-02chenssy阅读(1219)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html  HDFS的优点和缺点 HDFS的优点 1、可构建在廉价机器上 通过多副本提高可靠性，提供了容错和...