chenssy的文章

2019-03-02chenssy阅读(153)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html 前言 在Hadoop中，排序是MapReduce的灵魂，MapTask和ReduceTask均会对...

2019-03-02chenssy阅读(106)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html 流量统计项目案例 样本示例 需求 1、 统计每一个用户（手机号）所耗费的总上行流量、总下行流量，总...

2019-03-02chenssy阅读(86)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html 对combiner的理解 combiner其实属于优化方案，由于带宽限制，应该尽量map和redu...

2019-03-02chenssy阅读(96)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html Partitioner分区类的作用是什么？ 在进行MapReduce计算时，有时候需要把最终的输出...

2019-03-02chenssy阅读(85)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html MapReduce 多 Job 串联 需求 一个稍复杂点的处理逻辑往往需要多个 MapReduce...

2019-03-02chenssy阅读(90)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html 概述 一个完整的 MapReduce 程序在分布式运行时有两类实例进程： 1、MRAppMaste...

2019-03-02chenssy阅读(214)评论(0)赞(1)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html MapReduce是什么 首先让我们来重温一下 hadoop 的四大组件： HDFS：分布式存储系...

2019-03-02chenssy阅读(88)评论(0)赞(1)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html NameNode 学习目标 理解 namenode 的工作机制尤其是元数据管理机制，以增强对 HD...

2019-03-02chenssy阅读(134)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html HDFS的写操作 《HDFS权威指南》图解HDFS写过程 详细文字说明（术语） 1、使用 HDFS...

2019-03-02chenssy阅读(611)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html HDFS的API就两个：FileSystem 和 Configuration 1、文件的上传和下载...

2019-03-02chenssy阅读(156)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html  HDFS的优点和缺点 HDFS的优点 1、可构建在廉价机器上 通过多副本提高可靠性，提供了容错和...

2019-03-02chenssy阅读(154)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html 一、添加插件 将hadoop-eclipse-plugin-2.7.5.jar放入eclipse的...

2019-03-02chenssy阅读(116)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html Hadoop常用命令 启动HDFS集群 [hadoop@hadoop1 ~]$ start-***...

2019-03-02chenssy阅读(153)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html HDFS前言 HDFS：Hadoop Distributed File System ，Hadoo...

2019-03-02chenssy阅读(96)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html 分布式集群的通用问题 当前的HDFS和YARN都是一主多从的分布式架构，主从节点—管理...

2019-03-02chenssy阅读(204)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html 概念了解 主从结构：在一个集群中，会有部分节点充当主服务器的角色，其他服务器都是从服务器的角色，当...

2019-03-02chenssy阅读(127)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html 下载Hadoop源码 1、登录官网 2、确定你要安装的软件的版本 一个选取原则： 不新不旧的稳定版...

2019-03-02chenssy阅读(218)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html Hadoop产生的背景 1. HADOOP最早起源于Nutch。Nutch的设计目标是构建...

2019-03-02chenssy阅读(338)评论(0)赞(0)

作者：扎心了，老铁 出处：https://www.cnblogs.com/qingyunzong/category/1169344.html 三个题目 第一题 问题描述 统计出当前这个一行一个IP的文件中，到底哪个IP出现的次数最多 解决思...

2019-02-28chenssy阅读(952)评论(2)赞(1)

作者：@蛋疼的axb 出处：http://blog.2baxb.me/archives/1499 关于烂代码的那些事（上） 关于烂代码的那些事（中） 关于烂代码的那些事（下） 假设你已经读过烂代码系列的前两篇：了解了什么是烂代码，什么是好代...