MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"。
Tez是Apache开源的支持DAG作业的计算框架，它直接源于MapReduce框架，核心思想是将Map和Re...
water
10个月前 (03-28) 541℃ 0评论
0喜欢
很多人都知道大数据很火，就业很好，薪资很高，想往大数据方向发展。但该学哪些技术，学习路线是什么样的呢?用不用参加大数据培训呢?如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么大讲台老师就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么?是计算机专业，对操作系...
water
10个月前 (03-27) 344℃ 0评论
0喜欢
DNS是计算机域名系统(Domain Name System 或Domain Name Service) 的缩写，它是由域名解析器和域名服务器组成的。域名服务器是指保存有该网络中所有主机的域名和对应IP地址，并具有将域名转换为IP地址功能的服务器。其中域名必须对应一个...
water
11个月前 (03-15) 637℃ 0评论
0喜欢
Azkaban概述
Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。
在介绍A...
water
11个月前 (03-13) 607℃ 0评论
2喜欢
无数的文章、社交媒体在探讨Docker、Kubernetes、Mesos三者之间孰优孰劣。如果你听信了某些一知半解者的言论，你可能会认为这三个开源项目正在为争夺容器霸权而殊死战斗。同时，你也会相信，在这三者间的选择无异于对其所奉宗教的信仰，而且真正的信徒敢于大胆和异教徒作斗争，...
water
11个月前 (03-13) 427℃ 0评论
0喜欢
目前啊，都知道，大数据集群管理方式分为手工方式（Apache hadoop）和工具方式（Ambari + hdp 和Cloudera Manger + CDH）。
手工部署呢，需配置太多参数，但是，好理解其原理，建议初学这样做，能学到很多。该方式啊，均得由用户执行，细节太多，切当...
water
11个月前 (03-12) 1097℃ 0评论
1喜欢
MapReduce按照任务大小和设置的不同，提供了两种任务模式：
老一些的版本还有一个JobTracker的实现类，即：classic。用于和MapReduce1.X兼容用的，高一些的版本已经没有这个实现类了。
一，本地模式（LocalJobRunner实现）
mapreduce...
water
11个月前 (03-07) 383℃ 0评论
0喜欢
Java中任意对数函数求法
在java中求logxN，
首先要弄明白一个初中学到的公式logxN=logeN/logex,
logeN代表以e为底的N的对数,
logex代表以e为底的x的对数. &...
water
11个月前 (03-05) 416℃ 0评论
0喜欢
、 设计规约1. 【强制】 存储方案和底层数据结构的设计获得评审一致通过，并沉淀成为文档。说明： 有缺陷的底层数据结构容易导致系统风险上升，可扩展性下降，重构成本也会因历史数据迁移和系统平滑过渡而陡然增加，所以，存储方案和数据结构需要认真地进行设计和评审，生产环境提交执行后，需要...
water
11个月前 (02-28) 373℃ 0评论
0喜欢
普通用户：
若A想免密登录到B，将A生成的公钥追加到B的/home/.ssh/authorized_keys文件中即可
//在A（192.168.X.2）服务器下执行：
//生成公钥
Portal@ubuntu:~$ ssh-keygen -t rsa -P ''...
water
11个月前 (02-27) 456℃ 0评论
0喜欢
阅读开源代码时可能经常遇到TODO、FIXME、XXX的单词，通常这些都是有其特殊含义的。
中文版的说明
TODO: + 说明：如果代码中有该标识，说明在标识处有功能代码待编写，待实现的功能在说明中会简略说明。
FIXME: + 说明：如果代码中有该标识，说明标识处代码需...
water
11个月前 (02-27) 527℃ 0评论
0喜欢
1 概念 归一化：１）把数据变成(０，１)或者（-1,1）之间的小数。主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速。２）把有量纲表达式变成无量纲表达式，便于不同单位或量级的指标能够进行比较和加权。归一化是一种简化计算的方式，即将有量纲的表达式，经...
water
11个月前 (02-27) 905℃ 0评论
0喜欢
前言
程序设计其实是对复杂性的管理：待解决问题的复杂性，以及用来解决该问题的工具的复杂性。
Java为程序员减少复杂度，减少开发健壮代码所需的时间以及困难。并着手解决各种复杂任务，例如（多线程和网络编程）
不要把java简单的看成一些特征的集合，有些特...
water
12个月前 (02-01) 451℃ 0评论
1喜欢
如今很多家庭买房都会考虑到学区划分，但是即便入住学区房，想要在这个学区上学还是有条件的。那么学区房入学条件有哪些呢？今日就由PChouse为你一一解答。
学区划分并不是同一条路或者同一个小区的孩子，就能划分到同一所学校。所以并不是说购买了学区房的孩子就一定可以就近入学。那具体有哪...
water
1年前 (2019-01-30) 425℃ 0评论
0喜欢
还在读书，也在实验室帮忙做了些东西，自己也搭过几个网站。在周围人看来似乎好像我很厉害，做了那么多东西，但是我发现这些东西虽然是我做的，但是实际上我手把手自己写的代码却并没有多少，很多都是用开源的东西，我写的代码无非是把别人的东西整合下，类似于胶水一样的工作。我之前所认为的编程是全...
water
1年前 (2019-01-28) 761℃ 0评论
0喜欢
网址换为http://www.mindviewinc.com 了
On Java 8 Example Code.
Hands-On Java 2nd Ed. Seminar (Slides + Audio).
Thinking in Java 4th Edi...
water
1年前 (2019-01-23) 432℃ 0评论
0喜欢
微服务框架
服务注册与发现（Eureka） 客户端负载均衡（ribbon） 服务传输协议（rest,thrift） 服务熔断降级（...
water
1年前 (2019-01-22) 371℃ 0评论
0喜欢
这些都是典型的使用GNU的AUTOCONF和AUTOMAKE产生的程序的安装步骤
一、基本信息
1、./configure 是用来检测你的安装平台的目标特征的。比如它会检测你是不是有CC或GCC，并不是需要CC或GCC，它是个shell脚本。
2、make&nb...
water
1年前 (2019-01-22) 448℃ 0评论
0喜欢
1)先安装wget
执行命令 yum install -y wget
[root@localhost ~]# yum install -y wget
2) 查询国内镜像源
打开阿里镜像http://mirrors.aliyun.com/
3）下载CentOS 7的re...
water
1年前 (2019-01-18) 483℃ 0评论
0喜欢
选举(election)是分布式系统实践中常见的问题，通过打破节点间的对等关系，选得的leader(或叫master、coordinator)有助于实现事务原子性、提升决议效率。 多数派(quorum)的思路帮助我们在网络分化的情况下达成决议一致性，在leader选举的场景下帮...
water
1年前 (2019-01-15) 451℃ 0评论
1喜欢
