欢迎您光临本小站。希望您在这里可以找到自己想要的信息。。。

 分类:编程内功

调度框架Azkaban快速入门

调度框架Azkaban快速入门
Azkaban概述 Azkaban是由Linkedin公司推出的一个批量工作流任务调度器,用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。 在介绍A...

water 2周前 (03-13) 51℃ 0评论 1喜欢

你也许理解错了:Docker、Kubernetes和Apache Mesos之间的正确关系

你也许理解错了:Docker、Kubernetes和Apache Mesos之间的正确关系
无数的文章、社交媒体在探讨Docker、Kubernetes、Mesos三者之间孰优孰劣。如果你听信了某些一知半解者的言论,你可能会认为这三个开源项目正在为争夺容器霸权而殊死战斗。同时,你也会相信,在这三者间的选择无异于对其所奉宗教的信仰,而且真正的信徒敢于大胆和异教徒作斗争,...

water 2周前 (03-13) 45℃ 0评论 0喜欢

Cloudera CDH 、Hortonworks DHP和MapR比较

Cloudera CDH 、Hortonworks DHP和MapR比较
目前啊,都知道,大数据集群管理方式分为手工方式(Apache hadoop)和工具方式(Ambari + hdp 和Cloudera Manger + CDH)。 手工部署呢,需配置太多参数,但是,好理解其原理,建议初学这样做,能学到很多。该方式啊,均得由用户执行,细节太多,切当...

water 2周前 (03-12) 56℃ 0评论 0喜欢

Hadoop之MapReduce的两种任务模式

Hadoop之MapReduce的两种任务模式
MapReduce按照任务大小和设置的不同,提供了两种任务模式: 老一些的版本还有一个JobTracker的实现类,即:classic。用于和MapReduce1.X兼容用的,高一些的版本已经没有这个实现类了。 一,本地模式(LocalJobRunner实现) mapreduce...

water 3周前 (03-07) 42℃ 0评论 0喜欢

阿里巴巴java开发手册-设计规约

阿里巴巴java开发手册-设计规约
、 设计规约1. 【强制】 存储方案和底层数据结构的设计获得评审一致通过,并沉淀成为文档。说明: 有缺陷的底层数据结构容易导致系统风险上升,可扩展性下降,重构成本也会因历史数据迁移和系统平滑过渡而陡然增加,所以,存储方案和数据结构需要认真地进行设计和评审,生产环境提交执行后,需要...

water 4周前 (02-28) 66℃ 0评论 0喜欢

代码注释中的专有词——TODO、FIXME和XXX

代码注释中的专有词——TODO、FIXME和XXX
阅读开源代码时可能经常遇到TODO、FIXME、XXX的单词,通常这些都是有其特殊含义的。 中文版的说明 TODO: + 说明:如果代码中有该标识,说明在标识处有功能代码待编写,待实现的功能在说明中会简略说明。 FIXME: + 说明:如果代码中有该标识,说明标识处代码需...

water 4周前 (02-27) 76℃ 0评论 0喜欢

归一化 (Normalization)、标准化 (Standardization)和中心化/零均值化 (Zero-centered)

归一化 (Normalization)、标准化 (Standardization)和中心化/零均值化 (Zero-centered)
1 概念  归一化:1)把数据变成(0,1)或者(-1,1)之间的小数。主要是为了数据处理方便提出来的,把数据映射到0~1范围之内处理,更加便捷快速。2)把有量纲表达式变成无量纲表达式,便于不同单位或量级的指标能够进行比较和加权。归一化是一种简化计算的方式,即将有量纲的表达式,经...

water 4周前 (02-27) 70℃ 0评论 0喜欢

真正的编程能力基本功

真正的编程能力基本功
还在读书,也在实验室帮忙做了些东西,自己也搭过几个网站。在周围人看来似乎好像我很厉害,做了那么多东西,但是我发现这些东西虽然是我做的,但是实际上我手把手自己写的代码却并没有多少,很多都是用开源的东西,我写的代码无非是把别人的东西整合下,类似于胶水一样的工作。我之前所认为的编程是全...

water 2个月前 (01-28) 133℃ 0评论 0喜欢

微服务框架概述

微服务框架概述
  微服务框架     服务注册与发现(Eureka)    客户端负载均衡(ribbon)    服务传输协议(rest,thrift)    服务熔断降级(...

water 2个月前 (01-22) 110℃ 0评论 0喜欢

分布式系统理论基础 – 选举、多数派和租约

分布式系统理论基础 – 选举、多数派和租约
选举(election)是分布式系统实践中常见的问题,通过打破节点间的对等关系,选得的leader(或叫master、coordinator)有助于实现事务原子性、提升决议效率。 多数派(quorum)的思路帮助我们在网络分化的情况下达成决议一致性,在leader选举的场景下帮...

water 2个月前 (01-15) 136℃ 0评论 1喜欢

搜索算法总结

搜索算法总结
1.跳跃表 2.FST+FSM Finite StateTransducers 简称 FST,通常中文译作有穷状态转换器或者有限状态传感器,我更偏向于后者,因为后者更加贴近原意。FST目前在语音识别和自然语言搜索、处理等方向被广泛应用。FST的功能更类似于字典,Lucene4.0...

water 2个月前 (01-14) 119℃ 0评论 0喜欢

lucene字典数据结构实现

lucene字典数据结构实现
1 lucene字典       使用lucene进行查询不可避免都会使用到其提供的字典功能,即根据给定的term找到该term所对应的倒排文档id列表等信息。实际上lucene索引文件后缀名为tim和tip的文件实现的就是lucene的字典功能。 ...

water 3个月前 (12-18) 155℃ 0评论 0喜欢

LeetCode 刷题指南

LeetCode 刷题指南
虽然刷题一直饱受诟病,不过不可否认刷题确实能锻炼我们的编程能力,相信每个认真刷题的人都会有体会。现在提供在线编程评测的平台有很多,比较有名的有 hihocoder,LintCode,以及这里我们关注的 LeetCode。 代码提交曲线 LeetCode 是一个非常棒的 OJ(O...

water 3个月前 (12-17) 199℃ 0评论 0喜欢

lucene评分详解

lucene评分详解
Lucene通过计算文档的得分来确定查询结果文档的相似度。如果你希望通过干预Lucene查询来改变查询结果的排序,你就需要对Lucene的得分计算有所理解。 Lucene得分计算公式如下所示: score(q,d)= coord(q,d)·queryNorm(q)·∑( tf(t...

water 4个月前 (12-10) 196℃ 0评论 0喜欢

事件驱动编程、消息驱动编程、数据驱动编程

事件驱动编程、消息驱动编程、数据驱动编程
事件驱动 事件驱动机制就是:让驴拉磨,它不拉,你用鞭抽一下,它就开始拉了。然后又停了,你再抽一下,它又继续拉了这叫用“鞭”驱动“驴”拉磨在程序里,程序停止在那不动,你点击一个按钮,它就有反应了,过一会,又没反应了,你再点一下,它又继续运行。这叫用“事件”驱动“程序”运行 0. 基...

water 4个月前 (11-14) 302℃ 0评论 0喜欢

阻塞非阻塞与同步异步的区别解释

阻塞非阻塞与同步异步的区别解释
阻塞”与"非阻塞"与"同步"与“异步"不能简单的从字面理解,提供一个从分布式系统角度的回答。1.同步与异步同步和异步关注的是消息通信机制 (synchronous communication/ asynchronous comm...

water 4个月前 (11-14) 164℃ 0评论 0喜欢

回调函数(callback)是什么?

回调函数(callback)是什么?
什么是回调函数? 我们绕点远路来回答这个问题。 编程分为两类:系统编程(system programming)和应用编程(application programming)。所谓系统编程,简单来说,就是编写库;而应用编程就是利用写好的各种库来编写具某种功用的程序,也就是应用。系统程...

water 4个月前 (11-14) 173℃ 0评论 0喜欢

如何读懂代码

如何读懂代码
我们在写程序时,有不少时间都是在看别人的代码。 例如看小组的代码,看小组整合的守则,若一开始没规划怎么看, 就会看得云山雾罩不知其所然。 不管是参考也好,从开源抓下来研究也好,为了了解箇中含意,在有限的时间下,不免会对庞大的源代码解读感到压力。 以下来介绍一下读代码的心法: ...

water 6个月前 (10-10) 182℃ 0评论 0喜欢

自然语言处理命名实体识别(NER)

自然语言处理命名实体识别(NER)
NER(Named Entity Recognition,命名实体识别)又称作专名识别,是自然语言处理中常见的一项任务,使用的范围非常广。命名实体通常指的是文本中具有特别意义或者指代性非常强的实体,通常包括人名、地名、机构名、时间、专有名词等。NER系统就是从非结构化的文本中抽取...

water 7个月前 (09-10) 2475℃ 0评论 0喜欢

Kafka Connect简介

Kafka Connect简介
Kafka 0.9+增加了一个新的特性Kafka Connect,可以更方便的创建和管理数据流管道。它为Kafka和其它系统创建规模可扩展的、可信赖的流数据提供了一个简单的模型,通过connectors可以将大数据从其它系统导入到Kafka中,也可以从Kafka中导出到其它系统。...

water 7个月前 (09-06) 365℃ 0评论 0喜欢