欢迎您光临本小站。希望您在这里可以找到自己想要的信息。。。

 分类:编程内功

不深入而浅出 Roaring Bitmaps 的基本原理

不深入而浅出 Roaring Bitmaps 的基本原理
0x00 前言 位图索引被广泛用于数据库和搜索引擎中,通过利用位级并行,它们可以显著加快查询速度。但是,位图索引会占用大量的内存,因此我们会更喜欢压缩位图索引。 Roaring Bitmaps 就是一种十分优秀的压缩位图索引,后文统称 RBM。 压缩位图索引有很多种...

water 4年前 (2019-12-11) 1944℃ 0评论 1喜欢

深度剖析开源分布式监控CAT

深度剖析开源分布式监控CAT
CAT(Central Application Tracking)是一个实时和接近全量的监控系统,它侧重于对Java应用的监控,基本接入了美团上海侧所有核心应用。目前在中间件(MVC、RPC、数据库、缓存等)框架中得到广泛应用,为美团各业务线提供系统的性能指标、健康状况、监控告...

water 4年前 (2019-10-29) 1481℃ 0评论 0喜欢

Devops

Devops
最近老是碰到这个名词,所以想了解一下这个到底是撒玩意? DevOps(Development和Operations的组合词)是一组过程、方法与系统的统称,用于促进开发(应用程序/软件工程)、技术运营和质量保障(QA)部门之间的沟通、协作与整合。它是一种重视“软件开发人员(...

water 5年前 (2019-10-21) 2530℃ 0评论 2喜欢

下一代的微服务架构基础是ServiceMesh?

下一代的微服务架构基础是ServiceMesh?
今年,ServiceMesh(服务网格) 概念在社区里头非常火,有人提出 2018 年是 ServiceMesh 年,还有人提出 ServiceMesh 是下一代的微服务架构基础。作为架构师,如果你现在还不了解 ServiceMesh 的话,是否感觉有点落伍了? 那么到底...

water 5年前 (2019-09-06) 1714℃ 0评论 0喜欢

大数据文件格式揭秘:Parquet、Avro、ORC

大数据文件格式揭秘:Parquet、Avro、ORC
Parquet、Avro、ORC格式 相同点 基于Hadoop文件系统优化出的存储结构 提供高效的压缩 二进制存储格式 文件可分割,具有很强的伸缩性和并行处理能力 使用schema进行自我描述 属于线上格式,可以在Hadoop节点之间传递数据   不同点 ...

water 5年前 (2019-09-04) 3424℃ 0评论 2喜欢

什么样的大数据平台架构,才是最适合你的?

什么样的大数据平台架构,才是最适合你的?
技术最终为业务服务,没必要一定要追求先进性,各个企业应根据自己的实际情况去选择自己的技术路径。   它不一定具有通用性,但从一定程度讲,这个架构可能比BAT的架构更适应大多数企业的情况,毕竟,大多数企业,数据没到那个份上,也不可能完全自研,商业和开源的结合可能更好...

water 5年前 (2019-09-03) 1889℃ 0评论 1喜欢

云计算和虚拟化

云计算和虚拟化
作者:Bright Liao链接:https://www.zhihu.com/question/35425470/answer/62993113来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 1. 基于虚拟机的虚拟化和基于容器的...

water 5年前 (2019-08-27) 1866℃ 0评论 1喜欢

如何看待yandex开源clickhouse这个列式文档数据库?

如何看待yandex开源clickhouse这个列式文档数据库?
欧阳辰《Druid实时大数据分析》作者,”互联居”作者编辑推荐144 人赞同了该回答作者:欧阳辰链接:彪悍开源的分析数据库-ClickHouse – 互联居 – 知乎专栏来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商...

water 5年前 (2019-08-27) 3151℃ 0评论 2喜欢

系统分层(基础层、平台层、应用层和接入层)

系统分层(基础层、平台层、应用层和接入层)
通常来说,我们可以把系统分成四层:基础层、平台层、应用层和接入层。基础层就是我们的机器、网络和存储设备等。平台层就是我们的中间件层,Tomcat、MySQL、Redis、Kafka之类的软件。应用层就是我们的业务软件,比如,各种功能的服务。接入层就是接入用户请求的网关、负载均衡...

water 5年前 (2019-08-26) 18349℃ 0评论 51喜欢

SSDB与Redis的区别

SSDB与Redis的区别
SSDB 是一个 C++ 开发的 NoSQL 数据库, 使用 Google 公司开源的 LevelDB 引擎作为底层的存储引擎. Redis 是一个 C 语言开发的内存 NoSQL 数据库。SSDB 采用 New BSD License 许可协议,...

water 5年前 (2019-08-08) 1743℃ 0评论 0喜欢

K8s为何需要Istio?较为深入地讨论 Istio——其历史发展、设计理念、核心功能原理及运行流程

K8s为何需要Istio?较为深入地讨论 Istio——其历史发展、设计理念、核心功能原理及运行流程
Istio 作为目前众多 Service Mesh 中最闪耀的新星,他到底有哪些闪光点和功能?我们又为什么要选择使用它呢?本篇文章分别从如下五个方面简单地介绍了 Istio。它们分别是:Istio 的起源、设计目标、核心功能和部分功能的原理及流程。希望本篇文章能让您快速了解什么...

water 5年前 (2019-08-07) 2118℃ 1评论 1喜欢

什么是Serverless架构和FaaS函数即服务?

什么是Serverless架构和FaaS函数即服务?
Serverless架构 Serverless(无服务器架构)指的是由开发者实现的服务端逻辑运行在无状态的计算容器中,它由事件触发, 完全被第三方管理,其业务层面的状态则被开发者使用的数据库和存储资源所记录。 本文首发于 什么是serverless架构?-...

water 5年前 (2019-08-07) 7164℃ 0评论 17喜欢

你需要每天写代码吗?

你需要每天写代码吗?
本文由码农网 – 小峰原创翻译,转载请看清文末的转载要求,欢迎参与我们的付费投稿计划! 就像运动员每天锻炼一样,每天练习写代码可以成就更优秀的你。 最近我看过的博客,基本上每篇都有提到,“你需要每天写代码”。什么主题不重要,关键是要养成每天写代码的好习惯。...

water 5年前 (2019-07-30) 1568℃ 0评论 0喜欢

怎么锻炼代码工程能力

怎么锻炼代码工程能力
作者:边城浪子链接:https://www.zhihu.com/question/26720916/answer/409199975来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 首先让我们看一看刚入软件公司会出现的情况:1. ...

water 5年前 (2019-07-30) 2246℃ 0评论 0喜欢

设计图都不会画,还想做”架构师“?

设计图都不会画,还想做”架构师“?
什么是系统架构师? 系统架构师是一个既需要掌控整体又需要洞悉局部瓶颈并依据具体的业务场景给出解决方案的团队领导型人物。一个架构师得需要足够的想像力,能把各种目标需求进行不同维度的扩展,为目标客户提供更为全面的需求清单。 架构师在软件开发的整个过程中起着很重要的作用。...

water 5年前 (2019-07-29) 1854℃ 0评论 0喜欢

分布式ID生成器的解决方案总结

分布式ID生成器的解决方案总结
在互联网的业务系统中,涉及到各种各样的ID,如在支付系统中就会有支付ID、退款ID等。那一般生成ID都有哪些解决方案呢?特别是在复杂的分布式系统业务场景中,我们应该采用哪种适合自己的解决方案是十分重要的。下面我们一一来列举一下,不一定全部适合,这些解决方案仅供你参考,或许对你有...

water 5年前 (2019-07-26) 1794℃ 0评论 0喜欢

神奇的HyperLogLog算法

神奇的HyperLogLog算法
基数计数基本概念 基数计数(cardinality counting)通常用来统计一个集合中不重复的元素个数,例如统计某个网站的UV,或者用户搜索网站的关键词数量。数据分析、网络监控及数据库优化等领域都会涉及到基数计数的需求。 要实现基数计数,最简单的做法是记录集合中所有不重复的...

water 5年前 (2019-07-05) 2928℃ 0评论 0喜欢

状态机

状态机
状态机 状态机,表示若干个状态,以及在这些状态之间的转义和动作的模型。1 状态机是一个离散数学模型。给定一个输入集合,根据对输入的接受次序来决定一个输出集合。 有限状态机 无限状态机 一般认为无限状态机很好,因为这表示计算能力更强,但是有限状态理论和模型在...

water 5年前 (2019-05-16) 3408℃ 0评论 1喜欢

频繁项集与关联规则 FP-growth 的原理和实现

频繁项集与关联规则 FP-growth 的原理和实现
本文将介绍机器学习领域经典的 FP-growth(Frequent Pattern Growth)模型,它是目前业界经典的频繁项集和关联规则挖掘的算法。相比于 Apriori 模型,FP-growth 模型只需要扫描数据库两次,极大得减少了数据读取次数并显著得提升了算法效率。您将...

water 5年前 (2019-05-14) 2553℃ 0评论 1喜欢

数据挖掘系列关联规则挖掘基本概念与Aprior算法

数据挖掘系列关联规则挖掘基本概念与Aprior算法
关联规则挖掘在电商、零售、大气物理、生物医学已经有了广泛的应用,本篇文章将介绍一些基本知识和Aprori算法。 啤酒与尿布的故事已经成为了关联规则挖掘的经典案例,还有人专门出了一本书《啤酒与尿布》,虽然说这个故事是哈弗商学院杜撰出来的,但确实能很好的解释关联规则挖掘的原理。我们这...

water 5年前 (2019-05-14) 2412℃ 0评论 0喜欢