欢迎您光临本小站。希望您在这里可以找到自己想要的信息。。。

 分类:大数据云计算

大数据文件格式揭秘:Parquet、Avro、ORC

大数据文件格式揭秘:Parquet、Avro、ORC
Parquet、Avro、ORC格式 相同点 基于Hadoop文件系统优化出的存储结构 提供高效的压缩 二进制存储格式 文件可分割,具有很强的伸缩性和并行处理能力 使用schema进行自我描述 属于线上格式,可以在Hadoop节点之间传递数据   不同点 ...

water 2周前 (09-04) 41℃ 0评论 0喜欢

什么样的大数据平台架构,才是最适合你的?

什么样的大数据平台架构,才是最适合你的?
技术最终为业务服务,没必要一定要追求先进性,各个企业应根据自己的实际情况去选择自己的技术路径。   它不一定具有通用性,但从一定程度讲,这个架构可能比BAT的架构更适应大多数企业的情况,毕竟,大多数企业,数据没到那个份上,也不可能完全自研,商业和开源的结合可能更好...

water 2周前 (09-03) 81℃ 0评论 0喜欢

云计算和虚拟化

云计算和虚拟化
作者:Bright Liao链接:https://www.zhihu.com/question/35425470/answer/62993113来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 1. 基于虚拟机的虚拟化和基于容器的...

water 3周前 (08-27) 70℃ 0评论 0喜欢

如何看待yandex开源clickhouse这个列式文档数据库?

如何看待yandex开源clickhouse这个列式文档数据库?
欧阳辰《Druid实时大数据分析》作者,”互联居”作者编辑推荐144 人赞同了该回答作者:欧阳辰链接:彪悍开源的分析数据库-ClickHouse – 互联居 – 知乎专栏来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商...

water 3周前 (08-27) 414℃ 0评论 0喜欢

频繁项集与关联规则 FP-growth 的原理和实现

频繁项集与关联规则 FP-growth 的原理和实现
本文将介绍机器学习领域经典的 FP-growth(Frequent Pattern Growth)模型,它是目前业界经典的频繁项集和关联规则挖掘的算法。相比于 Apriori 模型,FP-growth 模型只需要扫描数据库两次,极大得减少了数据读取次数并显著得提升了算法效率。您将...

water 4个月前 (05-14) 359℃ 0评论 0喜欢

数据挖掘系列关联规则挖掘基本概念与Aprior算法

数据挖掘系列关联规则挖掘基本概念与Aprior算法
关联规则挖掘在电商、零售、大气物理、生物医学已经有了广泛的应用,本篇文章将介绍一些基本知识和Aprori算法。 啤酒与尿布的故事已经成为了关联规则挖掘的经典案例,还有人专门出了一本书《啤酒与尿布》,虽然说这个故事是哈弗商学院杜撰出来的,但确实能很好的解释关联规则挖掘的原理。我们这...

water 4个月前 (05-14) 244℃ 0评论 0喜欢

Apache Beam 实战指南之基础入门

Apache Beam 实战指南之基础入门
前言:大数据 2.0 时代不期而至 随着大数据 2.0 时代悄然到来,大数据从简单的批处理扩展到了实时处理、流处理、交互式查询和机器学习应用。早期的处理模型 (Map/Reduce) 早已经力不从心,而且也很难应用到处理流程长且复杂的数据流水线上。另外,近年来涌现出诸多大数据应用...

water 5个月前 (04-22) 285℃ 0评论 0喜欢

MapReduce和Tez对比

MapReduce和Tez对比
MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)"。 Tez是Apache开源的支持DAG作业的计算框架,它直接源于MapReduce框架,核心思想是将Map和Re...

water 6个月前 (03-28) 255℃ 0评论 0喜欢

大数据初学者应该这样学!

大数据初学者应该这样学!
很多人都知道大数据很火,就业很好,薪资很高,想往大数据方向发展。但该学哪些技术,学习路线是什么样的呢?用不用参加大数据培训呢?如果自己很迷茫,为了这些原因想往大数据方向发展,也可以,那么大讲台老师就想问一下,你的专业是什么,对于计算机/软件,你的兴趣是什么?是计算机专业,对操作系...

water 6个月前 (03-27) 231℃ 0评论 0喜欢

Cloudera CDH 、Hortonworks DHP和MapR比较

Cloudera CDH 、Hortonworks DHP和MapR比较
目前啊,都知道,大数据集群管理方式分为手工方式(Apache hadoop)和工具方式(Ambari + hdp 和Cloudera Manger + CDH)。 手工部署呢,需配置太多参数,但是,好理解其原理,建议初学这样做,能学到很多。该方式啊,均得由用户执行,细节太多,切当...

water 6个月前 (03-12) 615℃ 0评论 0喜欢

Hadoop之MapReduce的两种任务模式

Hadoop之MapReduce的两种任务模式
MapReduce按照任务大小和设置的不同,提供了两种任务模式: 老一些的版本还有一个JobTracker的实现类,即:classic。用于和MapReduce1.X兼容用的,高一些的版本已经没有这个实现类了。 一,本地模式(LocalJobRunner实现) mapreduce...

water 7个月前 (03-07) 238℃ 0评论 0喜欢

Kafka Connect简介

Kafka Connect简介
Kafka 0.9+增加了一个新的特性Kafka Connect,可以更方便的创建和管理数据流管道。它为Kafka和其它系统创建规模可扩展的、可信赖的流数据提供了一个简单的模型,通过connectors可以将大数据从其它系统导入到Kafka中,也可以从Kafka中导出到其它系统。...

water 1年前 (2018-09-06) 595℃ 0评论 0喜欢

Hadoop与Spark的区别

Hadoop与Spark的区别
概述        谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有什么异同。 解决问题的层面不一样 &nbs...

water 1年前 (2018-05-16) 483℃ 0评论 0喜欢

新一代列式存储格式Parquet

新一代列式存储格式Parquet
Apache Parquet是Hadoop生态圈中一种新型列式存储格式,它可以兼容Hadoop生态圈中大多数计算框架(Hadoop、Spark等),被多种查询引擎支持(Hive、Impala、Drill等),并且它是语言和平台无关的。Parquet最初是由Twitter和Clo...

water 1年前 (2018-05-09) 771℃ 0评论 0喜欢

一文读懂 Apache Kudu

一文读懂 Apache Kudu
前言 Apache Kudu是由Cloudera开源的存储引擎,可以同时提供低延迟的随机读写和高效的数据分析能力。Kudu支持水平扩展,使用Raft协议进行一致性保证,并且与Cloudera Impala和Apache Spark等当前流行的大数据查询和分析工具结合紧密。本文将为...

water 1年前 (2018-05-09) 690℃ 0评论 0喜欢

HDFS文件系统

HDFS文件系统
HDFS文件系统   一、HDFS设计     HDFS为hadoop的核心组件,为hadoop底层的文件存储系统。它通常运行在商用硬件集群上,用来存储超大文件、大规模文件。     1、超大文件     &q...

water 1年前 (2018-04-28) 723℃ 0评论 0喜欢

如何在hadoop中控制map的个数

如何在hadoop中控制map的个数
    hadooop提供了一个设置map个数的参数mapred.map.tasks,我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数,并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值,最终map...

water 2年前 (2018-03-06) 607℃ 0评论 0喜欢

CDH安装与配置

CDH安装与配置
需要的安装包:     CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel     CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1 &...

water 2年前 (2018-02-11) 559℃ 0评论 0喜欢

流式大数据处理的三种框架:Storm,Spark和Flink

流式大数据处理的三种框架:Storm,Spark和Flink
storm、spark streaming、flink都是开源的分布式系统,具有低延迟、可扩展和容错性诸多优点,允许你在运行数据流代码时,将任务分配到一系列具有容错能力的计算机上并行运行,都提供了简单的API来简化底层实现的复杂程度。 Apache Storm 在Storm中,先...

water 2年前 (2017-12-12) 1457℃ 0评论 0喜欢