欢迎您光临本小站。希望您在这里可以找到自己想要的信息。。。
  • 手机端App数据爬取->APP爬虫
  • 读书益处
  • 网站公告

周热门排行

    java

    内存映射文件原理探索

    内存映射文件原理探索
    首先说说这篇文章要解决什么问题? 1.虚拟内存与内存映射文件的区别与联系. 2.内存映射文件的原理. 3.内存映射文件的效率. 4.传统IO和内存映射效率对比. 虚拟内存与内存映射文件的区别与联系  二者的联系 虚拟内存和内存映射文件都是...

    water 2周前 (07-05) 55℃ 0评论 0喜欢

    架构&设计模式

    git 添加 gitignore 规则无效

    git 添加 gitignore 规则无效
    正常情况 如果在项目开始的时候配置了.gitignore文件,对一些文件进行忽略。 进行版本控制的时候就会忽略对这些文件的跟踪,这是正常情况。 特殊情况 但是有一种情况是,项目开始的时候 没有将一些无关文件配置进 .gitignore里面。导致文件已经进行跟踪了,但是目...

    water 3周前 (06-29) 41℃ 0评论 0喜欢

    java

    ConcurrentHashMap使用要点

    ConcurrentHashMap使用要点
    ConcurrentHashMap的简要总结: 1、public V get(Object key)不涉及到锁,也就是说获得对象时没有使用锁; 2、put、remove方法要使用锁,但并不一定有锁争用,原因在于ConcurrentHashMap将缓存的变量分到多个Segment,...

    water 1个月前 (06-14) 81℃ 0评论 0喜欢

    Linux

    关于linux下tmp文件夹

    关于linux下tmp文件夹
    关于linux下tmp文件夹,正如tmp temporary file 临时文件夹。   (1) 既然是临时文件夹,那么这个文件夹中的内容就会被清除,那么为什么我重新启动电脑之后,此文件夹中的内容还会存在呢?详细内容可以参考这篇文章http://www.ops...

    water 1个月前 (06-08) 110℃ 0评论 0喜欢

    架构&设计模式

    云搜索相关功能设置整理

    云搜索相关功能设置整理
    云搜索系统设置 1. 应用基本信息(名称、备注) 2. 数据存储量 (对应需要多少主分片) 3. 吞吐量tps (对应需要多少副本) 4. 数据源(topic、tag) 5. 定义应用结构(template) 6. 索引字段(倒排字段,用于query)及属性字段(正排字段用于过滤...

    water 2个月前 (05-25) 92℃ 0评论 0喜欢

    大数据云计算

    Hadoop与Spark的区别

    Hadoop与Spark的区别
    概述        谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有什么异同。 解决问题的层面不一样 &nbs...

    water 2个月前 (05-16) 91℃ 0评论 0喜欢

    知识点

    计算机核心期刊新排名

    计算机核心期刊新排名
    八大学报 1.计算机学报 2.软件学报 3.计算机科学与技术学报(JCST) 4.计算机研究与发展 5.自动化学报 6.电子学报 7.通信学报 8.中国科学 被SCI检索的国外期刊(顶级会议) 新排名 2004部分核心期刊名单(自动化、计算机部分与无线电、电信部分) 自...

    water 2个月前 (05-09) 237℃ 0评论 0喜欢

    数据结构算法

    N-最短路径分词算法

    N-最短路径分词算法
    NSP分词算法是句子粗分的基本算法,在中科院计算所的文章中有详细描述。但是看了不甚明白,今天实现了这个算法,主要用的还是图论的基本算法Dijkstra算法。 将分词转化为图的最短路径问题假设要切分一下句子 :主席出现在这里。可将其转化为以下的图: 从而,找出这个句子的最短切分的...

    water 2个月前 (05-09) 130℃ 0评论 0喜欢

    数据结构算法

    中文分词算法简介

    中文分词算法简介
    什么是中文分词 与大部分印欧语系的语言不同,中文在词与词之间没有任何空格之类的显示标志指示词的边界。因此,中文分词是很多自然语言处理系统中的基础模块和首要环节。 下面以jieba的示例给读者一个对分词的感性认识。 【全模式】: 我/ 来到/ 北京/&...

    water 2个月前 (05-09) 142℃ 0评论 0喜欢

    架构&设计模式

    哪种编程语言好?大神为你分析 Go、Java、C、C++ 等主流编程语言

    哪种编程语言好?大神为你分析 Go、Java、C、C++ 等主流编程语言
    文/赵玉锡 2004 年进入华为,一直在消息产品开发一线耕耘,今年下半年转入华为融合视频业务。曾参与多个重要项目与重要版本的设计、重构与开发,辗转多个语言:长期从事 C、C++ 开发,Java 与 Python 也有约 30K+ 代码的开发经验,目前正在基于 Go 语言开发,对 ...

    water 2个月前 (05-09) 155℃ 0评论 0喜欢

    架构&设计模式

    Solr vs. Elasticsearch谁是开源搜索引擎王者

    Solr vs. Elasticsearch谁是开源搜索引擎王者
    Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。 它可以用于全文搜索,结构化搜索以及分析,当然你也可以将这三者进行组合。 Elasticsearch是一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎,...

    water 2个月前 (05-09) 156℃ 0评论 1喜欢

    架构&设计模式

    分布式搜索和分析引擎对比

    分布式搜索和分析引擎对比
    当前是云计算和数据快速增长的时代,今天的应用程序正以PB级和ZB级的速度生产数据,但人们依然在不停的追求更高更快的性能需求。随着数据的堆积,如何快速有效的搜索这些数据,成为对后端服务的挑战。本文,我们将比较业界两个最流行的开源搜索引擎,Solr和ElasticSearch。两者都...

    water 2个月前 (05-09) 152℃ 0评论 0喜欢

    大数据云计算

    新一代列式存储格式Parquet

    新一代列式存储格式Parquet
    Apache Parquet是Hadoop生态圈中一种新型列式存储格式,它可以兼容Hadoop生态圈中大多数计算框架(Hadoop、Spark等),被多种查询引擎支持(Hive、Impala、Drill等),并且它是语言和平台无关的。Parquet最初是由Twitter和Clo...

    water 2个月前 (05-09) 167℃ 0评论 0喜欢

    架构&设计模式

    分布式协议gossip介绍

    分布式协议gossip介绍
    分布式系统中,即便是一个小型的集群,也需要通过一个机制来维护各个节点或服务的状态一致性和数据一致性。zab、paxos是使用较早的协议,后来出现了RAFT协议,这些主要通过RPC的机制进行节点连接,因此主要用于局域网或数据中心内部。Gossip(意:八卦、流言)支持p2p协议,是...

    water 2个月前 (05-09) 111℃ 0评论 0喜欢

    大数据云计算

    一文读懂 Apache Kudu

    一文读懂 Apache Kudu
    前言 Apache Kudu是由Cloudera开源的存储引擎,可以同时提供低延迟的随机读写和高效的数据分析能力。Kudu支持水平扩展,使用Raft协议进行一致性保证,并且与Cloudera Impala和Apache Spark等当前流行的大数据查询和分析工具结合紧密。本文将为...

    water 2个月前 (05-09) 146℃ 0评论 0喜欢

    架构&设计模式

    画流程图,选Visio还是选亿图Edraw?

    画流程图,选Visio还是选亿图Edraw?
    产品经理工作中,画流程图是必经的一环。对于工具狂魔来说,和介于产品经理的通病,只要能画流程图的工具,总想体验一番。 我用过的流程图工具有Visio、MindManager、亿图图示专家(Edraw Max)、PPT、Axure等。 首先,用Axure画流程图,对我来说,真废时间啊...

    water 2个月前 (05-07) 233℃ 0评论 0喜欢

    大数据云计算

    HDFS文件系统

    HDFS文件系统
    HDFS文件系统   一、HDFS设计     HDFS为hadoop的核心组件,为hadoop底层的文件存储系统。它通常运行在商用硬件集群上,用来存储超大文件、大规模文件。     1、超大文件     &q...

    water 3个月前 (04-28) 97℃ 0评论 0喜欢