mongoDB去重操作性能指标
最近刚完成mongoDB的压力测试,单集合内拥有2亿条数据。2亿多的数据量跑一次聚合操作会是怎么样的结果呢? 我们的测试环境还是老机器配置(5台分片集群、至强3.3GHZ、16G内存),集合依据上篇文章的结果不做索引。而实验的聚合操作可参考以前的文章。使用3个stage操作将集合中重复的用户统计。 db. »
最近刚完成mongoDB的压力测试,单集合内拥有2亿条数据。2亿多的数据量跑一次聚合操作会是怎么样的结果呢? 我们的测试环境还是老机器配置(5台分片集群、至强3.3GHZ、16G内存),集合依据上篇文章的结果不做索引。而实验的聚合操作可参考以前的文章。使用3个stage操作将集合中重复的用户统计。 db. »
书接上回,在了解作用域和闭包的内容后,我们继续学习JS两个重要的部分:this关键字和对象原型。我们首先看个例子。如下代码,我们想通过this获得obj对象的成员变量id。 var obj = { id: 'awesome', cool: »
标签的语义认知是HTML5中的一个内容,下图就算HTML5中的元素。 按照元素的默认表现形式还可以分为:块、行内(内联)、内联块3类元素。 块元素:<div>、<p> »
这本书是翻译的Kyle Simpson的《You Don't Know JS》上半部分。主要包括:作用域和闭包、this和对象原型。 第一部分 作用域和闭包 »
为什么迁移到ECS 作为国内模仿AWS做得最好的阿里云,我是一直很满意的。其ECS在以前的项目中也有用到,自己的个人博客还可以使用ACE,我也写过相关部署文章。但一个月前,我收到了ACE下线的邮件。官方给出的建议是迁移到ECS,但ECS的月花费大约为40RMB。思前顾后做了两手准备:1. »
这周通过docker将整个技术栈更新一下,首先介绍Docker的基本概念。 Docker是在LXC上构建的容器引擎。我这里主要讲起当作更加灵巧的虚拟机用。Docker主要有如下4个概念,简单介绍一下。 镜像:类似虚拟机快照,大多都是在现有工具镜像上创建新镜像。我今天使用的都是官方的镜像。 容器:从镜像中创建应用环境, »
这篇论文的主要内容是实现了要给日志分析的原型系统,其最底层使用OpenStack虚拟,数据存储层使用mongoDB。文中通过几个实验阐述了这一套架构的可扩展性和可行性。作者是上海交大的几个同学。我主要翻译相关技术内容,其研究实际背景和人称与原文可能多有所出入。论文地址 0. 摘要 网络监控数据可以提供与网络数据状态相关的信息。通过频繁的探针、 »
前述很多mongoDB集群的使用和性能优化,发现一些还有可以优化因子值得好好研究。本文首先补充一直没有提到但已经使用了好久的分片集群的知识,然后再贴上标题论文的翻译以引出分片集群优化的引子。 1. 分片集群 在《从MongoDB入门到编写数据库相关API》一文中提及了mongoDB的自动分片功能。分片就是将数据拆分,将其分散存放在不同的节点上的过程。这是数据库水平扩展( »
上周参加了北京的NodeParty,收获还是有的。先将学到的总结,并补充一些node.js的内容。 1. 全栈工程师之路 首先ppt奉上。演讲者为moajs的作者,moajs为其开发的web框架。moajs从原始的express框架中抽象出config、controller、 »
本周在2亿数据集上跑mapreduce(以下简称MR)和aggreation framework(AF)计算,但处理的速度非常慢。本文从索引入手寻找解决之道,针对这类问题进行简单的分析、实验。 1. 索引 »
上回说到采用mongoDB自带的Aggregation功能来处理数据,但我们发现当数据量大时(1000w records)执行时间非常长。并且处理数据的结果文档超过16MB时就会报错,当然可以使用了$out的操作符来结果集大小的限制。这篇mongoDB系列文章有详细的用法和比较,文末总结并提出:简单固定的聚合操作使用管道,但是对于复杂的、 »
内容为依据实验室项目需求来使用MongoDB聚合操作来将处理的数据存到集合中。 数据聚合 mongoDB的数据聚合使用了聚合管道(Aggregation Pipeline)和MapReduce。MapReduce将数据分两部分进行处理。首先是map步骤,以key/vaule的形式转换输入的文档并以key值来进行分组。然后是reduce步骤,在这个阶段中以key来获取最终结果。 »
mongoDB默认情况下是不需要身份认证的,但是处于生产环境安全的考虑,还是不能省去这一步的。本文将在这篇文章所述环境下部署带身份认证的mongoDB双副本集系统,具体内容包括了: 配置用户和身份验证 配置内部验证到副本集 mongo-connector的验证方法 1. 配置用户和身份认证 Web开发中,确保系统的安全也是后端开发任务之一。 »