mongoDB去重操作性能指标

最近刚完成mongoDB的压力测试,单集合内拥有2亿条数据。2亿多的数据量跑一次聚合操作会是怎么样的结果呢? 我们的测试环境还是老机器配置(5台分片集群、至强3.3GHZ、16G内存),集合依据上篇文章的结果不做索引。而实验的聚合操作可参考以前的文章。使用3个stage操作将集合中重复的用户统计。 db. »

MongoDB Aggregation实践

内容为依据实验室项目需求来使用MongoDB聚合操作来将处理的数据存到集合中。 数据聚合 mongoDB的数据聚合使用了聚合管道(Aggregation Pipeline)和MapReduce。MapReduce将数据分两部分进行处理。首先是map步骤,以key/vaule的形式转换输入的文档并以key值来进行分组。然后是reduce步骤,在这个阶段中以key来获取最终结果。 »