mongodb大數據統計

⑴ 如何在Mongodb集合中統計去重之後的數據

比方說我們有個Mongodb集合，

以這個簡單的集合為例，我們需要集合中包含多少不同的手機號碼，首先想到的應該就是使用distinct關鍵字，

db.tokencaller.distinct('Caller').length

如果想查看具體的而不同的手機號碼，那麼可以省略後面的length屬性，因為db.tokencaller.distinct('Caller')返回的是由所有去重手機號碼組成的數組。

但是，這種方式對於所有情況都是滿足的嘛？並不如此，如果要統計的集合記錄數較大，如千萬級別的，那麼在這么統計的時候往往會報10044錯誤，提示信息「exception : distinct too big , 16mb cap」. 後面我們將通過其他方式進行解決。

另外一種方式可以使用runCommand結合distinct進行使用，

db.runCommand({"distinct":"tokencaller","key":"Caller"})

可見在values上顯示了去重之後的手機號碼，，看結果是一個json格式的，於是嘗試了下看看能不能取出values的大小，因為如果對於大數據量的集合來說，直接顯示去重的號碼明顯不合適，於是嘗試了下面的寫法：

發現是可以的，於是對大數據量使用了這種方式看看是否能取出結果，發現不存在length屬性，想了想應該跟mongodb的客戶端版本有關系吧，還待驗證！！！

兩種方式都不行，於是試了下mapRece方式，具體如下：

然後我們會發現，他會將查詢出來的結果輸出到一個稱為「callerstatis」的結合，如下所示：

然後使用db.callerstatis.count()就可以知道有多少不同的手機號碼了。

使用這種方式，我們同樣在大數據量的集合上試了一下，可惜還是失敗了！！！！（桑心T_T)，如果有誰有好的方法，麻煩也告訴我一下，小的感激不盡啊^_^

如果您對我的技術專欄文章感興趣並支持我繼續深入的寫下去，您可以掃碼支持我，畢竟英雄惜英雄嘛，不管多少我都真心的感謝您，畢竟都是對我勞動成果的認可，謝謝(^_^)。。。

⑵ 大數據分析工具哪家比較好

大數據分析工具比較好的有Python數據分析、DataV數據分析、Cloudera數據分析、MongoDBMongoDB數據分析、Talend數據分析等

1、Python數據分析

Python是一種面向對象、解釋型計算機程序設計語言。Python語法簡潔而清晰，閱讀一個良好的Python程序就感覺像是在讀英語一樣。能夠專注於解決問題而不是去搞明白語言本身。另外具有豐富和強大的類庫，python能支持幾乎所有統計分析和建模的工作。

4、MongoDBMongoDB數據分析

MongoDBMongoDB是最受歡迎的大數據資料庫，因為適用於管理經常變化的數據：非結構化數據，大數據常常是非結構化數據。當下時代大數據分析是非常必要的，而MongoDBMongoDB數據分析也是做得非常好的。

5、Talend數據分析

Talend作為一家提供廣泛解決方案的公司，Talend的產品圍繞其集成平台而建，該平台集大數據、雲、應用程序、實時數據集成、數據准備和主數據管理於一體。大數據集往往是非結構化、無組織的，因此需要某種清理或轉換。當下，數據可能來自任何地方。

⑶ SQLserver2005 和 mongodb的大數據量的處理

你們老抄板也是沒事忽悠你啊! 你上當了 現在不是四月!
--------------------------------
MongoDB 是nosql 的一種存儲資料庫. 也就是說 所有業務都要轉化.

而且這種分布式並沒有帶來什麼好處.況且即使是銀行,數據量是你的萬億倍,也沒聽說用mongodb啊!

-------------------------
這個問題其實很簡單,將記錄表 按時間分區 即可.
你可以網路一下 sql2005 表分區
然後你將磁碟進行鏡像分區 做 分布式存儲 這不比你改存儲方式強啊!
學過高中數學 劃分 分界點 應該很容易.

⑷ nodejs怎麼快速統計mongdb中數據量

nodejs操作mongodb查詢所有數據的方法：
var MongoClient = require('mongodb').MongoClient;
var DB_CONN_STR = 'mongodb://localhost:27017/wilsondb1';

var selectData = function(db, callback) {
//連接到表
var collection = db.collection('tb2');
//查詢數據
var whereStr = {"name":'wilson001'};
collection.find(whereStr).toArray(function(err, result) {
if(err)
{
console.log('Error:'+ err);
return;
}
callback(result);
});
}

MongoClient.connect(DB_CONN_STR, function(err, db) {
console.log("連接成功！");
selectData(db, function(result) {
console.log(result);
db.close();
});
});

運行結果：

⑸ mongodb千萬級別的數據分析怎麼做

統計的話用相關分析函數，一般這種級別的數據偏向於做報表展示。不能滿足需求就寫代碼分布式計算吧

⑹ 大數據分析工具有哪些

大數據分析工具有：

1、Hadoop：它是最流行的數據倉庫，可以輕松存儲大量數據。

2、MongoDB：它是領先的資料庫軟體，可以快速有效地分析數據。

3、Spark: 最可靠的實時數據處理軟體，可以有效地實時處理大量數據。

4、Cassandra：最強大的資料庫，可以完美地處理數據塊

5、Python：一流的編程語言，可輕松執行幾乎所有大數據分析操作。

不同類型的大數據分析是：

1、描述性分析：它將過去的數據匯總成人們易於閱讀和理解的形式。使用此分析創建與公司收入、銷售額、利潤等相關的報告非常容易。除此之外，它在社交媒體指標方面也非常有益。

2、診斷分析：它首先處理確定發生問題的原因。它使用了各種技術，例如數據挖掘、機器學習等。診斷分析提供對特定問題的深入洞察。

3、預測分析：這種分析用於對未來進行預測。它通過使用數據挖掘、機器學習、數據分析等各種大數據技術來使用歷史數據和當前數據。這些分析產生的數據用於不同行業的不同目的。

4、規范分析：當想要針對特定問題制定規定的解決方案時，會使用這些分析。它適用於描述性和預測性分析，以獲得最准確的結果。除此之外，它還使用人工智慧和機器學習來獲得最佳結果。

⑺ 求解決，使用Spring-data-mongodb寫出根據日期時間（按日、周、月、年）進行分組統計數據量，急～在線等

最近在做mongoDB的統計, 有需求是

按照一天24小時分組,

按照一周的7天分組,

按照一個月30天分組,

按照一年12個月分組統計,

mongodb 入庫的時間欄位是 2016-12-12 這樣的字元串格式,並沒有用mongodb的格式UTC,有時差問題.

思路是,只能通過mongodb的 管道 進行層層篩選, 分組的時候使用mongodb的自帶函數,$substr 進行截取進行分組.

db.advPlaysDetails.aggregate([
{
$match: {advId:"1"}
},
{
$match: {playTime:{$gt: "2016-11-29",$lt:"2016-11-31" }}
},
{
$project :{new_time_stamp :{$substr :["$playTime",11,2]},"_id":0,playTimes:1,}

},
{
$group : {_id :"$new_time_stamp", playTimes : {$sum : "$playTimes"}}

}

])
$substr 第一個參數 要切割的欄位, 第二個參數:從第幾個欄位開始切, 第三個欄位:切幾個.

至於統計出來, 比如,一周里,可能有一兩天根本就沒有數據這種情況,可以實現弄一個7天的集合或者數組,里邊數據默認為0 或其他初始值. 至於一個月多少天,不能定死30,應該用Calendar自己去算

⑻ 為什麼MongoDB適合大數據的存儲

Mongo是一個高性能，開源，無模式的文檔型資料庫，它在許多場景下可用於替代傳統的關系型資料庫或鍵/值存儲方式。Mongo使用C++開發，提供了以下功能：
◆面向集合的存儲：適合存儲對象及JSON形式的數據。
◆動態查詢：Mongo支持豐富的查詢表達式。查詢指令使用JSON形式的標記，可輕易查詢文檔中內嵌的對象及數組。
◆完整的索引支持：包括文檔內嵌對象及數組。Mongo的查詢優化器會分析查詢表達式，並生成一個高效的查詢計劃。
◆查詢監視：Mongo包含一個監視工具用於分析資料庫操作的性能。
◆復制及自動故障轉移：Mongo資料庫支持伺服器之間的數據復制，支持主-從模式及伺服器之間的相互復制。復制的主要目標是提供冗餘及自動故障轉移。
◆高效的傳統存儲方式：支持二進制數據及大型對象（如照片或圖片）。
◆自動分片以支持雲級別的伸縮性（處於早期alpha階段）：自動分片功能支持水平的資料庫集群，可動態添加額外的機器。
MongoDB的主要目標是在鍵/值存儲方式（提供了高性能和高度伸縮性）以及傳統的RDBMS系統（豐富的功能）架起一座橋梁，集兩者的優勢於一身。根據官方網站的描述，Mongo適合用於以下場景：
◆網站數據：Mongo非常適合實時的插入，更新與查詢，並具備網站實時數據存儲所需的復制及高度伸縮性。
◆緩存：由於性能很高，Mongo也適合作為信息基礎設施的緩存層。在系統重啟之後，由Mongo搭建的持久化緩存層可以避免下層的數據源過載。
◆大尺寸，低價值的數據：使用傳統的關系型資料庫存儲一些數據時可能會比較昂貴，在此之前，很多時候程序員往往會選擇傳統的文件進行存儲。
◆高伸縮性的場景：Mongo非常適合由數十或數百台伺服器組成的資料庫。Mongo的路線圖中已經包含對MapRece引擎的內置支持。
◆用於對象及JSON數據的存儲：Mongo的BSON數據格式非常適合文檔化格式的存儲及查詢。
自然，MongoDB的使用也會有一些限制，例如它不適合：
◆高度事務性的系統：例如銀行或會計系統。傳統的關系型資料庫目前還是更適用於需要大量原子性復雜事務的應用程序。
◆傳統的商業智能應用：針對特定問題的BI資料庫會對產生高度優化的查詢方式。對於此類應用，數據倉庫可能是更合適的選擇。
◆需要SQL的問題
MongoDB支持OS X、Linux及Windows等操作系統，並提供了Python，PHP，Ruby，Java及C++語言的驅動程序，社區中也提供了對Erlang及.NET等平台的驅動程序。