mongodb大數據量

❶ 對於 Web 2.0 實時應用、大數據量，MongoDB 和 memcached + SQL 哪個性能更好、在國內比較容易僱工程師

Mongodb，分布式文檔存儲資料庫，由C++語言編寫，旨在為WEB應用提供可擴展的高性能數據存儲解決方案。MongoDB是一個高性能，開源，無模式的文檔型資料庫，是當前NoSql資料庫中比較熱門的一種。它在許多場景下可用於替代傳統的關系型資料庫或鍵/值存儲方式。Mongo使用C++開發。

7）使用高效的二進制數據存儲，包括大型對象(如視頻等)。

8）自動處理碎片，以支持雲計算層次的擴展性。

9）支持RUBY，PYTHON，java，C++，PHP，C#等多種語言。

10）文件存儲格式為BSON(一種JSON的擴展)。

11）可通過網路訪問。

❷ c# 驅動 查詢 MongoDB group 大數據量，導致MongoDB服務關閉

32bit的mongodb只能有2gb的容量。

❸ 為什麼MongoDB適合大數據的存儲

MongoDB文檔型行抄存儲行存儲讀寫程致都第襲列始列結束行存儲寫入性完消耗間比列存儲少並且能夠保證數據完整性缺點數據讀取程產冗餘數據少量數據影響忽略；數量能影響數據處理效率使用文檔詞似乎讓覺奇怪其實 文檔型數據模型真傳統意義文檔沒關系說文檔其實數據記錄記錄能夠包含數據類型內容進行自我描述

另外用文檔查詢檢索效率高使用資料庫帶許處：減少數據冗餘度節省數據存儲空間；實現數據資源充共享等等外資料庫技術用戶提供非簡便使用手段使用戶易於編寫關資料庫應用程序

❹ 為什麼MongoDB適合大數據的存儲

Mongo是一個高性能，開源，無模式的文檔型資料庫，它在許多場景下可用於替代傳統的關系型資料庫或鍵/值存儲方式。Mongo使用C++開發，提供了以下功能：
◆面向集合的存儲：適合存儲對象及JSON形式的數據。
◆動態查詢：Mongo支持豐富的查詢表達式。查詢指令使用JSON形式的標記，可輕易查詢文檔中內嵌的對象及數組。
◆完整的索引支持：包括文檔內嵌對象及數組。Mongo的查詢優化器會分析查詢表達式，並生成一個高效的查詢計劃。
◆查詢監視：Mongo包含一個監視工具用於分析資料庫操作的性能。
◆復制及自動故障轉移：Mongo資料庫支持伺服器之間的數據復制，支持主-從模式及伺服器之間的相互復制。復制的主要目標是提供冗餘及自動故障轉移。
◆高效的傳統存儲方式：支持二進制數據及大型對象（如照片或圖片）。
◆自動分片以支持雲級別的伸縮性（處於早期alpha階段）：自動分片功能支持水平的資料庫集群，可動態添加額外的機器。
MongoDB的主要目標是在鍵/值存儲方式（提供了高性能和高度伸縮性）以及傳統的RDBMS系統（豐富的功能）架起一座橋梁，集兩者的優勢於一身。根據官方網站的描述，Mongo適合用於以下場景：
◆網站數據：Mongo非常適合實時的插入，更新與查詢，並具備網站實時數據存儲所需的復制及高度伸縮性。
◆緩存：由於性能很高，Mongo也適合作為信息基礎設施的緩存層。在系統重啟之後，由Mongo搭建的持久化緩存層可以避免下層的數據源過載。
◆大尺寸，低價值的數據：使用傳統的關系型資料庫存儲一些數據時可能會比較昂貴，在此之前，很多時候程序員往往會選擇傳統的文件進行存儲。
◆高伸縮性的場景：Mongo非常適合由數十或數百台伺服器組成的資料庫。Mongo的路線圖中已經包含對MapRece引擎的內置支持。
◆用於對象及JSON數據的存儲：Mongo的BSON數據格式非常適合文檔化格式的存儲及查詢。
自然，MongoDB的使用也會有一些限制，例如它不適合：
◆高度事務性的系統：例如銀行或會計系統。傳統的關系型資料庫目前還是更適用於需要大量原子性復雜事務的應用程序。
◆傳統的商業智能應用：針對特定問題的BI資料庫會對產生高度優化的查詢方式。對於此類應用，數據倉庫可能是更合適的選擇。
◆需要SQL的問題
MongoDB支持OS X、Linux及Windows等操作系統，並提供了Python，PHP，Ruby，Java及C++語言的驅動程序，社區中也提供了對Erlang及.NET等平台的驅動程序。

❺ SQLserver2005 和 mongodb的大數據量的處理

你們老抄板也是沒事忽悠你啊! 你上當了 現在不是四月!
--------------------------------
MongoDB 是nosql 的一種存儲資料庫. 也就是說 所有業務都要轉化.

而且這種分布式並沒有帶來什麼好處.況且即使是銀行,數據量是你的萬億倍,也沒聽說用mongodb啊!

-------------------------
這個問題其實很簡單,將記錄表 按時間分區 即可.
你可以網路一下 sql2005 表分區
然後你將磁碟進行鏡像分區 做 分布式存儲 這不比你改存儲方式強啊!
學過高中數學 劃分 分界點 應該很容易.

❻ 大數據分析工具有哪些

大數據分析工具有：

1、Hadoop：它是最流行的數據倉庫，可以輕松存儲大量數據。

2、MongoDB：它是領先的資料庫軟體，可以快速有效地分析數據。

3、Spark: 最可靠的實時數據處理軟體，可以有效地實時處理大量數據。

4、Cassandra：最強大的資料庫，可以完美地處理數據塊

5、Python：一流的編程語言，可輕松執行幾乎所有大數據分析操作。

不同類型的大數據分析是：

1、描述性分析：它將過去的數據匯總成人們易於閱讀和理解的形式。使用此分析創建與公司收入、銷售額、利潤等相關的報告非常容易。除此之外，它在社交媒體指標方面也非常有益。

2、診斷分析：它首先處理確定發生問題的原因。它使用了各種技術，例如數據挖掘、機器學習等。診斷分析提供對特定問題的深入洞察。

3、預測分析：這種分析用於對未來進行預測。它通過使用數據挖掘、機器學習、數據分析等各種大數據技術來使用歷史數據和當前數據。這些分析產生的數據用於不同行業的不同目的。

4、規范分析：當想要針對特定問題制定規定的解決方案時，會使用這些分析。它適用於描述性和預測性分析，以獲得最准確的結果。除此之外，它還使用人工智慧和機器學習來獲得最佳結果。

❼ java中的mongoDB怎麼分頁,要代碼，數據量較大

List<BasicDBObject> result = new ArrayList<BasicDBObject>();

if (tableName.length() > 0) {

if (cursor == null) {

coll = db.getCollection(tableName);

cursor = coll.find().skip(skipNum).limit(num);

}

while (cursor.hasNext()) {

BasicDBObject o = (BasicDBObject) cursor.next();

result.add(o);

}

}

但是調用出現了問題：

我這樣查,
List<BasicDBObject> list1 = mongoDao.queryWithNum(LuceneTest.tableName, 100,100);

List<BasicDBObject> list2 = mongoDao.queryWithNum(LuceneTest.tableName, 200,100);

System.out.print("--結束,共" + list1.size() + "條---" + "--");

System.out.println(list2.size());

❽ 談談redis，memcache，mongodb的區別和具體應用場景

從以下幾個維度，對 redis、memcache、mongoDB 做了對比。
1、性能
都比較高，性能對我們來說應該都不是瓶頸。
總體來講，TPS 方面 redis 和 memcache 差不多，要大於 mongodb。
2、操作的便利性
memcache 數據結構單一。（key-value）
redis 豐富一些，數據操作方面，redis 更好一些，較少的網路 IO 次數，同時還提供 list，set，
hash 等數據結構的存儲。
mongodb 支持豐富的數據表達，索引，最類似關系型資料庫，支持的查詢語言非常豐富。
3、內存空間的大小和數據量的大小
redis 在 2.0 版本後增加了自己的 VM 特性，突破物理內存的限制；可以對 key value 設置過
期時間（類似 memcache）
memcache 可以修改最大可用內存,採用 LRU 演算法。Memcached 代理軟體 magent，比如建立
10 台 4G 的 Memcache 集群，就相當於有了 40G。 magent -s 10.1.2.1 -s 10.1.2.2:11211 -b
10.1.2.3:14000 mongoDB 適合大數據量的存儲，依賴操作系統 VM 做內存管理，吃內存也比較厲害，服務
不要和別的服務在一起。
4、可用性（單點問題）
對於單點問題，
redis，依賴客戶端來實現分布式讀寫；主從復制時，每次從節點重新連接主節點都要依賴整
個快照,無增量復制，因性能和效率問題，
所以單點問題比較復雜；不支持自動 sharding,需要依賴程序設定一致 hash 機制。
一種替代方案是，不用 redis 本身的復制機制，採用自己做主動復制（多份存儲），或者改成
增量復制的方式（需要自己實現），一致性問題和性能的權衡
Memcache 本身沒有數據冗餘機制，也沒必要；對於故障預防，採用依賴成熟的 hash 或者環
狀的演算法，解決單點故障引起的抖動問題。
mongoDB 支持 master-slave,replicaset（內部採用 paxos 選舉演算法，自動故障恢復）,auto sharding 機制，對客戶端屏蔽了故障轉移和切分機制。
5、可靠性（持久化）
對於數據持久化和數據恢復，
redis 支持（快照、AOF）：依賴快照進行持久化，aof 增強了可靠性的同時，對性能有所影
響
memcache 不支持，通常用在做緩存,提升性能；
MongoDB 從 1.8 版本開始採用 binlog 方式支持持久化的可靠性
6、數據一致性（事務支持）
Memcache 在並發場景下，用 cas 保證一致性redis 事務支持比較弱，只能保證事務中的每個操作連續執行
mongoDB 不支持事務
7、數據分析
mongoDB 內置了數據分析的功能(maprece),其他不支持
8、應用場景
redis：數據量較小的更性能操作和運算上
memcache：用於在動態系統中減少資料庫負載，提升性能;做緩存，提高性能（適合讀多寫
少，對於數據量比較大，可以採用 sharding）
MongoDB:主要解決海量數據的訪問效率問題。
表格比較：
memcache redis 類型 內存資料庫 內存資料庫
數據類型 在定義 value 時就要固定數據類型 不需要
有字元串，鏈表，集 合和有序集合
虛擬內存 不支持 支持
過期策略 支持 支持
分布式 magent master-slave，一主一從或一主多從
存儲數據安全 不支持 使用 save 存儲到 mp.rdb 中
災難恢復 不支持 append only file(aof)用於數據恢復
性能
1、類型——memcache 和 redis 都是將數據存放在內存，所以是內存資料庫。當然，memcache 也可用於緩存其他東西，例如圖片等等。
2、 數據類型——Memcache 在添加數據時就要指定數據的位元組長度,而 redis 不需要。
3、 虛擬內存——當物理內存用完時，可以將一些很久沒用到的 value 交換到磁碟。
4、 過期策略——memcache 在 set 時就指定，例如 set key1 0 0 8,即永不過期。Redis 可以通
過例如 expire 設定，例如 expire name 10。
5、 分布式——設定 memcache 集群，利用 magent 做一主多從;redis 可以做一主多從。都可
以一主一從。
6、 存儲數據安全——memcache 斷電就斷了，數據沒了；redis 可以定期 save 到磁碟。
7、 災難恢復——memcache 同上，redis 丟了後可以通過 aof 恢復。
Memecache 埠 11211
yum -y install memcached
yum -y install php-pecl-memcache
/etc/init.d/memcached start memcached -d -p 11211 -u memcached -m 64 -c 1024 -P /var/run/memcached/memcached.pid
-d 啟動一個守護進程
-p 埠
-m 分配的內存是 M
-c 最大運行並發數-P memcache 的 pid
//0 壓縮（是否 MEMCACHE_COMPRESSED） 30 秒失效時間
//delete 5 是 timeout <?php
$memcache = new Memcache; $memcache -> connect('127.0.0.1', 11211); $memcache -> set('name','yang',0,30);
if(!$memcache->add('name','susan',0, 30)) {
//echo 'susan is exist'; }$memcache -> replace('name', 'lion', 0, 300); echo $memcache -> get('name');
//$memcache -> delete('name', 5);
printf "stats\r\n" | nc 127.0.0.1 11211
telnet localhost 11211 stats quit 退出
Redis 的配置文件 埠 6379
/etc/redis.conf 啟動 Redis
redis-server /etc/redis.conf 插入一個值
redis-cli set test "phper.yang" 獲取鍵值
redis-cli get test 關閉 Redis
redis-cli shutdown 關閉所有
redis-cli -p 6379 shutdown <?php
$redis=new
Redis(); $redis->connect('127.0.0.1',6379); $redis->set('test',
'Hello World'); echo $redis->get('test'); Mongodb
apt-get install mongo mongo 可以進入 shell 命令行
pecl install mongo Mongodb 類似 phpmyadmin 操作平台 RockMongo

❾ mongodb 單表數據量大影響效率嗎

mongodb 單表數據量大影響效率嗎
僅僅只是插入數據應該不會變慢，這是mongodb的優勢，用空間換時間，插入數據不需要載入或者遍歷之前已經存在的數據，而是直接存儲到指定位置。

❿ mongodb單集合可以存多少數據

mongodb單個集合大約在十萬個以內的數據量是最合適的