javamongodb批量更新

① 用Spring data查詢mongodb的問題，求解答

mongo-java-driver和spring-data-mongodb的關系

mongo-java-driver是mongodb提供的官方開發包。目前最新版本.4.1。

Document/MongoCollection/MongoDatabase
3.0.0版本以後推薦使用

DBObject/DBCollection/DB
3.0.0版本以前的殘余物，3.0.0版本以後不推薦使用
由於不可知的歷史原因spring-data-mongodb的1.9.5.RELEASE版本中的MongoTemplate類和MongoOperations介面等相關方法類使用的依然是DBObject/DBCollection/DB。

spring-data-mongodb是spring組織在mongo-java-driver的基礎上進行進一步封裝的開發包。
本文章所描述的開發環境就是基於spring-data-mongodb的1.9.5.RELEASE版本

maven配置

<dependency>
<groupId>org.mongodb</groupId>
<artifactId>mongo-java-driver</artifactId>
<version>3.4.1</version>
</dependency>
<dependency>
<groupId>org.springframework.data</groupId>
<artifactId>spring-data-mongodb</artifactId>
<version>1.9.5.RELEASE</version>
</dependency>
1
2
3
4
5
6
7
8
9
10
創建

private static MongoOperations createMongoOperations(String[] hosts, String databaseName,
String username, String admindb, String password,
ReadPreference readPreference) {
List<ServerAddress> seeds = new ArrayList<ServerAddress>();
List<MongoCredential> credentials = new ArrayList<MongoCredential>();
MongoCredential mongoCredential = MongoCredential.createCredential(username, admindb, password.toCharArray());
for (String host : hosts) {
String[] tmphost = host.split(":");
if (tmphost.length > 1 && tmphost[1].length() > 0)
seeds.add(new ServerAddress(tmphost[0], Integer.parseInt(tmphost[1])));
else
seeds.add(new ServerAddress(tmphost[0]));
credentials.add(mongoCredential);
}

MongoTemplate mongoTemplate = new MongoTemplate(new MongoClient(seeds, credentials),
databaseName);
mongoTemplate.setReadPreference(readPreference);
return mongoTemplate;
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
插入insert

插入單條數據
User user = new User().setName("zhangsan").setAge(22).setSex("man");
mongoOperation.insert(user);
1
2
插入批量數據
List list = new ArrayList<>();
list.add(user1);
list.add(user2);
User user = new User().setName("zhangsan").setAge(22).setSex("man");
mongoOperation.insert(list,User.class);
1
2
3
4
5
查詢find

查詢所有數據
mongoOperation.findAll(User.class);
1
查詢特定數據
Criteria criteria = Criteria.where("name").is("zhangsan");
Query query = Query.query(criteria);
mongoOperation.find(query,User.class);
1
2
3
查詢特定數據並排序
Criteria criteria = Criteria.where("sex").is("man");
Query query = Query.query(criteria).with(new Sort(Sort.Direction.ASC, "age"));
mongoOperation.find(query,User.class);
1
2
3
查詢特定數據並排序
Criteria criteria = Criteria.where("sex").is("man");
Query query = Query.query(criteria).with(new Sort(Sort.Direction.ASC, "age"));
mongoOperation.find(query,User.class);
1
2
3
查詢特定數據並指定返回的需要的欄位
Criteria criteria = Criteria.where("sex").is("man");
Query query = Query.query(criteria).with(new Sort(Sort.Direction.ASC, "age"));
query.fields().include("name");
mongoOperation.find(query,User.class);
1
2
3
4
更新update

更新單條數據
Criteria criteria = Criteria.where("name").is("zhangsan");
Query query = Query.query(criteria);
Update update = new Update().set("age",30);
mongoOperation.updateFirst(query, update, User.class);
1
2
3
4
更新多條數據
Criteria criteria = Criteria.where("name").is("zhangsan");
Query query = Query.query(criteria);
Update update = new Update().set("age",30);
mongoOperation.updateMulti(query, update, User.class);
1
2
3
4
更新如果不存在則新增
Criteria criteria = Criteria.where("name").is("zhangsan");
Query query = Query.query(criteria);
Update update = new Update().set("age",30);
mongoOperation.upsert(query, update, User.class);
1
2
3
4
只會將update中的欄位新增到mongodb中，即：

{
"_id" : ObjectId("586df305e617c85d0e984e6a"),
"age" : 30
}
如果需要將name欄位也保存可以這樣：

Criteria criteria = Criteria.where("name").is("zhangsan");
Query query = Query.query(criteria);
Update update = new Update().set("name","zhangsan").set("age",30);
mongoOperation.upsert(query, update, User.class);

② 誰能說說mangodb 和 hbase的區別

1.Mongodb bson文檔型資料庫，整個數據都存在磁碟中，hbase是列式資料庫，集群部署時每個familycolumn保存在單獨的hdfs文件中。
2.Mongodb 主鍵是「_id」,主鍵上面可以不建索引,記錄插入的順序和存放的順序一樣，hbase的主鍵就是row key，可以是任意字元串(最大長度是 64KB，實際應用中長度一般為 10-100bytes)，在hbase內部，row key保存為位元組數組。存儲時，數據按照Row key的字典序(byte order)排序存儲。設計key時，要充分排序存儲這個特性，將經常一起讀取的行存儲放到一起。
字典序對int排序的結果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序，行鍵必須用0作左填充。
3.Mongodb支持二級索引，而hbase本身不支持二級索引
4.Mongodb支持集合查找，正則查找，范圍查找，支持skip和limit等等，是最像mysql的nosql資料庫，而hbase只支持三種查找：通過單個row key訪問，通過row key的range，全表掃描
5.mongodb的update是update-in-place，也就是原地更新，除非原地容納不下更新後的數據記錄。而hbase的修改和添加都是同一個命令：put，如果put傳入的row key已經存在就更新原記錄,實際上hbase內部也不是更新，它只是將這一份數據已不同的版本保存下來而已，hbase默認的保存版本的歷史數量是3。
6.mongodb的delete會將該行的數據標示為已刪除，因為mongodb在刪除記錄時並不是真把記錄從內存或文件中remove，而是將該刪除記錄數據置空（寫0或特殊數字加以標識）同時將該記錄所在地址放到一個list列表「釋放列表」中，這樣做的好就是就是如果有用戶要執行插入記錄操作時，mongodb會首先從該「釋放列表」中獲取size合適的「已刪除記錄」地址返回，這種方法會提升性能（避免了malloc內存操作），同時mongodb也使用了bucket size數組來定義多個大小size不同的列表，用於將要刪除的記錄根據其size大小放到合適的「釋放列表」中。Hbase的delete是先新建一個tombstonemarkers，然後讀的時候會和tombstonemarkers做merge，在 發生major compaction時delete的數據記錄才會真真刪除。
7.mongodb和hbase都支持maprece，不過mongodb的maprece支持不夠強大，如果沒有使用mongodb分片，maprece實際上不是並行執行的
8.mongodb支持shard分片，hbase根據row key自動負載均衡，這里shard key和row key的選取盡量用非遞增的欄位，盡量用分布均衡的欄位，因為分片都是根據范圍來選擇對應的存取server的，如果用遞增欄位很容易熱點server的產生，由於是根據key的范圍來自動分片的，如果key分布不均衡就會導致有些key根本就沒法切分，從而產生負載不均衡。
9.mongodb的讀效率比寫高，hbase默認適合寫多讀少的情況，可以通過hfile.block.cache.size配置，該配置storefile的讀緩存佔用Heap的大小百分比，0.2表示20%。該值直接影響數據讀的性能。如果寫比讀少很多，開到0.4-0.5也沒問題。如果讀寫較均衡，0.3左右。如果寫比讀多，果斷默認0.2吧。設置這個值的時候，你同時要參考hbase.regionserver.global.memstore.upperLimit，該值是memstore佔heap的最大百分比，兩個參數一個影響讀，一個影響寫。如果兩值加起來超過80-90%，會有OOM的風險，謹慎設置。
10.hbase採用的LSM思想(Log-Structured Merge-Tree)，就是將對數據的更改hold在內存中，達到指定的threadhold後將該批更改merge後批量寫入到磁碟，這樣將單個寫變成了批量寫，大大提高了寫入速度，不過這樣的話讀的時候就費勁了，需要merge disk上的數據和memory中的修改數據，這顯然降低了讀的性能。mongodb採用的是mapfile+Journal思想，如果記錄不在內存，先載入到內存，然後在內存中更改後記錄日誌，然後隔一段時間批量的寫入data文件，這樣對內存的要求較高，至少需要容納下熱點數據和索引。

③ 高手幫幫忙，我剛接觸mongodb，怎麼用java對mongodb資料庫進行多條件查詢，先謝謝了

package maven.demo.test;

import java.util.ArrayList;
import java.util.List;

import com.mongodb.BasicDBObject;
import com.mongodb.DB;
import com.mongodb.DBCollection;
import com.mongodb.DBObject;
import com.mongodb.Mongo;
import com.mongodb.QueryOperators;

public class MongoDB {
private static void print(String str){
.out.println(str);
}
public static void main(String[] args) {
try {
//創建連接
Mongo m=new Mongo("127.0.0.1", 27017);
//得到資料庫
DB db=m.getDB("test");
//得到所有資料庫
// List<String> colls=m.getDatabaseNames();
// for(String str:colls){
// System.out.println(str);
// }

// //得到所有的集合（表）
// for(String collection:db.getCollectionNames()){
// System.out.println(collection);
// }

//刪除一個資料庫
//m.dropDatabase("sun");

//得到sun表
DBCollection coll=db.getCollection("things");

//查看一個表的索引
// for(DBObject index:coll.getIndexInfo()){
// System.out.println(index);
// }

// DBObject myDoc=coll.findOne();
// System.out.println(myDoc);

//添加
// BasicDBObject doc=new BasicDBObject();
// doc.put("name", "sunshan");
// doc.put("sex", "男");
// doc.put("age", 22);
//coll.insert(doc);

//刪除
//coll.remove(doc);

// BasicDBObject doc1=new BasicDBObject();
// doc1.put("i", 0);
// doc1.put("j", "foo");
// BasicDBObject doc2=new BasicDBObject();
// doc2.put("hello", "world");
// doc1.put("doc2", doc2);
// coll.insert(doc1);

//修改
// BasicDBObject doc3=new BasicDBObject();
// doc3.put("x", 6);
// BasicDBObject doc4=new BasicDBObject();
// doc4.put("x", 1);
// coll.update(doc3, doc4,true,false);
//如果資料庫不存在就添加 |多條修改 false只修改第一天，true如果有多條就不修改

//條件查詢
//System.out.println(coll.find(doc4));

//coll.findAndRemove(doc4);

// //批量插入
// List<DBObject> datas=new ArrayList<DBObject>();
// for(int i=0;i<10;i++){
// BasicDBObject bd=new BasicDBObject();
// bd.put("name", "data");
// bd.append("age", i);
// datas.add(bd);
// }
// coll.insert(datas);

//添加
// BasicDBObjectBuilder documentBuilder = BasicDBObjectBuilder.start();
// documentBuilder.add("database", "mkyongDB");
// documentBuilder.add("table", "hosting");
// BasicDBObjectBuilder documentBuilderDetail = BasicDBObjectBuilder.start();
// documentBuilderDetail.add("records", "99");
// documentBuilderDetail.add("index", "vps_index1");
// documentBuilderDetail.add("active", "true");
// documentBuilder.add("detail", documentBuilderDetail.get());
// coll.insert(documentBuilder.get());

//添加
// Map<Object,Object> map=new HashMap<Object,Object>();
// map.put("a", 1);
// map.put("b", "b");
// coll.insert(new BasicDBObject(map));

//添加
// String json ="{'1' : '1','2' : '2',"+"'11' : {'1' : 1, '2' : '2', '3' : '3'}}";
// DBObject dbobject=(DBObject)JSON.parse(json);
// coll.insert(dbobject);

//更新
// BasicDBObject bdo=new BasicDBObject();
// bdo.put("x", 11);
// coll.update(new BasicDBObject().append("x", 0), bdo);

//更新
// BasicDBObject bdo=new BasicDBObject().append("$inc", new BasicDBObject().append("x", 12));
// coll.update(new BasicDBObject().append("x", 11), bdo);

//更新
//如果不使用$set 直接是 age則所有的都會更新
//根據age為9條件把name：data修改為 name：sun
// BasicDBObject bdo=new BasicDBObject().append("$set", new BasicDBObject().append("name", "sunshan"));
// coll.update(new BasicDBObject().append("age", 9), bdo);

//更新
//根據name為data條件把age：批量修改為 age:age
// BasicDBObject bdo=new BasicDBObject().append("$set", new BasicDBObject().append("age", "age"));
// coll.update(new BasicDBObject().append("name", "data"), bdo,false, true);

//查詢age=1
// print("find："+coll.find(new BasicDBObject("age", 1)).toArray());
//查詢age<=1
// print("find: "+coll.find(new BasicDBObject("age", new BasicDBObject("$lte", 1))).toArray());
//查詢age>=1
// print("fint: "+coll.find(new BasicDBObject("age", new BasicDBObject("$gte", 1))).toArray());
//查詢age！=1
// print("fint: "+coll.find(new BasicDBObject("age", new BasicDBObject("$ne", 1))).toArray());
//查詢age=1,2,3
// print("fint: "+coll.find(new BasicDBObject("age", new BasicDBObject(QueryOperators.IN ,new int[]{1,2,3}))).toArray());
//查詢age！=1,2,3
// print("find: "+coll.find(new BasicDBObject("age" ,new BasicDBObject(QueryOperators.NIN ,new int[]{1,2,3}))).toArray());

// print("find: "+coll.find(new BasicDBObject("age" ,new BasicDBObject(QueryOperators.EXISTS ,true))).toArray());
//查詢age屬性
// print("find: "+coll.find(null ,new BasicDBObject("age" ,true)).toArray());

// List<DBObject> list=coll.find().toArray();
// for(Object obj:list){
// System.out.println(obj);
// }

//true查詢出來存在的 /false 查詢出來不存在的
//print(""+coll.find(new BasicDBObject("y",new BasicDBObject(QueryOperators.EXISTS,false))).toArray());

// DBObject dbc=new BasicDBObject();
// dbc.put("name", 1111);
// List<DBObject> list=new ArrayList<DBObject>();
// list.add(dbc);
// System.out.println(coll.insert(list).getN());

// //查詢部分數據塊
// DBCursor cursor=coll.find().skip(1);
// while(cursor.hasNext()){
// System.out.println(cursor.next());
// }

// DBCursor cur=coll.find(); //DBCursor cur=coll.find().limit(2);
// while(cur.hasNext()){
// System.out.println(cur.next());
// }
//System.out.println(cur.getCursorId()+" "+cur.count()+" "+JSON.serialize(cur));

//條件查詢
BasicDBObject doc5=new BasicDBObject();
doc5.put("$gt", 1);
doc5.put("$lt", 3);
print("find 21<y<23："+coll.find(new BasicDBObject("y", doc5)).toArray());
// BasicDBObject doc5=new BasicDBObject();
// doc5.put("$gt", 1);
// doc5.put("$lt", 3);
// BasicDBObject doc6=new BasicDBObject();
// doc6.put("x", doc5);
// System.out.println(coll.find(doc6));

} catch (Exception e) {
e.printStackTrace();
}
}

}

④ Java培訓班一般都教什麼內容

階段一：揭開企業開發神秘面紗 (4周)
本階段主要目標是讓學員初步了解真實的企業開發流程，掌握開發JavaEE企業應用必要的基礎知識，並通過簡單B/S應用，為學員揭開企業開發的神秘面紗。
主要課程內容：
1) Web開發基礎：HTML語言、JavaScript、CSS、DOM等
2) Oracle資料庫基礎：安裝、配置Oracle資料庫，熟練掌握SQL語句
3) 操作系統：Windows /linux的安裝、管理
4) JavaEE環境搭建：搭建JavaEE開發環境、運行環境
實踐項目：典型電子商務網站

階段二：夯實企業開發核心技術(8周)
要勝任企業開發，必須扎實掌握企業開發所需的核心技術。本階段主要目標是讓學員能夠掌握並熟練使用JavaEE企業開發所需的核心技術。
主要課程內容：
1) Java SE核心技術：Java語言核心編程技術，
2) Java EE Web開發技術：Servlet/JSP/JavaBean編程技術、MVC模式
3) Java EE流行框架技術：Struts2/Hibernate3/Spring2流行框架
4) Java EE企業開發通用組件：log4j、JFreeChart、分頁、目錄樹等
5) UML與設計模式：統一建模語言UML、經典設計模式
6) 富客戶端(RIA)開發：AJAX、Flex等
實踐項目：(一)即時通訊系統 (二)國家煙草生產銷售管理系統

階段三：模擬真實企業開發環境(4周)
掌握了企業開發核心技術後，如何正確運用到真實的企業開發流程中才是關鍵。本階段，以真實的項目、真實的流程，帶學員模擬真實的企業開發流程，為學員進行「准員工」訓練。
主要課程內容：
1) 需求分析 2) 原型設計 3) 系統設計 4) 代碼編寫 5) 測試
6) 項目提交 7) 項目評審
實戰項目：中國移動IDC運營管理系統

階段四：如何敲開企業大門（增值服務）
當具備了企業所要求的技術功底後，要敲開企業的大門，仍需要具備一些「軟技能」，本階段主要為學員提供企業前沿技術講解，職業規劃和發展指導，簡歷與面試輔導等免費服務，從各個方面保障就業。

⑤ 如何刪除MongoDB資料庫中的文件

一、Insert操作

Insert操作是MongoDB插入數據的基本方法，對目標集合使用Insert操作，會將該文檔添加到MongoDB並自動生成相應的ID鍵。文檔結構採用類似JSON的BSON格式。常見的插入操作主要有單條插入和批量插入兩種形式。插入時只是簡單地將文檔存入資料庫中，不進行額外的驗證，也不會執行代碼，所以不存在注入式攻擊的可能。

1、單條插入

四、瞬間完成

上面的插入，刪除和更新操作都是瞬間完成的，不需要等待資料庫響應。這樣的實現可以獲取高性能，速度非常快，只會受客戶端發送速度和網路速度的制約。但由於不會獲取伺服器狀態，所以不能保證操作順利完成。這對於付費系統，安全性較高的系統是不可行的，此時對這些操作需要使用的安全版本。安全版本會在操作執行後立即運行getLastError命令，來檢查是否執行成功。如果失敗一般會拋出可捕獲的異常，然後可以在代碼中處理。

⑥ MongoDB是什麼，怎麼用看完你就知道了

MongoDB是一款為web應用程序和互聯網基礎設施設計的資料庫管理系統。沒錯MongoDB就是資料庫，是NoSQL類型的資料庫。

（1）MongoDB提出的是文檔、集合的概念，使用BSON（類JSON）作為其數據模型結構，其結構是面向對象的而不是二維表，存儲一個用戶在MongoDB中是這樣子的。

使用這樣的數據模型，使得MongoDB能在生產環境中提供高讀寫的能力，吞吐量較於mysql等SQL資料庫大大增強。

（2）易伸縮，自動故障轉移。易伸縮指的是提供了分片能力，能對數據集進行分片，數據的存儲壓力分攤給多台伺服器。自動故障轉移是副本集的概念，MongoDB能檢測主節點是否存活，當失活時能自動提升從節點為主節點，達到故障轉移。

（3）數據模型因為是面向對象的，所以可以表示豐富的、有層級的數據結構，比如博客系統中能把「評論」直接懟到「文章「的文檔中，而不必像myqsl一樣創建三張表來描述這樣的關系。

（1）文檔數據類型

SQL類型的資料庫是正規化的，可以通過主鍵或者外鍵的約束保證數據的完整性與唯一性，所以SQL類型的資料庫常用於對數據完整性較高的系統。MongoDB在這一方面是不如SQL類型的資料庫，且MongoDB沒有固定的Schema，正因為MongoDB少了一些這樣的約束條件，可以讓數據的存儲數據結構更靈活，存儲速度更加快。

（2）即時查詢能力

MongoDB保留了關系型資料庫即時查詢的能力，保留了索引（底層是基於B tree）的能力。這一點汲取了關系型資料庫的優點，相比於同類型的NoSQL redis 並沒有上述的能力。

（3）復制能力

MongoDB自身提供了副本集能將數據分布在多台機器上實現冗餘，目的是可以提供自動故障轉移、擴展讀能力。

（4）速度與持久性

MongoDB的驅動實現一個寫入語義 fire and forget ，即通過驅動調用寫入時，可以立即得到返回得到成功的結果（即使是報錯），這樣讓寫入的速度更加快，當然會有一定的不安全性，完全依賴網路。

MongoDB提供了Journaling日誌的概念，實際上像mysql的bin-log日誌，當需要插入的時候會先往日誌裡面寫入記錄，再完成實際的數據操作，這樣如果出現停電，進程突然中斷的情況，可以保障數據不會錯誤，可以通過修復功能讀取Journaling日誌進行修復。

（5）數據擴展

MongoDB使用分片技術對數據進行擴展，MongoDB能自動分片、自動轉移分片裡面的數據塊，讓每一個伺服器裡面存儲的數據都是一樣大小。

MongoDB核心伺服器主要是通過mongod程序啟動的，而且在啟動時不需對MongoDB使用的內存進行配置，因為其設計哲學是內存管理最好是交給操作系統，缺少內存配置是MongoDB的設計亮點，另外，還可通過mongos路由伺服器使用分片功能。

MongoDB的主要客戶端是可以交互的js shell 通過mongo啟動，使用js shell能使用js直接與MongoDB進行交流，像使用sql語句查詢mysql數據一樣使用js語法查詢MongoDB的數據，另外還提供了各種語言的驅動包，方便各種語言的接入。

mongomp和mongorestore,備份和恢復資料庫的標准工具。輸出BSON格式，遷移資料庫。

mongoexport和mongoimport，用來導入導出JSON、CSV和TSV數據，數據需要支持多格式時有用。mongoimport還能用與大數據集的初始導入，但是在導入前順便還要注意一下，為了能充分利用好mongoDB通常需要對數據模型做一些調整。

mongosniff,網路嗅探工具，用來觀察發送到資料庫的操作。基本就是把網路上傳輸的BSON轉換為易於人們閱讀的shell語句。

因此，可以總結得到，MongoDB結合鍵值存儲和關系資料庫的最好特性。因為簡單，所以數據極快，而且相對容易伸縮還提供復雜查詢機制的資料庫。MongoDB需要跑在64位的伺服器上面，且最好單獨部署，因為是資料庫，所以也需要對其進行熱備、冷備處理。

因為本篇文章不是API手冊，所有這里對shell的使用也是基礎的介紹什麼功能可以用什麼語句，主要是為了展示使用MongoDB shell的方便性，如果需要知道具體的MongoDB shell語法可以查閱官方文檔。

創建資料庫並不是必須的操作，資料庫與集合只有在第一次插入文檔時才會被創建，與對數據的動態處理方式是一致的。簡化並加速開發過程，而且有利於動態分配命名空間。如果擔心資料庫或集合被意外創建，可以開啟嚴格模式。

以上的命令只是簡單實例，假設如果你之前沒有學習過任何資料庫語法，同時開始學sql查詢語法和MongoDB 查詢語法，你會發現哪一個更簡單呢？如果你使用的是java驅動去操作MongoDB，你會發現任何的查詢都像Hibernate提供出來的查詢方式一樣，只要構建好一個查詢條件對象，便能輕松查詢（接下來會給出示例），博主之前熟悉ES6，所以入手MongoDB js shell完成沒問題，也正因為這樣簡潔，完善的查詢機制，深深的愛上了MongoDB。

使用java驅動鏈接MongoDB是一件非常簡單的事情，簡單的引用，簡單的做增刪改查。在使用完java驅動後我才發現spring 對MongoDB 的封裝還不如官方自身提供出來的東西好用，下面簡單的展示一下使用。

這里只舉例了簡單的鏈接與簡單的MongoDB操作，可見其操作的容易性。使用驅動時是基於TCP套接字與MongoDB進行通信的，如果查詢結果較多，恰好無法全部放進第一伺服器中，將會向伺服器發送一個getmore指令獲取下一批查詢結果。

插入數據到伺服器時間，不會等待伺服器的響應，驅動會假設寫入是成功的，實際是使用客戶端生成對象id，但是該行為可以通過配置配置，可以通過安全模式開啟，安全模式可以校驗伺服器端插入的錯誤。

要清楚了解MongoDB的基本數據單元。在關系型資料庫中有帶列和行的數據表。而MongoDB數據的基本單元是BSON文檔，在鍵值中有指向不定類型值的鍵，MongoDB擁有即時查詢，但不支持聯結操作，簡單的鍵值存儲只能根據單個鍵來獲取值，不支持事務，但支持多種原子更新操作。

如讀寫比是怎樣的，需要何種查詢，數據是如何更新的，會不會存在什麼並發問題，數據結構化的程度是要求高還是低。系統本身的需求決定mysql還是MongoDB。

在關於schema 的設計中要注意一些原則，比如：

資料庫是集合的邏輯與物理分組，MongoDB沒有提供創建資料庫的語法，只有在插入集合時，資料庫才開始建立。創建資料庫後會在磁碟分配一組數據文件，所有集合、索引和資料庫的其他元數據都保存在這些文件中，查閱資料庫使用磁碟狀態可通過。

集合是結構上或概念上相似得文檔的容器，集合的名稱可以包含數字、字母或 . 符號，但必須以字母或數字開頭，完全。

限定集合名不能超過128個字元，實際上 . 符號在集合中很有用，能提供某種虛擬命名空間，這是一種組織上的原則，和其他集合是一視同仁的。在集合中可以使用。

其次是鍵值，在MongoDB裡面所有的字元串都是UTF-8類型。數字類型包括double、int、long。日期類型都是UTC格式，所以在MongoDB裡面看到的時間會比北京時間慢8小時。整個文檔大小會限制在16m以內，因為這樣可以防止創建難看的數據類型，且小文檔可以提升性能，批量插入文檔理想數字范圍是10~200，大小不能超過16MB。

（1）索引能顯著減少獲取文檔的所需工作量，具體的對比可以通過 .explain()方法進行對比

（2）解析查詢時MongoDB通過最優計劃選擇一個索引進行查詢，當沒有最適合索引時，會先不同的使用各個索引進行查詢，最終選出一個最優索引做查詢

（3）如果有一個a-b的復合索引，那麼僅針對a的索引是冗餘的

（4）復合索引里的鍵的順序是很重要的

（1）單鍵索引

（2）復合索引

（3）唯一性索引

（4）稀疏索引

如索引的欄位會出現null的值，或是大量文檔都不包含被索引的鍵。

如果數據集很大時，構建索引將會花費很長的時間，且會影響程序性能，可通過

當使用 mongorestore 時會重新構建索引。當曾經執行過大規模的刪除時，可使用

對索引進行壓縮，重建。

（1）查閱慢查詢日誌

（2）分析慢查詢

注意新版本的MongoDB 的explain方法是需要參數的，不然只顯示普通的信息。

本節同樣主要簡單呈現MongoDB副本集搭建的簡易性，與副本集的強壯性，監控容易性

提供主從復制能力，熱備能力，故障轉移能力

實際上MongoDB對副本集的操作跟mysql主從操作是差不多的，先看一下mysql的主從數據流動過程

而MongoDB主要依賴的日誌文件是oplog

寫操作先被記錄下來，添加到主節點的oplog里。與此同時，所有從結點復制oplog。首先，查看自己oplog里最後一條的時間戳；其次，查詢主節點oplog里所有大於此時間戳的條目;最後，把那些條目添加到自己的oplog里並應用到自己的庫里。從節點使用長輪詢立即應用來自主結點oplog的新條目。

當遇到以下情況，從節點會停止復制

local資料庫保存了所有副本集元素據和oplog日誌

可以使用以下命令查看復制情況

每個副本集成員每秒鍾ping一次其他所有成員，可以通過rs.status()看到節點上次的心跳檢測時間戳和 健康 狀況。

這個點沒必要過多描述，但是有一個特殊場景，如果從節點和仲裁節點都被殺了，只剩下主節點，他會把自己降級成為從節點。

如果主節點的數據還沒有寫到從庫，那麼數據不能算提交，當該主節點變成從節點時，便會觸發回滾，那些沒寫到從庫的數據將會被刪除，可以通過rollback子目錄中的BSON文件恢復回滾的內容。

（1）使用單節點鏈接

只能鏈接到主節點，如果鏈接到從節點的話，會被拒絕寫入操作，但是如果沒有使用安全模式，因為mongo的fire and forget 特性，會把拒絕寫入的異常給吃掉。

（2）使用副本集方式鏈接

能根據寫入的情況自動進行故障轉移，但是當副本集進行新的選舉時，還是會出現故障，如果不使用安全模式，依舊會出現寫不進去，但現實成功的情況。

分片是資料庫切分的一個概念實現，這里也是簡單總結為什麼要使用分片以及分片的原理，操作。

當數據量過大，索引和工作數據集佔用的內存就會越來越多，所以需要通過分片負載來解決這個問題

（1）分片組件

（2）分片的核心操作

分片一個集合：分片是根據一個屬性的范圍進行劃分的，MongoDB使用所謂的分片鍵讓每個文檔在這些范圍里找到自己的位置

塊：是位於一個分片中的一段連續的分片鍵范圍，可以理解為若干個塊組成分片，分片組成MongoDB的全部數據

（3）拆分與遷移

塊的拆分：初始化時只有一個塊，達到最大塊尺寸64MB或100000個文檔就會觸發塊的拆分。把原來的范圍一分為二，這樣就有了兩個塊，每個塊都有相同數量的文檔。

遷移：當分片中的數據大小不一時會產生遷移的動作，比如分片A的數據比較多，會將分片A裡面的一些塊轉移到分片B裡面去。分片集群通過在分片中移動塊來實現均衡，是由名為均衡器的軟體進程管理的，任務是確保數據在各個分片中保持均勻分布，當集群中擁有塊最多的分片與擁有塊最少分片的塊差大於8時，均衡器就會發起一次均衡處理。

啟動兩個副本集、三個配置伺服器、一個mongos進程

配置分片

（1）分片查詢類型

（2）索引

分片集合只允許在_id欄位和分片鍵上添加唯一性索引，其他地方不行，因為這需要在分片間進行通信，實施起來很復雜。

當創建分片時，會根據分片鍵創建一個索引。

（1）分片鍵是不可修改的、分片鍵的選擇非常重要

（2）低效的分片鍵

（3）理想的分片鍵

（1）部署拓撲

根據不同的數據中心劃分

這里寫圖片描述

（2）最低要求

（3）配置的注意事項

需要估計集群大小，可使用以下命令對現有集合進行分片處理

（4）備份分片集群

備份分片時需要停止均衡器

（1）部署架構

使用64位機器、32位機器會制約mongodb的內存，使其最大值為1.5GB

（2）cpu

mongodb 只有當索引和工作集都可放入內存時，才會遇到CPU瓶頸，CPU在mongodb使用中的作用是用來檢索數據，如果看到CPU使用飽和的情況，可以通過查詢慢查詢日誌，排查是不是查詢的問題導致的，如果是可以通過添加索引來解決問題

mongodb寫入數據時會使用到CPU，但是mongodb寫入時間一次只用到一個核，如果有頻繁的寫入行為，可以通過分片來解決這個問題

（3）內存

大內存是mongodb的保障，如果工作集大小超過內存，將會導致性能下降，因為這將會增加數據載入入內存的動作

（4）硬碟

mongodb默認每60s會與磁碟強制同步一次，稱為後台刷新，會產生I/O操作。在重啟時mongodb會將磁碟裡面的數據載入至內存，高速磁碟將會減少同步的時間

（5）文件系統

使用ext4 和 xfs 文件系統

禁用最後訪問時間

（6）文件描述符

linux 默認文件描述符是1024，需要大額度的提升這個額度

（7）時鍾

mongodb各個節點伺服器之間使用ntp伺服器

（1）綁定IP

啟動時使用 - -bind_ip 命令

（2）身份驗證

啟動時使用 - -auth 命令

（3）副本集身份認證

使用keyFile，注意keyFile文件的許可權必須是600，不然會啟動不起來

（1）拓撲結構

搭建副本集至少需要兩個節點，其中仲裁結點不需要有自己的伺服器

（2）Journaling日誌

寫數據時會先寫入日誌，而此時的數據也不是直接寫入硬碟，而是寫入內存

但是Journaling日誌會消耗內存，所以可以在主庫上面關閉，在從庫上面啟動

可以單獨為Journaling日誌使用一塊固態硬碟

在插入時，可以通過驅動確保Journaling插入後再反饋，但是會非常影響性能。

logpath 選項指定日誌存儲地址

-vvvvv 選項（v越多，輸出越詳細）

db.runCommand({logrotare:1}) 開啟滾動日誌

（1）serverStatus

這里寫圖片描述

（2）top

（3）db.currentOp()

動態展示mongodb活動數據

佔用當前mongodb監聽埠往上1000號的埠

（1）mongomp

把資料庫內容導出成BSON文件，而mongorestore能讀取並還原這些文件

（2）mongorestore

把導出的BSON文件還原到資料庫

（3）備份原始數據文件

可以這么做，但是，操作之前需要進行鎖庫處理 db.runCommand({fsync:1,lock:true})

db.$cmd.sys.unlock.findOne() 請求解鎖操作，但是資料庫不會立刻解鎖，需要使用db.currentOp()驗證。

（1）修復

mongd --repair 修復所有資料庫

db.runCommand({repairDatabase:1}) 修復單個資料庫

修復就是根據Jourling文件讀取和重寫所有數據文件並重建各個索引

（2）壓緊

壓緊，會重寫數據文件，並重建集合的全部索引，需要停機或者在從庫上面運行,如果需要在主庫上面運行，需要添加force參數 保證加寫鎖。

（1）監控磁碟狀態

（2）為提升性能檢查索引和查詢

總的來說，掃描盡可能少的文檔。

保證沒有冗餘的索引，冗餘的索引會佔用磁碟空間、消耗更多的內存，在每次寫入時還需做更多工作

（3）添加內存

dataSize 數據大小 和 indexSize 索引大小，如果兩者的和大於內存，那麼將會影響性能。

storageSize超過dataSize 數據大小 兩倍以上，就會因磁碟碎片而影響性能，需要壓縮。

⑦ 哪位高手可以推薦幾款通用的資料庫管理工具

1、MySQL Workbench
MySQL Workbench是一款專為MySQL設計的ER/資料庫建模工具。它是著名的資料庫設計工具DBDesigner4的繼任者。你可以用MySQL Workbench設計和創建新的資料庫圖示，建立資料庫文檔，以及進行復雜的MySQL 遷移
MySQL Workbench是下一代的可視化資料庫設計、管理的工具，它同時有開源和商業化的兩個版本。該軟體支持Windows和Linux系統，下面是一些該軟體運行的界面截圖：

2、資料庫管理工具 Navicat Lite
NavicatTM是一套快速、可靠並價格相宜的資料庫管理工具，大可使用來簡化資料庫的管理及降低系統管理成本。它的設計符合資料庫管理員、開發人員及中小企業的需求。 Navicat是以直覺化的使用者圖形介面所而建的，讓你可以以安全且簡單的方式建立、組織、存取並共用資訊。
界面如下圖所示：

Navicat 提供商業版Navicat Premium 和免費的版本 Navicat Lite 。免費版本的功能已經足夠強大了。
Navicat 支持的資料庫包括MySQL、Oracle、SQLite、PostgreSQL和SQL Server 等。

3、開源ETL工具Kettle
Kettle是一款國外開源的etl工具，純java編寫，綠色無需安裝，數據抽取高效穩定(數據遷移工具)。Kettle中有兩種腳本文件，transformation和job，transformation完成針對數據的基礎轉換，job則完成整個工作流的控制。

·授權協議：LGPL
·開發語言： Java
·操作系統： 跨平台
4、Eclipse SQLExplorer
SQLExplorer是Eclipse集成開發環境的一種插件，它可以被用來從Eclipse連接到一個資料庫。
SQLExplorer插件提供了一個使用SQL語句訪問資料庫的圖形用戶介面（GUI）。通過使用SQLExplorer，你能夠顯示表格、表格結構和表格中的數據，以及提取、添加、更新或刪除表格數據。
SQLExplorer同樣能夠生成SQL腳本來創建和查詢表格。所以，與命令行客戶端相比，使用SQLExplorer可能是更優越的選擇，下圖是運行中的界面，很好很強大。

l授權協議： 未知
l開發語言： Java
l操作系統： 跨平台
5、MySQL管理工具phpMyAdmin
phpMyAdmin是一個非常受歡迎的基於web的MySQL資料庫管理工具。它能夠創建和刪除資料庫，創建/刪除/修改表格,刪除/編輯/新增欄位，執行SQL腳本等。

l授權協議：GPL
l開發語言：PHP
l操作系統：跨平台
6、Mongodb 管理工具Mongodb Studio
Mongodb是一款性能優良，功能豐富的文檔型非關系型資料庫。由於該資料庫是開源項目並且還在不斷更新中，目前為止在任何平台上都不能找到功能相對完整的客戶端資料庫管理工具。而越來越多的項目中使用了Mongodb，使得管理起來十分麻煩.如果點點滑鼠就搞定了.那該有多好。
基於如上背景，我們製作了此MongoDB管理工具，在DBA/開發/管理員三個維度提供一定層次的管理功能。

Mongodb Management Studio功能如下:
l伺服器管理功能
添加伺服器,刪除伺服器
l伺服器,資料庫,表,列,索引,樹形顯示和狀態信息查看
l查詢分析器功能.
支持select,insert,Delete,update
支持自定義分頁函 數 $rowid(1,5)查詢第一條到第五條,需放在select後面.
l索引管理功能
支持列名的顯示,索引的創建,查看,刪除.
l資料庫Profile管理.
可以設置Profile開關,查看Profile信息.自定義分頁大小.
lmaster/slave信息顯示
7、MySQL監控小工具mycheckpoint
mycheckpoint是一個開源的 MySQL監控工具，主要用來監控數據。通過視圖方式提供監控數據報表。mycheckpoint支持以獨立的Web伺服器來運行。
例如：SELECTinnodb_read_hit_percent, DML FROM sv_report_chart_sample;

查看詳細報表示例。
安裝手冊：http://code.openark.org/forge/mycheckpoint/documentation/installation
8、SQL SERVER 資料庫發布向導
Microsoft SQL Server DatabasePublishing Wizard (微軟SQLServer資料庫發布向導) 是微軟發布的一個開源工具，使用該工具可以幫你將SQLSERVER 資料庫導出成一個 SQL腳本，類似 MySQL 的 mysqlmp工具。
官方說明：SQLServer資料庫發布向導提供了一種將資料庫發布到 T-SQL 腳本或者直接發布到支持宿主服務提供程序的方法。

9、Eclipse 的Oracle插件jOra
jOra是一個為 Oracle開發者和管理員提供的 Eclipse 插件，可輕松的對Oracle進行開發和管理。
安裝地址：http://jora.luenasoft.de/updatesite
插件截圖

l授權協議：免費，非開源
l開發語言：Java
l操作系統：跨平台
10、免費PostgreSQL監控工具pgwatch
pgwatch 是一個簡單易用的PostgreSQL的監控工具，支持PostgreSQL 9.0 以及更新的版本。
主要特性：
- 配置簡單
- 大量的監控圖表
- 快速系統檢查面板
- 自動收集統計信息
- 互動式的 Flash 圖表
- 集成 SQL worksheet

l授權協議： Artistic
l開發語言：PHP
l操作系統： Linux
11、MySQL Browser
MySQL的客戶端工具MySQL Browser的優點是簡單，及其的簡單，安裝之後能夠立刻上手，馬上就能使用的那種，布局也很簡陋，功能也很簡陋，簡單使用沒有問題，尤其是剛開始學習mysql的同學，可以嘗試一下。

·授權協議：未知
·操作系統： Windows
12、MySQL客戶端軟體HeidiSQL
HeidiSQL是一個功能非常強大的 MySQL 客戶端軟體，採用Delphi 開發，支持 Windows 操作系統。

l授權協議：GPL
l開發語言：Delphi/Pascal
l操作系統： Windows
13、SQLite管理工具SQLiteStudio
SQLiteStudio 是一個跨平台的 SQLite資料庫的管理工具，採用 Tcl語言開發。
l授權協議：未知
l操作系統：跨平台
14、SQL客戶端工具SQLyog
SQLyog 是一個易於使用的、快速而簡潔的圖形化管理MYSQL資料庫的工具，它能夠在任何地點有效地管理你的資料庫。

功能：
l快速備份和恢復數據；
l以GRID/ TEXT格式顯示結果；
l支持客戶端挑選、過濾數據；
l批量執行很大的SQL腳本文件；
l快速執行多重查詢並能夠返回每頁超過1000條的記錄集，而這種操作是直接生成在內存中的；
l程序本身非常短小精悍！壓縮後只有348 KB ；
l完全使用MySQLC APIs程序介面；
l以直觀的表格界面建立或編輯數據表；
l以直觀的表格界面編輯數據；
l進行索引管理；
l創建或刪除資料庫；
l操縱資料庫的各種許可權：庫、表、欄位；
l編輯BLOB類型的欄位，支持Bitmap/GIF/JPEG格式；
l輸出數據表結構/數據為SQL腳本；
l支持輸入/輸出數據為CSV文件；
l可以輸出資料庫清單為HTML文件；
l為所有操作建立日誌；
l個人收藏管理操作語句；
l支持語法加亮顯示；
l可以保存記錄集為CSV、HTML、XML格式的文件；
l21、99% 的操作都可以通過快捷鍵完成；
l支持對數據表的各種高級屬性修改；
l查看數據伺服器的各種狀態、參數等；
l支持更改數據表類型為ISAM, MYISAM, MERGE, HEAP, InnoDB, BDB；
l刷新數據伺服器、日誌、許可權、表格等；
l診斷數據表：檢查、壓縮、修補、分析。
l授權協議：GPLv2
l開發語言：C/C++
l操作系統： Windows
15、數據挖掘工具RapidMiner
RapidMiner是世界領先的數據挖掘解決方案，在一個非常大的程度上有著先進技術。它數據挖掘任務涉及范圍廣泛，包括各種數據藝術，能簡化數據挖掘過程的設計和評價。
功能和特點
l免費提供數據挖掘技術和庫；
l100%用Java代碼（可運行在操作系統）；
l數據挖掘過程簡單，強大和直觀；
l內部XML保證了標准化的格式來表示交換數據挖掘過程；
l可以用簡單腳本語言自動進行大規模進程；
l多層次的數據視圖，確保有效和透明的數據；
l圖形用戶界面的互動原型；
l命令行（批處理模式）自動大規模應用；
lJava API（應用編程介面）；
l簡單的插件和推廣機制；
l強大的可視化引擎，許多尖端的高維數據的可視化建模；
l400多個數據挖掘運營商支持；
l耶魯大學已成功地應用在許多不同的應用領域，包括文本挖掘，多媒體挖掘，功能設計，數據流挖掘，集成開發的方法和分布式數據挖掘。

l授權協議：未知
l開發語言：Java
l操作系統：跨平台
16、Oracle 資料庫開發工具Oracle SQL Developer
Oracle SQL Developer 是一個免費非開源的用以開發資料庫應用程序的圖形化工具，使用SQLDeveloper 可以瀏覽資料庫對象、運行 SQL 語句和腳本、編輯和調試 PL/SQL語句。另外還可以創建執行和保存報表。該工具可以連接任何 Oracle 9.2.0.1 或者以上版本的 Oracle 資料庫，支持Windows、Linux 和 Mac OS X 系統。

·授權協議：免費，非開源
·開發語言：Java
·操作系統：Windows Linux MacOS
17、EMS SQL Manager for MySQL
EMS SQL Manager for MySQL是一款高性能MySQL資料庫伺服器系統的管理和開發工具。它支持從MySQL 3.23到6.0的任一版本，並支持最新版本的MySQL的特點，包括：查看、存儲規程和函數、InnoDB外部鍵字和其他特點。它提供了大量工具以滿足富有經驗的用戶的所有要求。添加了精心設計的操作向導系統，以及SQL Manager for MySQL那富有藝術感的圖形用戶界面，即使新手也可以不會為如何使用而感到困擾。

l授權協議：商業軟體
l開發語言：C/C++
l操作系統： Windows
18、資料庫管理工具CoolSQL
CoolSQL是一個資料庫客戶端管理工具。
·支持大部分資料庫包括：DB2、oracle、mysql、MS SQL Server、Derby、HSQL、Informix、Sybase、PostgresSQL等。
·為用戶提供友好和漂亮UI，其整體框架由視圖組成類似於Eclipse。支持直接修改SQL查詢結果。
·支持將表格數據導出成文本文件，EXCEL和HTML。
·擁有一個支持SQL語法著色顯示，智能提示，文本編輯和查找的SQL編輯器。
·能夠展示資料庫大部分元數據包括：版本，數據類型、函數，連接信息等。
·支持導出數據對象信息包括對象數據（INSERT SQL語句），生成創建/刪除腳本（create script/drop script）。
·所有SQL腳本都可以以批量的模式執行。
·能夠搜索所有數據包括資料庫列，表/視圖和其他表格型。
·支持i18n，當前提供兩種語言（中文和英文）。
·提供收藏功能，管理由用戶收集的文本信息。
·支持通過插件擴展其功能。

ll 授權協議：未知
l開發語言：Java
l操作系統：跨平台
19、SQLite Manager
這是一款方便firefox對任何SQLite資料庫操作的擴展。使用這款擴展，可以在firefox下很容易的創建表格、建立索引、瀏覽搜索等操作。此外它還具有一個語法檢查功能的下拉式菜單，從而保證用戶的操作不會出錯。

20、MySQL GUI Tools
這是MySQL官方專業的資料庫管理工具，同時支持多種操作系統。該工具包括下面三個產品：
·MySQL Administrator 1.2
·MySQL Query Browser 1.2
·MySQL MigrationToolkit 1.1

21、SQL客戶端管理工具SQuirreL SQL Client
SQuirreL SQL Client是一個SQL客戶端管理工具。它允許你查看一個兼容JDBC的資料庫的結構，瀏覽表格中的數據，運行SQL命令, 可連接的資料庫有ORCAL,MS SQLSERVER, DB2 等, 它還允許用戶安裝和創建用於補充應用程序基本功能的插件。

功能和特點：
l柱狀圖顯示對像；
l自動完成；
l語句提示；
l標記；
l自動糾正；
l編輯查詢結果；
l關系圖；
l分頁列印。
l授權協議：未知
l語言：Java
l操作系統：跨平台
22、Tomcat管理工具EasyTomcat
EasyTomcat是一個用來幫助簡化 Tomcat和 MySQL管理的系統，你可以啟動、停止和配置Tomcat和MySQL伺服器，同時也提供了監控的功能。

l授權協議：未知
l開發語言：Java
l操作系統：跨平台
23、SQL Server管理工具sqlBuddy
SqlBuddy是C#編寫的一款用於Microsoft SQLServer和MSDE的開源工具，使用它可以很容易的編寫SQL腳本。SqlBuddy提供的功能和查詢分析器的目的有些微不同，它傾向於幫助使用者編寫SQL。

l授權協議：未知
l開發語言：C#
l操作系統： Windows
24、資料庫開發工具GSQL
GSQL 是 Gnome 下的一個集成資料庫開發工具。資料庫結構顯示在下圖左邊的樹狀結構中，支持SQL的語法著色。

l授權協議：未知
l操作系統：Linux
25、SQLite資料庫管理SQLiteSpy
sqlitespy是一個快速和緊湊的資料庫SQLite的GUI管理軟體 。它的圖形用戶界面使得它很容易探討，分析和操縱sqlite3資料庫。

l授權協議：未知
l開發語言：Delphi/Pascal
l操作系統：Windows
26、資料庫開發工具Aqua Data Studio
Aqua DataStudio 是一個為資料庫開發人員准備的集成開發環境，可以對資料庫做查詢、管理，提供大量的資料庫工具，例如資料庫比較、源碼控制等，目前支持的資料庫包括：Oracle, DB2iSeries, DB2 LUW, MS SQL Server, Sybase ASE, Sybase Anywhere, Sybase IQ, Informix,PostgreSQL, MySQL, Apache Derby, JDBC, and ODBC.

l授權協議：未知
l開發語言：C/C++
l操作系統：跨平台
27、MySQL 架構管理工具MySQL MMM
MySQL Master-Master 架構常被用在 SQLquery 相依性低的情況，像是 counter常使用的INSERT INTO ... ON DUPLICATEKEY UPDATE a = a + 1不會因為out-of-order而造成問題。而 MySQL MMM算是其中一套寫得比較好的 MySQLMaster-Master架構管理工具。
l授權協議：未知
l開發語言：Python
l操作系統： Linux
28、MySQL Client
MySQL的客戶端工具，主界面如下：

l授權協議：未知
l操作系統：Windows