導航:首頁 > 數據分析 > 處理上億條記錄用什麼資料庫

處理上億條記錄用什麼資料庫

發布時間:2024-01-09 00:37:57

A. 上億條數據,本地存儲,用什麼資料庫,比較方便,速度比較快

sqlserver比較推薦。

B. 資料庫伺服器對十億條以上數據進行處理時,採用mysql的性能怎樣PostgreSQL呢SQL sever呢

淘寶也在使用MYSQL,網路等等大部分都已經傾向於PHP+MYSQL了,MYSQL配置好的話,承受量不是很大問專題,SQL sever很貴,屬是中型資料庫,大型數據最常見的就是oracle,這種就算淘寶這種大公司也不好燒起

C. 資料庫應該選擇什麼

1.數據量太大,比如上億,就用oracle,優點上億數據對Oracle來說輕飄飄的,也不用太多優化配置,缺點安裝比較麻煩,上手比較慢老余。

2.數據量較大,比如千萬級,用postgresql,它號稱對標Oracle,處理千萬級數據還是可以的,也是易學易用。

3.數據量一般,比如百萬級,用mysql,這個級別的數據量mysql處理還是比較快的。

4.數據量較小,比如十萬以下,sqlite、access都可以。

上面是基於單表操作的數據量,你看著選。

簡單易用的資料庫哪個比較好?這個要具體看你的用途,如果數據量比較少(10萬左右),追求簡約簡單,免費開源的sqlite就行,如果數據量比較多,考慮到高並發、分布式,可以使用專業的mysql、postgresql,下面我分別簡單介紹一下,感興趣的朋友可以嘗試一下:

小巧靈活sqlite

這是基於c語言開發的一個輕量級關系型資料庫,短小精悍、免費開源,個人使用無需繁瑣的配置,只需一個簡單的運行庫便可直接使用,針對各種編程語言都提供了豐富的API介面, java、 python、c#等都可輕松操作,如果你存儲數據量不多,只是本地簡單的操作(讀多寫少),可以使用一下這個資料庫,佔用內存非常少,輕便靈活,當然,在高並發、數據量大的情況下就不合適了:

專業強大mysql

這是目前應該廣泛使用的一個關系型資料庫,免費開源跨平台,在信息系統開發方面一直占據著主力位置,如果你從事於web開發或者網站後台建設,那麼這個資料庫一定非常熟悉,支持高並發、分布式,存儲數據量相對於sqlite來說,更多也更安全,索引、觸發器、存儲過程等功能非常不錯,支持數據導入導出、恢復備份,只要你熟悉一下基本使用過程,很快就能掌握和運用:

免費開源postgresql

這是加州大學計算機系開發的一個對象-關系型資料庫(自由軟體),免費、開源、跨平台,支持流計算、全文檢索、圖式搜索、並行計算、存儲過程、空間數據、K-V類型,相比較mysql來說,在復雜查詢、高並發下更穩定、性能更優越,可擴展性、可維護性非常不錯,但也有劣勢,例如新舊版本不分離存儲,沒有Coverage index scan等,總體使用效果來說還不錯:

當然,除了以上3個資料庫,還有許多其他資料庫,像mssql、oracle等也都非常不錯,對於存儲和處理數據來說綽綽有餘,只要你熟悉一下基本使用過程,很快就能入門的,網上也有相關教程和資料,介紹的非常詳細,感興趣的話,可以搜一下,希望以上分享的內容能對你有所幫助吧,也歡迎大家評論、留言進行補充。

最符合初學者理解和入門的是Access,因為它和Excel本來就是一個套件,相互轉化容易,復制粘貼即可,非常好理解庫、表、欄位、鍵的概念。

如果數據量不大,強烈推薦試試Filemaker,腳本化編程,自由定製輸入界面、工作流程,非常便捷高效。

最近殺出來的airtable,更是簡單高效,界面美觀,操作與電子表格相當,發展勢頭也非常迅猛。

二者側重點有所不同,用戶可根據需要選擇

作為一個軟體開發人員皮團,長期需要和資料庫打交道,個人更加青睞於MySQL。雖然可能基於你的Excel原因,有些人會建議你使用Access資料庫,但是基於我個人的 意見,我並不建議你那樣做。採用MySql的具體理由如下:

1.MySQL具有普遍性,在國內的環境中,絕大多數的互聯網企業採用的是MySQL。有了廣大的用戶基礎後,針對於各種問題網上也能更好地找到解決方案。

2.MySQL相對於Oracle而言,更加輕量化,針對於從Excel量級的數據,沒必要使用Oracle。同時MySQL是完全免費的,不用擔心版權及費用問題,無論對個人還是對預算有限的企業而言都是很好的選擇。

3.MySQL高度兼容標准SQL,這對燃含橘於以後遷移到其他資料庫而言,也能很大程度地降低學習成本。

希望我的回答能夠對你有所幫助!!![耶][耶][耶]

Excel辦公確實便利,可以做一些簡單的數據分析,但涉及大量復雜的數據運算,就會遇到和題主一樣的問題,運算速度慢,如果主機性能不是很好,還有可能面臨電腦死機,數據丟失等問題。

遇到這種情況,我們該如何解決呢?資料庫的重要性顯而易見!

現在, 我將用3分鍾的時間,與您探討該選擇何種資料庫,以及選擇它的理由,是否有更優的解決方案呢?

MySQL資料庫,90%的企業都會選擇它

資料庫選得好,企業的數據安全,資產安全,也就得到了保障。那麼該如何選擇資料庫呢?這個跟你的業務量和業務服務行業,密不可分。

如果你只是上班打卡,用SQL server就可以了;

如果你要儲存會話信息,用戶配置信息,購物車數據,建議使用NoSQL資料庫;

不過90%的企業或個人,首選資料庫都是MySQL資料庫。

為什麼這么說?

因為,它集 低成本、高可用、可靠性強、易用性強、體積小、速度快開放源碼 等特性於一身,所以在金融、財務、網站、 數據處理 等應用領域,它占據著獨一無二的優勢。

這也是幾乎所有企業都選擇它,來存儲數據的原因。

加之MySQL資料庫,支持多種存儲引擎,支持大型資料庫,可以處理成千上萬條記錄,還提供用於管理、檢查、優化資料庫操作的工具

因而,MySQL尤其受個人,以及中小企業的推崇。

雖然MySQL資料庫簡單易用,但我還是不會部署該怎麼辦?

別擔心,現在市面上已經出現了,一種自帶資料庫的新型辦公軟體。

比如說,雲表企業應用平台,一款兼容excel功能,但功能更為強大的辦公軟體,它就內嵌了MySQL資料庫。 (文末有免費獲取方式)

雲表內嵌的MySQL資料庫,有何優點?

1. 性能更加優化,更加兼容系統。因為雲表的研發人員,時刻更新維護MySQL資料庫。

2. 省去自己手動部署的麻煩。但如果你熟悉部署資料庫,想把資料庫改成Oracle或SQL server等資料庫,也可以設置。(不過,我建議IT小白還是 「拿來即用」 就好)

3. 快速實時計算。數據分析實時交互,完全滿足管理決策中的臨時性分析,多變的業務需求,以及頻繁的結果刷新。

4. 通過自帶的內存計算引擎,無需事先建立CUBE,IT部門將告別報表延時報表分析,億級數據秒級響應。

內嵌的MySQL資料庫是否可靠

雲表不僅是一款辦公軟體,同時還是一款開發工具。

通過它,你將解決以下問題:

復雜的數據運算,精確到行列的許可權管控,以及工作流,海量用戶同時在線辦公,數據透視,製作像銷售單,洽談合同等表單報表,一份製作,即可重復錄用......

你還可以通過它,與電子稱、地磅等進行對接,與用友金蝶等三方系統集成,生成條形碼,掃碼出入庫,生成移動端APP...... 基本上業務所需的功能,你都可以放心交給它做。

它最大的亮點就是,你可以 用使用excel的手法,用它來開發業務應用。

而且,可視化的 拖拉拽 之後,開發出來的ERP、WMS、OA、進銷存等業務應用,還秉承了MySQL資料庫增刪改查的功能特性。

沒錯,用雲表開發出來的業務應用,是允許二次開發的,而且功能可以隨時增刪改查,輕松滿足大集團精細化的數據控制需求。

不過,大家最關心的應該是數據安全問題吧。

數據存放在雲表內嵌的MySQL資料庫,是安全不丟失的,它提供了多種數據存儲的方式,本地部署,雲端部署,混合部署,任君挑選!

正因如此,像 恆逸石化、許繼電氣、航天科工委、中鐵、中冶、雲南小松 等大型集團,才鼓勵內部員工去學習雲表。

篇幅所限,只說到這里,說太多你也不會看。

免費 的軟獲取方式在下方:

資料庫的用處可大著呢,不僅可以實現數據共享,減少數據冗餘度,還能實現對數據的集中控制,保持數據的一致性和可維護性。選取簡單易用的資料庫,你有什麼好的建議呢,留言讓我們看到噢!

題主強調了簡單易用。所以推薦最簡單三個。

1.Access。

2.Excel。

3.飛書文檔、騰訊文檔、石墨文檔等的表格。

如果要做分析,數據量才比較大,建議Access,還是專業的更好一些。網上教程也很多,比較容易學。而且建議用早一點的版本,比如2003或者2007,Access這些年微軟一直想從office里去掉,奈何用的人還是很多,所以不敢去掉,但是採取了一種比較惡心的方法讓用戶放棄,就是每發布一個新版本,就去掉一些好用的功能,所以說Access是越早的功能越強。

還一個推薦就是Sql Server Express版本,是SQL Server的免費版本,不要錢,基本功能都有,要比sqllite等強大的多

這要結合你個人實際情況來定,有計算機基礎,懂一點資料庫的話那麼市場上的那些軟體都可以用,常用有oracle,sqlserver,mysql等,要上手快還是sqlserver比較快,界面操作也比較直觀;如果一點基礎都沒有,但是又要分析數據的話可以用微軟自帶的一個access,這個上手比較快。決定用哪一種之後還是要買點教材看,簡單的sql查詢要會,熟練之後也能提高工作效率。

個人使用資料庫的話,只存數據不做分析,SQLite就足夠了。

D. 大量數據用什麼資料庫

http://www.yesky.com/323/93823.shtml
http://hi..com/supersi_pumc/blog/item/6232a17ba79a26f10bd18724.html
比較SQL Server與Oracle、DB2
出處:不祥
關鍵詞:Sql Server, Oracle, 其他

1.選擇一個好的資料庫是非常重要的。

2.如何選擇一個好的資料庫

開放性:
SQL Server
只能在windows 上運行,沒有絲毫的開放性,操作系統的系統的穩定對資料庫是十分重要的。Windows9X系列產品是偏重於桌面應用,NT server只適合中小型企業。而且windows平台的可靠性,安全性和伸縮性是非常有限的。它不象unix那樣久經考驗,尤其是在處理大數據量的關鍵業務時.

Oracle
能在所有主流平台上運行(包括 windows)。完全支持所有的工業標准。採用完全開放策略。可以使客戶選擇最適合的解決方案。對開發商全力支持。

DB2
能在所有主流平台上運行(包括windows)。最適於海量數據。DB2在企業級的應用最為廣泛,在全球的500家最大的企業中,幾乎85%以上用DB2資料庫伺服器,而國內到97年約佔5%.

可伸縮性,並行性
SQL server
DB2
並行實施和共存模型並不成熟。很難處理日益增多的用戶數和數據卷。伸縮性有限。

Oracle
平行伺服器通過使一組結點共享同一簇中的工作來擴展windownt的能力,提供高可用性和高伸縮性的簇的解決方案。
如果windowsNT不能滿足需要, 用戶可以把資料庫移到UNIX中。

DB2
DB2具有很好的並行性。DB2把資料庫管理擴充到了並行的、多節點的環境.
資料庫分區是資料庫的一部分,包含自己的數據、索引、配置文件、和事務日
志。資料庫分區有時被稱為節點或資料庫節點

安全性
SQL server
沒有獲得任何安全證書。

Oracle Server
獲得最高認證級別的ISO標准認證。

DB2
獲得最高認證級別的ISO標准認證。

性能
SQL Server
多用戶時性能不佳

Oracle
性能最高, 保持windowsNT下的TPC-D和TPC-C的世界記錄。

DB2
適用於數據倉庫和在線事物處理性能較高。

客戶端支持及應用模式
SQL Server
C/S結構,只支持windows客戶,可以用ADO,DAO,OLEDB,ODBC連接.

Oracle
多層次網路計算,支持多種工業標准,可以用ODBC,JDBC,OCI等網路客戶連接

DB2
跨平台,多層結構,支持ODBC,JDBC等客戶

操作簡便
SQL Server
操作簡單,但只有圖形界面.

Oracle
較復雜, 同時提供GUI和命令行,在windowsNT和unix下操作相同

DB2
操作簡單,同時提供GUI和命令行,在windowsNT和unix下操作相同

使用風險
SQL server
完全重寫的代碼,經歷了長期的測試,不斷延遲,許多功能需要時間來證明。並不十分兼容早期產品。使用需要冒一定風險。

Oracle
長時間的開發經驗,完全向下兼容。得到廣泛的應用。完全沒有風險。

DB2
在巨型企業得到廣泛的應用,向下兼容性好。風險小。

E. 什麼資料庫效率最高

建議用mysql,自身小巧又簡單易用,成本低,速度快,上億數據量也不怕。最版好在LUNIX下使用,沒權有條件,WINDOWS下使用也沒太大影響。ACCESS根本支持不起,SQL SERVER最好不要用,微軟做的這個東西自身體積巨大(裝得下一千個mysql),效率卻還不如mysql。另外,mssql其實就是SQL SERVER,別搞混了,MS就是微軟縮寫啊

F. mysql 如何處理億級數據

1、數據表 collect ( id, title ,info ,vtype) 就這來4個欄位,自其中 title 用定長,info 用text, id 是逐漸,vtype是tinyint,vtype是索引。這是一個基本的新聞系統的簡單模型。現在往裡面填充數據,填充10萬篇新聞。

閱讀全文

與處理上億條記錄用什麼資料庫相關的資料

熱點內容
如何修改iphone的游戲存檔 瀏覽:839
道客巴巴在哪個文件夾 瀏覽:918
彈個車app哪裡下載 瀏覽:220
手機里的相片都在哪個文件 瀏覽:573
手機有些小網站打不開怎麼辦 瀏覽:390
銷售用友app有哪些 瀏覽:454
javalist遍歷 瀏覽:807
編程角色碰到屏幕邊緣如何調整 瀏覽:233
jsp的文本框取地址欄參數 瀏覽:421
遠程網路教育怎麼報名 瀏覽:848
wps中excel文件修復 瀏覽:382
哪個有關汽車質量的網站靠譜 瀏覽:759
win10如何無線投屏 瀏覽:978
gtx980m裝什麼版本驅動 瀏覽:506
iphone5c日版九宮格 瀏覽:628
西門子300控制伺服電機如何編程 瀏覽:94
復制文件慢win10 瀏覽:523
數據如何分段為中間多兩邊少 瀏覽:181
暨陽論壇怎麼升級 瀏覽:181
今日頭條如何導出數據 瀏覽:518

友情鏈接