㈠ 請問數據倉庫都用什麼建立
1、首先你得搞清楚建設數倉的目的是什麼
是偏向於整合各系統數據,為數據分析決策服務,還是偏向於快速的完成分析決策需求?
如果是前者,那麼在數據倉庫建模的時候一般會選擇ER建模方法;
如果是後者,一般會選擇維度建模方法。
ER建模:即實體關系建模,由數據倉庫之父BIll Inmon提出,核心思想是從全企業的高度去設計三範式模型,用實體關系描述企業服務。主張的是自上而下的架構,將不同的OLTP數據集中到面向主題的數據倉庫中。
維度建模:由Kimball提出,核心思想是從分析決策的需求出發構建模型。這種模型由事實表和維表組成,即星型模型和雪花模型。Kimball倡導自下而上的架構,可以針對獨立部門建立數據集市,再遞增的構建,匯總成數據倉庫。
2、其次你得進行深入的業務調研和數據調研
業務調研:深入的業務調研能使你更加明確數倉建設的目的;同時也利於後續的建模設計,隨著調研的開展,如何將實體業務抽象為數倉模型會更加明朗。
數據調研:各部門或各科室的數據現狀了解,包括數據分類、數據存儲方式、數據量、具體的數據內容等等。這對後續的主數據串聯或者維度一致性處理等等都是必須的基礎。
3、然後是數據倉庫工具選型
傳統型數據倉庫:一般會選擇第三方廠家的資料庫和配套ETL工具。因為有第三方支持,相對有保障;但缺點也很明顯,受約束以及成本較高。
NoSQL型數據倉庫:一般是基於hadoop生態的數據倉庫。hadoop生態已經非常強大,可以找到各種開源組件去支持數據倉庫。缺點是需要招聘專門人士去摸索,並且相對會存在一些未知隱患。
4、最後是設計與實施
設計:包括數據架構中的數據層次劃分以及具體的模型設計;也包括程序架構中的數據質量管理、元數據管理、調度管理等;
實施:規范化的項目管理實施,但同時也需記住一點,數據倉庫不是一個項目,它是一個過程。
㈡ 常用的資料庫軟體有哪些
常用的資料庫軟體有:
1、Oracle
70年代 一間名為Ampex的軟體公司,正為中央情報局設計一套名叫Oracle的資料庫,Ellison是程序員之一。Oracle是世界領先的信息管理軟體開發商,因其復雜的關系資料庫產品而聞名。Oracle資料庫產品為財富排行榜上的前1000家公司所採用,許多大型網站、銀行、證券、電信等都選用了Oracle系統。
2、SQL Server
SQLServer(Structured Query Language Server) 是一個關系資料庫管理系統(DBMS)。它最初是由Microsoft Sybase 和Ashton-Tate三家公司共同開發的,於1988 年推出了第一個OS/2 版本。
在Windows NT 推出後,Microsoft與Sybase 在SQL Server 的開發上就分道揚鑣了,Microsoft 將SQL Server 移植到Windows NT系統上,專注於開發推廣SQL Server 的Windows NT 版本。
3、ACCESS
Access 是微軟公司推出的基於Windows的桌面關系資料庫管理系統(RDBMS,即Relational Database Management System),是Office系列應用軟體之一。
它提供了表、查詢、窗體、報表、頁、宏、模塊7種用來建立資料庫系統的對象;提供了多種向導、生成器、模板,把數據存儲、數據查詢、界面設計、報表生成等操作規范化;為建立功能完善的資料庫管理系統提供了方便,也使得普通用戶不必編寫代碼,就可以完成大部分數據管理的任務。
4、DB2
IBM公司研製的一種關系型資料庫系統。DB2主要應用於大型應用系統,具有較好的可伸縮性,可支持從大型機到單用戶環境,應用於OS/2.Windows等平台下。
DB2提供了高層次的數據利用性、完整性、安全性、可恢復性,以及小規模到大規模應用程序的執行能力,具有與平台無關的基本功能和SQL命令。
5、MySQL
MySQL是一個小型關系型資料庫管理系統,開發者為瑞典MySQL AB公司。在2008年1月16號被Sun公司收購。
而2009年,SUN又被Oracle收購。對於Mysql的前途,沒有任何人抱樂觀的態度。目前MySQL被廣泛地應用在Internet上的中小型網站中。由於其體積小、速度快、總體擁有成本低,尤其是開放源碼這一特點,許多中小型網站為了降低網站總體擁有成本而選擇了MySQL作為網站資料庫。
(2)資料庫構建工具有哪些擴展閱讀:
Visual FoxPro原名FoxBase,最初是由美國Fox Software公司於1988年推出的資料庫產品,在DOS上運行,與xBase系列兼容。
FoxPro是FoxBase的加強版,最高版本曾出過2.6。之後於1992年,Fox Software公司被Microsoft收購,加以發展,使其可以在Windows上運行,並且更名為 Visual FoxPro。
FoxPro比FoxBASE在功能和性能上又有了很大的改進,主要是引入了窗口、按紐、列表框和文本框等控制項,進一步提高了系統的開發能力。
網路-資料庫軟體
㈢ 大數據開發工具有哪些
1. Apache Hive
Hive是一個建立在Hadoop上的開源數據倉庫基礎設施,通過Hive可以很容易的進行數據的ETL,對數據進行結構化處理,並對Hadoop上大數據文件進行查詢和處理等。 Hive提供了一種簡單的類似SQL的查詢語言—HiveQL,這為熟悉SQL語言的用戶查詢數據提供了方便。
2. Apache Spark
Apache Spark是Hadoop開源生態系統的新成員。它提供了一個比Hive更快的查詢引擎,因為它依賴於自己的數據處理框架而不是依靠Hadoop的HDFS服務。同時,它還用於事件流處理、實時查詢和機器學習等方面。
3. Jaspersoft BI 套件
Jaspersoft包是一個通過資料庫列生成報表的開源軟體。行業領導者發現Jaspersoft軟體是一流的, 許多企業已經使用它來將SQL表轉化為pdf,,這使每個人都可以在會議上對其進行審議。另外,JasperReports提供了一個連接配置單元來替代HBase。
4. Keen IO
Keen IO是個強大的移動應用分析工具。開發者只需要簡單到一行代碼, 就可以跟蹤他們想要的關於他們應用的任何信息。開發者接下來只需要做一些Dashboard或者查詢的工作就可以了。
5. Mortar Data
Mortar Data是專為開發者打造的Hadoop開發平台,它用Pig和Python的組合替代了MapRece以便開發者能簡單地編寫Hadoop管道(Pipeline)。
6. Placed Analytics
利用腳本語言以及API, PlacedAnalytics能夠提供針對移動和網路應用的詳細用戶行為分析。包括, 用戶使用時間和地理位置信息。 這些可以幫助開發者的應用更好地吸引廣告商, 也可以幫助開發者對自己的應用進行改善。
7. Ingres Corp
它擁有超過一萬客戶而且正在擴增。它通過Vectorwise以及對ParAccel實現了擴展。這些發展分別導致了Actian Vector和Actian Matrix的創建。它有Apache,Cloudera,Hortonworks以及其他發行版本可供選擇。
8. Talend Open Studio
Talend是一個統一的平台,它通過提供一個統一的,跨企業邊界生命周期管理的環境,使數據管理和應用更簡單便捷。這種設計可以幫助企業構建靈活、高性能的企業架構,在次架構下,集成並啟用百分之百開源服務的分布式應用程序變為可能。
9. Cloudera
Cloudera正在努力為開源Hadoop,提供支持,Hadoop可以作為目標數據倉庫,高效的數據平台,或現有數據倉庫的ETL來源。企業規模可以用作集成Hadoop與傳統數據倉庫的基礎。 Cloudera致力於成為數據管理的「重心」。
10. Pentaho Business Analytics
Pentaho的工具可以連接到NoSQL資料庫,有很多內置模塊,可以把它們拖放到一個圖片上, 然後將它們連接起來。
㈣ 建立資料庫要用什麼軟體
那要看你干什麼了,資料庫的軟體很多,一般應用就用微軟的access,要是企業級應用可以用的有微軟的sql
server,ibm的db2,甲骨文的oracle這些。
㈤ 資料庫開發工具有哪些
您好!作為資深資料庫管理開發人員,我使用 Navicat 作為資料庫管理開發工具,原因是它比較其他工具更穩定、安全、好用!
Navicat Premium 是一套可創建多個連接的資料庫管理工具,用以方便管理 MySQL、Oracle、PostgreSQL、SQLite、SQL Server、MariaDB 和 MongoDB 等不同類型的資料庫,它與阿里雲、騰訊雲、華為雲、Amazon RDS、Amazon Aurora、Amazon Redshift、Microsoft Azure、Oracle Cloud 和 MongoDB Atlas等雲資料庫兼容。你可以創建、管理和維護資料庫。Navicat 的功能足以滿足專業開發人員的所有需求,但是對資料庫伺服器初學者來說又簡單易操作。Navicat 的用戶界面 (GUI) 設計良好,讓你以安全且簡單的方法創建、組織、訪問和共享信息。
另外,目前他們應該也在支持國產阿里 OceanBase 資料庫。並且會在不久的將來支持Redis。