導航:首頁 > 數據分析 > 大資料庫是什麼開始的

大資料庫是什麼開始的

發布時間:2024-03-12 20:05:21

資料庫的應用是什麼

問題一:資料庫到底是做什麼的,和應用程序是什麼關系? 資料庫(Database)是按照數據結構來組織、存儲和管理數據的倉庫,它產生於距今五十年前,隨著信息技術和市場的發展,特別是二十世紀九十年代以後,數據管理不再僅僅是存儲和管理數據,而轉變成用戶所需要的各種數據管理的方式。資料庫有很多種類型,從最簡單的存儲有各種數據的表格到能夠進行海量數據存儲的大型資料庫系統都在各個方面得到了廣泛的應用。
以上是網路的描述。
其實按我的理解,資料庫就是可以系統的管理存儲數據,例如你有大量的數據,只是用一些普通文件(如文本文件)來存儲,想想看,當你想從中提取一項或一類信息時(特別是存儲數據的文件還比較多時),是一件非常麻煩的事,但是有了資料庫來存儲管理,就很好辦了,只要輸入查詢條件,即使數據非常多也可以很快的提取有用的信息。而且用資料庫來存儲數據,可以有效的控制操作許可權,例如管理員和用戶的許可權是有區別的,不同的用戶的許可權也是有區別的,讓不同的用戶看到管理員想讓他們看到的信息。你可以多上網搜搜,一定能找到你想找的的信息。

問題二:資料庫應用系統的作用是什麼 1、資料庫的作用:
資料庫是計算機應用系統中的一種專門管理數據資源的系統。
⑴ 實現數據共享
數據共享包含所有用戶可同時存取資料庫中的數據,也包括用戶可以用各種方式通過介面使用資料庫,並提供數據共享。
⑵ 減少數據的冗餘度
同文件系統相比,由於資料庫實現了數據共享,從而避免了用戶各自建立應用文件。減少了大量重復數據,減少了數據冗餘,維護了數據的一致性。
⑶ 數據的獨立性
數據的獨立性包括邏輯獨立性(資料庫中資料庫的邏輯結構和應用程序相互獨立)和物理獨立性(數據物理結構的變化不影響數據的邏輯結構)。
⑷ 數據實現集中控制
文件管理方式中,數據處於一種分散的狀態,不同的用戶或同一用戶在不同處理中其文件之間毫無關系。利用資料庫可對數據進行集中控制和管理,並通過數據模型表示各種數據的組織以及數據間的聯系。
⑸蔽蔽數據一致性和可維護性,以確保數據的安全性和可靠性
主要包括:安全性控制、完整性控制、並發控制,使在同一時間周期內,允許對數據實現多路存取,又能防止用戶之間的不正常交互作用。
⑹ 故障恢復
由資料庫管理系統提供一套方法,可及時發現故障和修復故障,從而防止數據被破壞。資料庫系統能盡快恢復資料庫系統運行時出現的故障,可能是物理上或是邏輯上的錯誤。比如對系統的誤操作造成的數據錯誤等。

問題三:資料庫軟體 是干什麼用的 資料庫:是按一定的數據模型組織長期地存儲在計算機存儲的設備上,具有共享性、安全性、獨立性、冗餘度低的相關數據的 *** 。用於數據管理的軟體系統。
資料庫通常包括兩個部分:一是按一定的數據模型組織並實際存儲的所有用戶可以直接伐使用的數據;二是有關資料庫的定義的數據,用來描述相關的數據的結構、類型、格式、隱和關系、完整性的約束等。

問題四:資料庫應用軟體的概念是什麼 資料庫技術涉及到許多基本概念,主要包括數據、數據處理、資料庫、資料庫管理系統以及資料庫系統等。
1.數據
數據是指存儲在某一種媒體上能夠識別的物理符號。數據的概念包括兩個方面:其一是描述事物特性的數據內容;其二是存儲在某一種媒體上的數據形式。
2.數據處理
數據處理是指對各種形式的數據進行收集、存儲、加工和傳播的一系列活動的總和。其目的之一是從大量的、原始的數據中抽取、推導出對人們有價值的信息以作為行動和決策的依據;目的之二是為了藉助計算機科學地保存和管理復雜的、大量的數據,以便人們能夠方便而充分地利用這些寶貴的信息資源。
3.數據灶並盯庫
資料庫是與特定的主題或目的相關的數據的 *** 。資料庫可以直觀地理解為存放數據的倉庫,只不過這個倉庫是在計算機的大容量存儲器上(例如,硬碟就是一種最常見的計算機大容量存儲設備)。而且數據必須按照一定的格式存放,因為它不僅需要存放,而且還要便於查找。
可以認為資料庫是被長期存放在計算機內、有組織的、可以表現為多種形式的可共享的數據 *** 。資料庫技術使數據能按一定格式組織、描述和存儲,且具有較小的冗餘度,較高的數據獨立性和易擴展性,並可為多個用戶所共享。
4.資料庫管理系統
資料庫管理系統(DataBase Management System,簡稱DBMS)是對資料庫進行管理的系統軟體,它的職能是有效地組織和存儲數據,獲取和管理數據,接受和完成用戶提出的訪問數據的各種請求。
資料庫管理系統主要功能包括以下幾個方面。
(1)數據定義功能
DBMS提供了數據定義語言DDL(Data Definition Language),用戶通過它可以方便地對資料庫中的相關內容進行定義。例如,對資料庫、表、索引進行定義。 (2)數據操縱功能
DBMS提供了數據操縱語言DML(Data Manipulation Language),用戶通過它可以實現對資料庫的基本操作。例如,對表中數據的查詢、插入、刪除和修改。
(3)資料庫運行控制功能
這是DBMS的核心部分,它包括並發控制(即處理多個用戶同時使用某些數據時可能產生的問題)、安全性檢查、完整性約束條件的檢查和執行、資料庫的內部維護(例如,索引的自動維護)等。所有資料庫的操作都要在這些控製程序的統一管理下進行,以保證數據的安全性、完整性以及多個用戶對資料庫的並發使用。
(4)資料庫的建立和維護功能
資料庫的建立和維護功能包括資料庫初始數據的輸入、轉換功能,資料庫的轉儲、恢復功能,資料庫的重新組織功能和性能監視、分析功能等。這些功能通常是由一些實用程序完成的。它是資料庫管理系統的一個重要組成部分。
5.資料庫系統
資料庫系統是指擁有資料庫技術支持的計算機系統,它可以實現有組織地、動態地存儲大量相關數據,提供數據處理和信息資源共享服務。資料庫系統不僅包括數據本身,即實際存儲在計算機中的數據,還包括相應的硬體、軟體和各類人員。

問題五:資料庫應用軟體的概念是什麼 這個需要弄明白 「資料庫應用軟體」指的是什麼?
比如我用 access 開發出一個 通訊錄軟體, 那麼此時資料庫應用軟體指的是「access」呢還是「通訊錄軟體」;
如果是後者的話,就無法確定 概念和組成了;如果指的是資料庫軟體,那麼可以參考下網路中「資料庫管理系統」相應的內容
資料庫管理系統(database managementsystem)是一種操縱和管理資料庫的大型軟體,是用於建立、使用和維護資料庫,簡稱dbms。它對資料庫進行統一的管理和控制,以保證資料庫的安全性和完整性。用戶通過d膽ms訪問資料庫中的數據,資料庫管理員也通過dbms進行資料庫的維護工作。
全文見
ke./view/68446

問題六:資料庫應用系統是什麼? 資料庫應用系統是在資料庫管理系統(DBMS)支持下建立的計算機應用系統,簡寫為DBAS。資料庫應用系統是由資料庫系統、應用程序系統、用戶組成的,具體包括:資料庫、資料庫管理系統、資料庫管理員、硬體平台、叮件平台、應用軟體、應用界面。 資料庫應用系統的7個部分以一定的邏輯層次結構方式組成一個有機的整體,它們的結構關系是:應用系統、應用開發工具軟體、資料庫管理系統、操作系統、硬體。例如,以資料庫為基礎的財務管理系統、人事管理系統、圖書管理系統等等。無論是面向內部業務和管理的管理信息系統,還是面向外部,提供信息服務的開放式信息系統,從實現技術角度而言,都是以資料庫為基礎和核心的計算機應用系統。

問題七:常用的資料庫軟體有哪些?它們的優缺點是什麼? 目前,商品化的資料庫管理系統以關系型資料庫為主導產品,技術比較成熟。面向對象的資料庫管理系統雖然技術先進,資料庫易於開發、維護,但尚未有成熟的產品。國際國內的主導關系型資料庫管理系統有Oracle、Sybase、INFORMIX和INGRES。這些產品都支持多平台,如 UNIX、VMS、Windows,但支持的程度不一樣。IBM的DB2也是成熟的關系型資料庫。但是,DB2是內嵌於IBM的AS/400系列機中,只支持OS/400操作系統。
1.MySQL
MySQL是最受歡迎的開源SQL資料庫管理系統,它由 MySQL AB開發、發布和支持。MySQL AB是一家基於MySQL開發人員的商業公司,它是一家使用了一種成功的商業模式來結合開源價值和方法論的第二代開源公司。MySQL是MySQL AB的注冊商標。
MySQL是一個快速的、多線程、多用戶和健壯的SQL資料庫伺服器。MySQL伺服器支持關鍵任務、重負載生產系統的使用,也可以將它嵌入到一個大配置(mass- deployed)的軟體中去。
與其他資料庫管理系統相比,MySQL具有以下優勢:
(1)MySQL是一個關系資料庫管理系統。
(2)MySQL是開源的。
(3)MySQL伺服器是一個快速的、可靠的和易於使用的資料庫伺服器。
(4)MySQL伺服器工作在客戶/伺服器或嵌入系統中。
(5)有大量的MySQL軟體可以使用。
2.SQL Server
SQL Server是由微軟開發的資料庫管理系統,是Web上最流行的用於存儲數據的資料庫,它已廣泛用於電子商務、銀行、保險、電力等與資料庫有關的行業。
目前最新版本是SQL Server 2005,它只能在Windows上運行,操作系統的系統穩定性對資料庫十分重要。並行實施和共存模型並不成熟,很難處理日益增多的用戶數和數據卷,伸縮性有限。
SQL Server 提供了眾多的Web和電子商務功能,如對XML和Internet標準的豐富支持,通過Web對數據進行輕松安全的訪問,具有強大的、靈活的、基於Web的和安全的應用程序管理等。而且,由於其易操作性及其友好的操作界面,深受廣大用戶的喜愛。
3.Oracle
提起資料庫,第一個想到的公司,一般都會是Oracle(甲骨文)。該公司成立於1977年,最初是一家專門開發資料庫的公司。Oracle在資料庫領域一直處於領先地位。 1984年,首先將關系資料庫轉到了桌面計算機上。然後,Oracle5率先推出了分布式資料庫、客戶/伺服器結構等嶄新的概念。Oracle 6首創行鎖定模式以及對稱多處理計算機的支持……最新的Oracle 8主要增加了對象技術,成為關系―對象資料庫系統。目前,Oracle產品覆蓋了大、中、小型機等幾十種機型,Oracle資料庫成為世界上使用最廣泛的關系數據系統之一。
Oracle資料庫產品具有以下優良特性。
(1)兼容性
Oracle產品採用標准SQL,並經過美國國家標准技術所(NIST)測試。與IBM SQL/DS、DB2、INGRES、IDMS/R等兼容。
(2)可移植性
Oracle的產品可運行於很寬范圍的硬體與操作系統平台上。可以安裝在70種以上不同的大、中、小型機上;可在VMS、DOS、UNIX、Windows等多種操作系統下工作。
(3)可聯結性
Oracle能與多種通訊網路相連,支持各種協議(TCP......>>

問題八:請問專用的資料庫是屬於什麼軟體? 資料庫屬於系統軟體還是應用軟體呢.
軟體是計算機的靈魂,沒有軟體的計算機就如同沒有磁帶的錄音機和沒有錄像帶的錄像機一樣,與廢鐵沒什麼差別。使用不同的計算機軟體,計算機可以完成許許多多不同的工作。它使計算機具有非凡的靈活性和通用性。也正是這一原因,決定了計算機的任何動作都離不開由人安排的指令。人們針對某一需要而為計算機編制的指令序列稱為程序。程序連同有關的說明資料稱為軟體。配上軟體的計算機才成為完整的計算機系統。
一般把軟體分為兩大類:應用軟體和系統軟體。
一、應用軟體
應用軟體是專門為某一應用目的而編制的軟體,較常見的如:
1、文字處理軟體
用於輸入、存貯、修改、編輯、列印文字材料等,例如WORD、WPS等。
2、信息管理軟體
用於輸入、存貯、修改、檢索各種信息,例如工資管理軟體、人事管理軟體、倉庫管理軟體、計劃管理軟體等。這種軟體發展到一定水平後,各個單項的軟體相互連系起來,計算機和管理人員組成一個和諧的整體,各種信息在其中合理地流動,形成一個完整、高效的管理信息系統,簡稱MIS。
3、輔助設計軟體
用於高效地繪制、修改工程圖紙,進行設計中的常規計算,幫助人尋求好設計方案。
4、實時控制軟體
用於隨時搜集生產裝置、飛行器等的運行狀態信息,以此為依據按預定的方案實施自動或半自動控制,安全、准確地完成任務。
二、系統軟體
各種應用軟體,雖然完成的工作各不相同,但它們都需要一些共同的基礎操作,例如都要從輸入設備取得數據,向輸出設備送出數據,向外存寫數據,從外存讀數據,對數據的常規管理,等等。這些基礎工作也要由一系列指令來完成。人們把這些指令集中組織在一起,形成專門的軟體,用來支持應用軟體的運行,這種軟體稱為系統軟體。
系統軟體在為應用軟體提供上述基本功能的同時,也進行著對硬體的管理,使在一台計算機上同時或先後運行的不同應用軟體有條不紊地合用硬體設備。例如,兩個應用軟體都要向硬碟存入和修改數據,如果沒有一個協調管理機構來為它們劃定區域的話,必然形成互相破壞對方數據的局面。
有代表性的系統軟體有:
1、操作系統
管理計算機的硬體設備,使應用軟體能方便、高效地使用這些設備。在微機上常見的有:DOS、WINDOWS、UNIX、OS/2等
2、資料庫管理系統
有組織地、動態地存貯大量數據,使人們能方便、高效地使用這些數據。現在比較流行的資料庫有FoxPro、DB-2、Access、SQL-server等
3、編譯軟體
CPU執行每一條指令都只完成一項十分簡單的操作,一個系統軟體或應用軟體,要由成千上萬甚至上億條指令組合而成。直接用基本指令來編寫軟體,是一件極其繁重而艱難的工作。為了提高效率,人們規定一套新的指令,稱為高級語言,其中每一條指令完成一項操作,這種操作相對於軟體總的功能而言是簡單而基本的,而相對於CPU的一眇操作而言又是復雜的。
用這種高級語言來編寫程序(稱為源程序)就象用預制板代替磚塊來造房子,效率要高得多。但CPU並不能直接執行這些新的指令,需要編寫一個軟體,專門用來將源程序中的每條指令翻譯成一系列CPU能接受的基本指令(也稱機器語言)使源程序轉化成能在計算機上運行的程序。完成這種翻譯的軟體稱為高級語言編譯軟體,通常把它們歸入系統軟體。目前常用的高級語言有VB、C++、JAVA等,它們各有特點,分別適用於編寫某一類型的程序,它們都有各自的編譯軟體。...>>

問題九:資料庫管理系統是一種什麼軟體 選擇C計算機的軟體分為系統軟體和應用軟體。系統軟體是為了計算機能正常、高效工件所配備的各種管理、監控和維護系統的程序及其有關資料。系統軟體主要包括如下幾個方面: (1) 操作系統軟體,這是軟體的核心 (2) 各種語言的解釋程序和編譯程序(如BASIC語言解釋程序等) (3) 各種服務性程序(如機器的調試、故障檢查和診斷程序等) (4) 各種資料庫管理系統(Oracle、Syabse等)

大數據時代是什麼意思大數據是在什麼背景下提出的

大數據時代:

最早提出大數據時代到來的是全球知名咨詢公司麥肯錫, 大數據在物理學、生物學、環境生態學等領域以及軍事、金融、通訊等行業存在已有時日,卻因為近年來互聯網和信息行業的發展而引起人們關注。

大數據提出的背景:

進入2012年,大數據(big data)一詞越來越多地被提及,人們用它來描述和定義信息爆炸時代產生的海量數據,並命名與之相關的技術發展與創新。

它已經上過《紐約時報》《華爾街日報》的專欄封面,進入美國白宮官網的新聞,現身在國內一些互聯網主題的講座沙龍中,甚至被嗅覺靈敏的國金證券、國泰君安、銀河證券等寫進了投資推薦報告。

數據正在迅速膨脹並變大,它決定著企業的未來發展,雖然很多企業可能並沒有意識到數據爆炸性增長帶來問題的隱患,但是隨著時間的推移,人們將越來越多的意識到數據對企業的重要性。

正如《紐約時報》2012年2月的一篇專欄中所稱,「大數據」時代已經降臨,在商業、經濟及其他領域中,決策將日益基於數據和分析而作出,而並非基於經驗和直覺。

哈佛大學社會學教授加里·金說:「這是一場革命,龐大的數據資源使得各個領域開始了量化進程,無論學術界、商界還是政府,所有領域都將開始這種進程。」

(2)大資料庫是什麼開始的擴展閱讀

大數據影響

現在的社會是一個高速發展的社會,科技發達,信息流通,人們之間的交流越來越密切,生活也越來越方便,大數據就是這個高科技時代的產物。

隨著雲時代的來臨,大數據(Big data)也吸引了越來越多的關注。大數據(Big data)通常用來形容一個公司創造的大量非結構化和半結構化數據,這些數據在下載到關系型資料庫用於分析時會花費過多時間和金錢。

大數據分析常和雲計算聯繫到一起,因為實時的大型數據集分析需要像MapRece一樣的框架來向數十、數百或甚至數千的電腦分配工作。

在現今的社會,大數據的應用越來越彰顯他的優勢,它佔領的領域也越來越大,電子商務、O2O、物流配送等,各種利用大數據進行發展的領域正在協助企業不斷地發展新業務,創新運營模式。

有了大數據這個概念,對於消費者行為的判斷,產品銷售量的預測,精確的營銷范圍以及存貨的補給已經得到全面的改善與優化。

「大數據」在互聯網行業指的是這樣一種現象:互聯網公司在日常運營中生成、累積的用戶網路行為數據。這些數據的規模是如此龐大,以至於不能用G或T來衡量。

大數據到底有多大?一組名為「互聯網上一天」的數據告訴我們,一天之中,互聯網產生的全部內容可以刻滿1.68億張DVD;發出的郵件有2940億封之多(相當於美國兩年的紙質信件數量)。

發出的社區帖子達200萬個(相當於《時代》雜志770年的文字量);賣出的手機為37.8萬台,高於全球每天出生的嬰兒數量37.1萬……

截止到2012年,數據量已經從TB(1024GB=1TB)級別躍升到PB(1024TB=1PB)

EB(1024PB=1EB)乃至ZB(1024EB=1ZB)級別。國際數據公司(IDC)的研究結果表明,2008年全球產生的數據量為0.49ZB,2009年的數據量為0.8ZB,2010年增長為1.2ZB,2011年的數量更是高達1.82ZB,相當於全球每人產生200GB以上的數據。

而到2012年為止,人類生產的所有印刷材料的數據量是200PB,全人類歷史上說過的所有話的數據量大約是5EB。IBM的研究稱,整個人類文明所獲得的全部數據中,有90%是過去兩年內產生的。而到了2020年,全世界所產生的數據規模將達到今天的44倍。

每一天,全世界會上傳超過5億張圖片,每分鍾就有20小時時長的視頻被分享。然而,即使是人們每天創造的全部信息——包括語音通話、電子郵件和信息在內的各種通信,以及上傳的全部圖片、視頻與音樂,其信息量也無法匹及每一天所創造出的關於人們自身的數字信息量。

這樣的趨勢會持續下去。我們現在還處於所謂「物聯網」的最初級階段,而隨著技術成熟,我們的設備、交通工具和迅速發展的「可穿戴」科技將能互相連接與溝通。

科技的進步已經使創造、捕捉和管理信息的成本降至2005年的六分之一,而從2005年起,用在硬體、軟體、人才及服務之上的商業投資也增長了整整50%,達到了4000億美元。

大數據的精髓

大數據帶給我們的三個顛覆性觀念轉變:是全部數據,而不是隨機采樣;是大體方向,而不是精確制導;是相關關系,而不是因果關系。

A.不是隨機樣本,而是全體數據:在大數據時代,我們可以分析更多的數據,有時候甚至可以處理和某個特別現象相關的所有數據,而不再依賴於隨機采樣(隨機采樣,以前我們通常把這看成是理所應當的限制,但高性能的數字技術讓我們意識到,這其實是一種人為限制);

B.不是精確性,而是混雜性:研究數據如此之多,以至於我們不再熱衷於追求精確度;之前需要分析的數據很少,所以我們必須盡可能精確地量化我們的記錄,隨著規模的擴大,對精確度的痴迷將減弱;擁有了大數據,我們不再需要對一個現象刨根問底,只要掌握了大體的發展方向即可。

適當忽略微觀層面上的精確度,會讓我們在宏觀層面擁有更好的洞察力;

C.不是因果關系,而是相關關系:我們不再熱衷於找因果關系,尋找因果關系是人類長久以來的習慣,在大數據時代,我們無須再緊盯事物之間的因果關系,而應該尋找事物之間的相關關系;相關關系也許不能准確地告訴我們某件事情為何會發生,但是它會提醒我們這件事情正在發生。

㈢ 資料庫發展歷史是什麼

資料庫對於普通人來講
就可以簡單理解為有固定格式的數據集合,
專門為解決某一類數據保存和計算問題而存在的,
就像單位用的各種各樣的報表和單據,
只不過軟體會幫你保存管理這些單據和報表在計算機上,
幫你計算求和等等操作 生成你想要的各種數據報告。

利用資料庫軟體和計算機的高速運算特性,
可以大大提高工作效率和正確性。
減少工作時間成本和人力成本。

沒有他們也可以,但是你不得不用手工的辦法處理數據,
不管數據量多少都一樣。

㈣ 大數據的基本概念是什麼

大數據是指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

㈤ 大數據是什麼意思,大數據概念怎麼理解

大數據(big data),指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

對於「大數據」(Big data)研究機構Gartner給出了這樣的定義。「大數據」是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。

麥肯錫全球研究所給出的定義是:一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統資料庫軟體工具能力范圍的數據集合,具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特徵。

大數據技術的戰略意義不在於掌握龐大的數據信息,而在於對這些含有意義的數據進行專業化處理。換而言之,如果把大數據比作一種產業,那麼這種產業實現盈利的關鍵,在於提高對數據的「加工能力」,通過「加工」實現數據的「增值」。

從技術上看,大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理,必須採用分布式架構。它的特色在於對海量數據進行分布式數據挖掘。但它必須依託雲計算的分布式處理、分布式資料庫和雲存儲、虛擬化技術。

隨著雲時代的來臨,大數據(Big data)也吸引了越來越多的關注。分析師團隊認為,大數據(Big data)通常用來形容一個公司創造的大量非結構化數據和半結構化數據,這些數據在下載到關系型資料庫用於分析時會花費過多時間和金錢。大數據分析常和雲計算聯繫到一起,因為實時的大型數據集分析需要像MapRece一樣的框架來向數十、數百或甚至數千的電腦分配工作。

大數據需要特殊的技術,以有效地處理大量的容忍經過時間內的數據。適用於大數據的技術,包括大規模並行處理(MPP)資料庫、數據挖掘、分布式文件系統、分布式資料庫、雲計算平台、互聯網和可擴展的存儲系統。

最小的基本單位是bit,按順序給出所有單位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。

㈥ 什麼是中文題錄文獻資料庫

這里的中文題錄應該指的的是中文文摘型資料庫,也就是說資料庫只有摘要信息,沒有全文。
版權因素,文摘庫國外比較普遍,但國內還是以全文資料庫為主,比如維普知網等,都是期刊全文庫。

㈦ 什麼是大數據時代

大數據時代

(巨量資料(IT行業術語))
編輯
最早提出「大數據」時代到來的是全球知名咨詢公司麥肯錫,麥肯錫稱:「數據,已經滲透到當今每一個行業和業務職能領域,成為重要的生產因素。人們對於海量數據的挖掘和運用,預示著新一波生產率增長和消費者盈餘浪潮的到來。」 「大數據」在物理學、生物學、環境生態學等領域以及軍事、金融、通訊等行業存在已有時日,卻因為近年來互聯網和信息行業的發展而引起人們關注。
中文名
大數據時代
外文名
Big data
提出者
麥肯錫
類 屬
科技名詞
目錄
1 產生背景
2 影響
▪ 大數據
▪ 大數據的精髓
▪ 數據價值
▪ 可視化
3 特徵
4 案例分析
5 產業崛起
6 提供依據
7 應對措施

產生背景
編輯

進入2012年,大數據(big data)一詞越來越多地被提及,人們用它來描述和定義信息爆炸時代產生的海量數
大數據時代來臨
據,並命名與之相關的技術發展與創新。它已經上過《紐約時報》《華爾街日報》的專欄封面,進入美國白宮官網的新聞,現身在國內一些互聯網主題的講座沙龍中,甚至被嗅覺靈敏的國金證券、國泰君安、銀河證券等寫進了投資推薦報告。[1]
數據正在迅速膨脹並變大,它決定著企業的未來發展,雖然很多企業可能並沒有意識到數據爆炸性增長帶來問題的隱患,但是隨著時間的推移,人們將越來越多的意識到數據對企業的重要性。
正如《紐約時報》2012年2月的一篇專欄中所稱,「大數據」時代已經降臨,在商業、經濟及其他領域中,決策將日益基於數據和分析而作出,而並非基於經驗和直覺。
哈佛大學社會學教授加里·金說:「這是一場革命,龐大的數據資源使得各個領域開始了量化進程,無論學術界、商界還是政府,所有領域都將開始這種進程。」[2]

影響
編輯

大數據
現在的社會是一個高速發展的社會,科技發達,信息流通,人們之間的交流越來越密切,生活也越來越方便,大數據就是這個高科技時代的產物。[3]
隨著雲時代的來臨,大數據(Big data)也吸引了越來越多的關注。大數據(Big data)通常用來形容一個公司創造的大量非結構化和半結構化數據,這些數據在下載到關系型資料庫用於分析時會花費過多時間和金錢。大數據分析常和雲計算聯繫到一起,因為實時的大型數據集分析需要像MapRece一樣的框架來向數十、數百或甚至數千的電腦分配工作。[2]
在現今的社會,大數據的應用越來越彰顯他的優勢,它佔領的領域也越來越大,電子商務、O2O、物流配送等,各種利用大數據進行發展的領域正在協助企業不斷地發展新業務,創新運營模式。有了大數據這個概念,對於消費者行為的判斷,產品銷售量的預測,精確的營銷范圍以及存貨的補給已經得到全面的改善與優化。[4]
「大數據」在互聯網行業指的是這樣一種現象:互聯網公司在日常運營中生成、累積的用戶網路行為數據。這些數據的規模是如此龐大,以至於不能用G或T來衡量。
大數據到底有多大?一組名為「互聯網上一天」的數據告訴我們,一天之中,互聯網產生的全部內容可以刻滿1.68億張DVD;發出的郵件有2940億封之多(相當於美國兩年的紙質信件數量);發出的社區帖子達200萬個(相當於《時代》雜志770年的文字量);賣出的手機為37.8萬台,高於全球每天出生的嬰兒數量37.1萬……[1]
截止到2012年,數據量已經從TB(1024GB=1TB)級別躍升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)級別。國際數據公司(IDC)的研究結果表明,2008年全球產生的數據量為0.49ZB,2009年的數據量為0.8ZB,2010年增長為1.2ZB,2011年的數量更是高達1.82ZB,相當於全球每人產生200GB以上的數據。而到2012年為止,人類生產的所有印刷材料的數據量是200PB,全人類歷史上說過的所有話的數據量大約是5EB。IBM的研究稱,整個人類文明所獲得的全部數據中,有90%是過去兩年內產生的。而到了2020年,全世界所產生的數據規模將達到今天的44倍。[5] 每一天,全世界會上傳超過5億張圖片,每分鍾就有20小時時長的視頻被分享。然而,即使是人們每天創造的全部信息——包括語音通話、電子郵件和信息在內的各種通信,以及上傳的全部圖片、視頻與音樂,其信息量也無法匹及每一天所創造出的關於人們自身的數字信息量。
這樣的趨勢會持續下去。我們現在還處於所謂「物聯網」的最初級階段,而隨著技術成熟,我們的設備、交通工具和迅速發展的「可穿戴」科技將能互相連接與溝通。科技的進步已經使創造、捕捉和管理信息的成本降至2005年的六分之一,而從2005年起,用在硬體、軟體、人才及服務之上的商業投資也增長了整整50%,達到了4000億美元。[5]

大數據的精髓
大數據帶給我們的三個顛覆性觀念轉變:是全部數據,而不是隨機采樣;是大體方向,而不是精確制導;是相關關系,而不是因果關系。[6]
A.不是隨機樣本,而是全體數據:在大數據時代,我們可以分析更多的數據,有時候甚至可以處理和某個特別現象相關的所有數據,而不再依賴於隨機采樣(隨機采樣,以前我們通常把這看成是理所應當的限制,但高性能的數字技術讓我們意識到,這其實是一種人為限制);
B.不是精確性,而是混雜性:研究數據如此之多,以至於我們不再熱衷於追求精確度;之前需要分析的數據很少,所以我們必須盡可能精確地量化我們的記錄,隨著規模的擴大,對精確度的痴迷將減弱;擁有了大數據,我們不再需要對一個現象刨根問底,只要掌握了大體的發展方向即可,適當忽略微觀層面上的精確度,會讓我們在宏觀層面擁有更好的洞察力;
C.不是因果關系,而是相關關系:我們不再熱衷於找因果關系,尋找因果關系是人類長久以來的習慣,在大數據時代,我們無須再緊盯事物之間的因果關系,而應該尋找事物之間的相關關系;相關關系也許不能准確地告訴我們某件事情為何會發生,但是它會提醒我們這件事情正在發生。

數據價值
大數據時代,什麼最貴?
十年前,葛大爺曾說過,「21世紀什麼最貴?」——「人才」,深以為然。只是,十年後的今天,大數據時代也帶來了身價不斷翻番的各種數據。由於急速拓展的網路帶寬以及各種穿戴設備所帶來的大量數據,數據的增長從未停歇,甚至呈井噴式增長。[7]
一分鍾內,微博推特上新發的數據量超過10萬;社交網路「臉譜」的瀏覽量超過600萬……
這些龐大數字,意味著什麼?
它意味著,一種全新的致富手段也許就擺在面前,它的價值堪比石油和黃金。
事實上,當你仍然在把微博等社交平台當作抒情或者發議論的工具時,華爾街的斂財高手們卻正在挖掘這些互聯網的「數據財富」,先人一步用其預判市場走勢,而且取得了不俗的收益。
讓我們一起來看看——他們是怎麼做的。
這些數據都能幹啥。具體有六大價值:
●1、華爾街根據民眾情緒拋售股票;
●2、對沖基金依據購物網站的顧客評論,分析企業產品銷售狀況;
●3、銀行根據求職網站的崗位數量,推斷就業率;
●4、投資機構搜集並分析上市企業聲明,從中尋找破產的蛛絲馬跡;
●5、美國疾病控制和預防中心依據網民搜索,分析全球范圍內流感等病疫的傳播狀況;
●6、美國總統奧巴馬的競選團隊依據選民的微博,實時分析選民對總統競選人的喜好。[1]

可視化
「數據是新的石油。」亞馬遜前任首席科學家Andreas Weigend說。Instagram以10億美元出售之時,成立於1881年的世界最大影像產品及服務商柯達正申請破產。
大數據是如此重要,以至於其獲取、儲存、搜索、共享、分析,乃至可視化地呈現,都成為了當前重要的研究課題[1] 。
「當時時變幻的、海量的數據出現在眼前,是怎樣一幅壯觀的景象?在後台注視著這一切,會不會有接近上帝俯視人間星火的感覺?」
這個問題我曾請教過劉建國,中國著名的搜索引擎專家。劉曾主持開發過國內第一個大規模中英文搜索引擎系統「天網」。
要知道,劉建國曾任至網路的首席技術官,在這樣一家每天需應對網民各種搜索請求1.7億次(2013年約為8.77億次)的網站中,如果只是在後台靜靜端坐,可能片刻都不能安心吧。網路果然在提供搜索服務之外,逐漸增添了網路指數,後又建立了基於網民搜索數據的重要產品「貼吧」及網路統計產品等。
劉建國沒有直接回答這個問題,他想了很久,似乎陷入了回憶,嘴角的笑容含著詭秘。
倒是有公司已經在大數據中有接近上帝俯視的感覺,美國洛杉磯就有企業宣稱,他們將全球夜景的歷史數據建立模型,在過濾掉波動之後,做出了投資房地產和消費的研究報告。
在數據可視化呈現方面,我最新接收到的故事是,一位在美國思科物流部門工作的朋友,很聰明的印度裔小夥子,被Facebook高價挖角,進入其數據研究小組。他後來驚訝地發現,裡面全是來自物流企業、供應鏈方面的技術人員和專家,「Facebook想知道,能不能用物流的角度和流程的方式,分析用戶的路徑和行為。」

特徵
編輯
數據量大(Volume)
第一個特徵是數據量大。大數據的起始計量單位至少是P(1000個T)、E(100萬個T)或Z(10億個T)。
類型繁多(Variety)
第二個特徵是數據類型繁多。包括網路日誌、音頻、視頻、圖片、地理位置信息等等,多類型的數據對數據的處理能力提出了更高的要求。
價值密度低(Value)
第三個特徵是數據價值密度相對較低。如隨著物聯網的廣泛應用,信息感知無處不在,信息海量,但價值密度較低,如何通過強大的機器演算法更迅速地完成數據的價值「提純」,是大數據時代亟待解決的難題。
速度快、時效高(Velocity)
第四個特徵是處理速度快,時效性要求高。這是大數據區分於傳統數據挖掘最顯著的特徵。
既有的技術架構和路線,已經無法高效處理如此海量的數據,而對於相關組織來說,如果投入巨大採集的信息無法通過及時處理反饋有效信息,那將是得不償失的。可以說,大數據時代對人類的數據駕馭能力提出了新的挑戰,也為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。[2]

案例分析
編輯
個案一
你開心他就買你焦慮他就拋[2]
華爾街「德溫特資本市場」公司首席執行官保羅·霍廷每天的工作之一,就是利用電腦程序分析全球3.4億微博賬戶的留言,進而判斷民眾情緒,再以「1」到「50」進行打分。根據打分結果,霍廷再決定如何處理手中數以百萬美元計的股票。
霍廷的判斷原則很簡單:如果所有人似乎都高興,那就買入;如果大家的焦慮情緒上升,那就拋售。
這一招收效顯著——當年第一季度,霍廷的公司獲得了7%的收益率。
個案二
國際商用機器公司(IBM)估測,這些「數據」值錢的地方主要在於時效。對於片刻便能定輸贏的華爾街,這一時效至關重要。曾經,華爾街2%的企業搜集微博等平台的「非正式」數據;如今,接近半數企業採用了這種手段。
●「社會流動」創業公司在「大數據」行業生機勃勃,和微博推特是合作夥伴。它分析數據,告訴廣告商什麼是正確的時間,誰是正確的用戶,什麼是應該發表的正確內容,備受廣告商熱愛。
●通過喬希·詹姆斯的Omniture(著名的網頁流量分析工具)公司,你可以知道有多少人訪問你的網站,以及他們呆了多長時間——這些數據對於任何企業來說都至關重要。詹姆斯把公司賣掉,進賬18億美元。
●微軟專家吉拉德喜歡把這些「大數據」結果可視化:他把客戶請到辦公室,將包含這些公司的數據圖譜展現出來——有些是普通的時間軸,有些像蒲公英,有些則是鋪滿整個畫面的泡泡,泡泡中顯示這些客戶的粉絲正在談論什麼話題。
●「臉譜」數據分析師傑弗遜的工作就是搭建數據分析模型,弄清楚用戶點擊廣告的動機和方式。
處理和分析工具
用於分析大數據的工具主要有開源與商用兩個生態圈。
開源大數據生態圈:
1、Hadoop HDFS、HadoopMapRece, HBase、Hive 漸次誕生,早期Hadoop生態圈逐步形成。
2、. Hypertable是另類。它存在於Hadoop生態圈之外,但也曾經有一些用戶。
3、NoSQL,membase、MongoDb
商用大數據生態圈:
1、一體機資料庫/數據倉庫:IBM PureData(Netezza), OracleExadata, SAP Hana等等。
2、數據倉庫:TeradataAsterData, EMC GreenPlum, HPVertica 等等。
3、數據集市:QlikView、 Tableau 、 以及國內的Yonghong Data Mart 。

產業崛起
編輯
越來越多的政府、企業等機構開始意識到數據正在成為組織最重要的資產,數據分析能力正在成為組織的核心競爭力。具體有以下三大案例:
1、2012年3月22日,奧巴馬政府宣布投資2億美元拉動大數據相關產業發展,將「大數據戰略」上升為國家意志。奧巴馬政府將數據定義為「未來的新石油」,並表示一個國家擁有數據的規模、活性及解釋運用的能力將成為綜合國力的重要組成部分,未來,對數據的佔有和控制甚至將成為陸權、海權、空權之外的另一種國家核心資產。
2、聯合國也在2012年發布了大數據政務白皮書,指出大數據對於聯合國和各國政府來說是一個歷史性的機遇,人們如今可以使用極為豐富的數據資源,來對社會經濟進行前所未有的實時分析,幫助政府更好地響應社會和經濟運行。
3、而最為積極的還是眾多的IT企業。麥肯錫在一份名為《大數據,是下一輪創新、競爭和生產力的前沿》的專題研究報告中提出,「對於企業來說,海量數據的運用將成為未來競爭和增長的基礎」,該報告在業界引起廣泛反響。
IBM則提出,上一個十年,他們拋棄了PC,成功轉向了軟體和服務,而這次將遠離服務與咨詢,更多地專注於因大數據分析軟體而帶來的全新業務增長點。IBM執行總裁羅睿蘭認為,「數據將成為一切行業當中決定勝負的根本因素,最終數據將成為人類至關重要的自然資源。」
在國內,網路已經致力於開發自己的大數據處理和存儲系統;騰訊也提出2013年已經到了數據化運營的黃金時期,如何整合這些數據成為未來的關鍵任務。
事實上,自2009年以來,有關「大數據」 主題的並購案層出不窮,且並購數量和規模呈逐步上升的態勢。其中,Oracle對Sun、惠普對Autonomy兩大並購案總金額高達176億美元,大數據的產業價值由此可見一斑。[1-2]

提供依據
編輯
大數據是信息通信技術發展積累至今,按照自身技術發展邏輯,從提高生產效率向更高級智能階段的自然生長。無處不在的信息感知和採集終端為我們採集了海量的數據,而以雲計算為代表的計算技術的不斷進步,為我們提供了強大的計算能力,這就圍繞個人以及組織的行為構建起了一個與物質世界相平行的數字世界[1-2] 。
大數據雖然孕育於信息通信技術的日漸普遍和成熟,但它對社會經濟生活產生的影響絕不限於技術層面,更本質上,它是為我們看待世界提供了一種全新的方法,即決策行為將日益基於數據分析做出,而不是像過去更多憑借經驗和直覺做出。
事實上,大數據的影響並不僅僅限於信息通信產業,而是正在「吞噬」和重構很多傳統行業,廣泛運用數據分析手段管理和優化運營的公司其實質都是一個數據公司。麥當勞、肯德基以及蘋果公司等旗艦專賣店的位置都是建立在數據分析基礎之上的精準選址。而在零售業中,數據分析的技術與手段更是得到廣泛的應用,傳統企業如沃爾瑪通過數據挖掘重塑並優化供應鏈,新崛起的電商如卓越亞馬遜、淘寶等則通過對海量數據的掌握和分析,為用戶提供更加專業化和個性化的服務。
最讓人吃驚的例子是,社交媒體監測平台DataSift監測了Facebook(臉譜) IPO當天Twitter上的情感傾向與Facebook股價波動的關聯。在Facebook開盤前Twitter上的情感逐漸轉向負面,25分鍾之後Facebook的股價便開始下跌。而當Twitter上的情感轉向正面時,Facebook股價在8分鍾之後也開始了回彈。最終當股市接近收盤、Twitter上的情感轉向負面時,10分鍾後Facebook的股價又開始下跌。最終的結論是:Twitter上每一次情感傾向的轉向都會影響Facebook股價的波動。
這僅僅只是基於社交網路產生的大數據「預見未來」的眾多案例之一,此外還有谷歌通過網民搜索行為預測流感爆發等例子。不僅在商業方面,大數據在社會建設方面的作為同樣令人驚嘆,智能電網、智慧交通、智慧醫療、智慧環保、智慧城市等的蓬勃興起,都與大數據技術與應用的發展息息相關。
「大數據」可能帶來的巨大價值正漸漸被人們認可,它通過技術的創新與發展,以及數據的全面感知、收集、分析、共享,為人們提供了一種全新的看待世界的方法。更多地基於事實與數據做出決策,這樣的思維方式,可以預見,將推動一些習慣於靠「差不多」運行的社會發生巨大變革。

應對措施
編輯
一個好的企業應該未雨綢繆,從現在開始就應該著手准備,為企業的後期的數據收集和分析做好准備,企業可以從下面六個方面著手,這樣當面臨鋪天蓋地的大數據的時候,以確保企業能夠快速發展,具體為下面六點。
目標
幾乎每個組織都可能有源源不斷的數據需要收集,無論是社交網路還是車間感測器設備,而且每個組織都有大量的數據需要處理,IT人員需要了解自己企業運營過程中都產生了什麼數據,以自己的數據為基準,確定數據的范圍。
准則
雖然每個企業都會產生大量數據,而且互不相同、多種多樣的,這就需要企業IT人員在現在開始收集確認什麼數據是企業業務需要的,找到最能反映企業業務情況的數據。
重新評估
大數據需要在伺服器和存儲設施中進行收集,並且大多數的企業信息管理體系結構將會發生重要大變化,IT經理則需要准備擴大他們的系統,以解決數據的不斷擴大,IT經理要了解公司現有IT設施的情況,以組建處理大數據的設施為導向,避免一些不必要的設備的購買。
重視大數據技術
大數據是最近幾年才興起的詞語,而並不是所有的IT人員對大數據都非常了解,例如如今的Hadoop,MapRece,NoSQL等技術都是2013年剛興起的技術,企業IT人員要多關注這方面的技術和工具,以確保將來能夠面對大數據的時候做出正確的決定。
培訓企業的員工
大多數企業最缺乏的是人才,而當大數據到臨的時候,企業將會缺少這方面的採集收集分析方面的人才,對於一些公司,特別是那種人比較少的公司,工作人員面臨大數據將是一種挑戰,企業要在平時的時候多對員工進行這方面的培訓,以確保在大數據到來時,員工也能適應相關的工作。
培養三種能力
Teradata大中華區首席執行官辛兒倫對新浪科技表示,隨著大數據時代的到來,企業應該在內部培養三種能力。第一,整合企業數據的能力;第二,探索數據背後價值和制定精確行動綱領的能力;第三,進行精確快速實時行動的能力。
做到上面的幾點,當大數據時代來臨的時候,面臨大量數據將不是束手無策,而是成竹在胸,而從數據中得到的好處也將促進企業快速發展。
望採納,謝謝

㈧ 人人都在說大數據,那大數據概念是怎麼產生的

概念產生:

「大數據」的名稱來自於未來學家托夫勒所著的《第三次浪潮》 盡管「大數據」這個詞直到最近才受到人們的高度關注,但早在1980年,著名未來學家托夫勒在其所著的《第三次浪潮》中就熱情地將「大數據」稱頌為「第三次浪潮的華彩樂章」。《自然》雜志在2008年9月推出了名為「大數據」的封面專欄。從2009年開始「大數據」才成為互聯網技術行業中的熱門詞彙。

㈨ 什麼是大型資料庫

大型資料庫是IBM公司開發
他有兩種資料庫類型;一種是關系資料庫,典型代表產品內:DB2;另一種則是層次資料庫容,代表產品:IMS層次資料庫。
大型資料庫的數據定義包括資料庫模式定義和外模式定義。大型資料庫的資料庫模式是物理資料庫記錄型的集合。每個物理資料庫記錄型對應於層次數據模型中的一個層次模式,由一個DBD定義。物理資料庫記錄型到存儲資料庫的映射包含在這個物理資料庫記錄型的DBD定義中。
大型資料庫的外模式是邏輯資料庫記錄型的集合。每個邏輯資料庫記錄型由一個PCB定義。一個邏輯資料庫記錄型到大型資料庫模式的映射包含在這個邏輯資料庫記錄型的PCB定義中。用戶是按照外模式操縱數據的。

閱讀全文

與大資料庫是什麼開始的相關的資料

熱點內容
費用較高的網路類型是 瀏覽:570
怎麼查看一個網站的後台 瀏覽:967
核桃編程有什麼用處 瀏覽:796
如何用文本把數據導入列印系統 瀏覽:629
電信5s3g能升級4g嗎 瀏覽:153
linux內核缺頁異常 瀏覽:258
word2010取消畫布 瀏覽:943
javajframe更新界面 瀏覽:63
機械硬碟u盤放不進4g文件 瀏覽:81
linux下如何復制黏貼 瀏覽:479
蘋果安裝ipa文件 瀏覽:757
5sqq分享視頻文件 瀏覽:67
華為各版本系統 瀏覽:145
編程中的封裝性是什麼意思 瀏覽:43
程序設計畢業答辯ppt 瀏覽:742
美版5s有鎖版本好 瀏覽:200
解壓文件電腦很卡 瀏覽:551
現金比率在哪個資料庫找到 瀏覽:682
c獲取路徑下所有文件 瀏覽:478
win10列印機離線 瀏覽:503

友情鏈接