大數據指多少內存的數據

『壹』 大數據是什麼多大的數據叫大數據

你好
多大的數據才算「大數據」
什麼是大數據有一個故事，說的是一位顧客訂購披薩時，披薩店可以立即調出這位顧客的許多信息，比如送披薩上門必有的家庭、單位等地址和電話，顧客的消費習慣從而推薦適合他的披薩種類，顧客名下的銀行卡透支情況從而確定他的支付方式，甚至顧客要自取披薩時，還能根據顧客名下車輛的停放位置預估他的到店時間等等。
從這個故事，我們可以看出大數據的一些關鍵特徵，比如容量大、類型多、關聯性強、有價值等等。「大數據是以高容量、多樣性、存取速度快、應用價值高為主要特徵的數據集合，正快速發展為對數量巨大、來源分散、格式多樣的數據進行採集、存儲和關聯分析，從中發現新知識、創造新價值、提升新能力的新一代信息技術和服務業態。」工信部信息化和軟體服務業司副司長李冠宇接受經濟日報·中國經濟網記者采訪時說。
若能給你帶來幫助，請幫忙點擊採納，謝謝！！！

『貳』 大數據是什麼，是怎麼帶動經濟發展的

大數據的概念

概念：難以用常規的資料庫工具獲取、存儲、管理、分析的數據集合。

特徵：

1、數據量大：起始單位是PB級的。

1KB=1024B

1MB=1024KB

1GB=1024MB

1TB=1024GB

1PB=1024TB

1EB=1024PB

1ZB=1024EB

2、類型多：

結構化、板結構化、非結構化：網諾日誌、音頻、視頻、圖片、地理位置等信息混雜。

3、價值密度低：

獲取數據的價值就像是淘金一般。

4、速度快時效高：

數據呈指數倍增長，時效性要求高，比如搜索引擎要求幾分鍾前的新聞能夠被用戶查詢到，個性化推薦演算法盡可能的完成實時推薦。

5、永遠在線：

大數據時代的數據是永遠在線的，隨時應用計算，這也是區別於傳統的數據的最大特徵。

大數據從哪來

1、搜索引擎服務

網路數據量1000PB，每天響應138個國家數十億次請求，每日新增10TB

2、電子商務

3、社交網路

QQ：8.5億用戶，用4400台伺服器存儲用戶產生的信息，壓縮後的數據100PB，每天新增200~300TB

4、音視頻在線服務

5、個人數據業務

6、地理信息數據

7、傳統企業

8、公共機構

智慧城市：攝像頭拍攝的圖片，1080P高清網路攝像機一月產生1.8TB數據，大點的城市50萬個攝像頭，一個月3PB的數據量。

醫療、中國的氣象系統。

大數據的存儲與計算模式

存儲：

面臨的問題：數據量大、類型復雜（結構化、非結構化、半結構化）

關鍵技術：

1、分布式文件系統（高效元數據管理技術、系統彈性擴展技術、存儲層級內的優化、針對應用和負載的存儲優化技術、針對存儲器件的優化技術）

2、分布式資料庫

事務性資料庫技術：NoSQL：（支持非關系資料庫、具有多個節點分割和復制數據的能力、用最終一致性機制解決並發讀操作與控制問題、充分利用分布式索引及內存提高性能）代表有：BigTable、HBase、MongoDB、Dynamo。

分析型的資料庫技術：Hive 、Impala

3、大數據索引和查詢技術

4、實時流式大數據存儲與處理技術

計算：

面臨的問題：數據結構特徵、並行計算（以分布式文件為基礎的Hadoop以分布式內存緩存為基礎的Spark）、數據獲取（批處理流處理）、數據處理類型（傳統查詢數據挖掘分析計算）、實時響應性能、迭代計算、數據關聯性（先map一下再rece一下）。

關鍵技術：

1、大數據查詢分析計算模式與技術：HBase、Hive、Cassandra、Impala

2、批處理計算：Hadoop MapRece、Spark

3、流式計算：Storm、Spark Steaming

4、圖計算：Giraph、GraphX

5、內存計算：Spark、Hana（SAP公司全內存式分布式資料庫系統）、Dremel

應用領域

1、智慧醫療（臨床數據、公共衛生數據、移動醫療健康數據）（共享疾病案例，基因分類參考）

2、智慧農業（主要指依據商業需求進行農產品生產，降低菜殘傷農概率）

3、金融行業：

精準的營銷：根據可與習慣進行推銷

風險管控：根據用戶的交易流水實施反欺詐

決策支持：抵押貸款這一塊，實施產業信貸的風險控制。

效率提升：加快內部數據處理。

產品設計：根據客戶的投資行為設計滿足客戶需求的金融產品。

4、零售行業（對零售商來說：精準營銷（降低營銷成本，擴大營銷額）；對廠商：降低產品過剩）

5、電子商務行業

6、電子政務

希望對您有所幫助！~

『叄』 多大的數據，才能稱為大數據呢

5. Veracity（真實性）

大數據就一定真實么？並沒有。為什麼這么說呢，想像一下當下泛濫的作弊流量吧，你還敢確保你的用戶數據並沒有虛假的嗎？所以，大數據也是可以造假的，我們一定要有一雙智慧的眼睛卻辨別大數據的好壞。

『肆』 大數據技術及應用

大數據技術及應用
半個世紀以來，隨著計算機技術全面融入社會生活，信息爆炸已經積累到了一個開始引發變革的程度。21世紀是數據信息大發展的時代，移動互聯、社交網路、電子商務等極大拓展了互聯網的邊界和應用范圍，各種數據正在迅速膨脹並變大。互聯網（社交、搜索、電商）、移動互聯網（微博）、物聯網（感測器，智慧地球）、車聯網、GPS、醫學影像、安全監控、金融（銀行、股市、保險）、電信（通話、簡訊）都在瘋狂產生著數據。2011年5 月，在「雲計算相遇大數據」 為主題的EMC World 2011 會議中，EMC 拋出了Big Data概念。正如《紐約時報》2012年2月的一篇專欄中所稱，「大數據」時代已經降臨，在商業、經濟及其他領域中，決策將日益基於數據和分析而作出，而並非基於經驗和直覺。哈佛大學社會學教授加里？金說：「這是一場革命，龐大的數據資源使得各個領域開始了量化進程，無論學術界、商界還是政府，所有領域都將開始這種進程。」
二、什麼是大數據
大數據（Big Data）是指那些超過傳統資料庫系統處理能力的數據。它的數據規模和轉輸速度要求很高，或者其結構不適合原本的資料庫系統。為了獲取大數據中的價值，我們必須選擇另一種方式來處理它。數據中隱藏著有價值的模式和信息，在以往需要相當的時間和成本才能提取這些信息。如沃爾瑪或谷歌這類領先企業都要付高昂的代價才能從大數據中挖掘信息。而當今的各種資源，如硬體、雲架構和開源軟體使得大數據的處理更為方便和廉價。即使是在車庫中創業的公司也可以用較低的價格租用雲服務時間了。對於企業組織來講，大數據的價值體現在兩個方面：分析使用和二次開發。對大數據進行分析能揭示隱藏其中的信息。例如零售業中對門店銷售、地理和社會信息的分析能提升對客戶的理解。對大數據的二次開發則是那些成功的網路公司的長項。例如Facebook通過結合大量用戶信息，定製出高度個性化的用戶體驗，並創造出一種新的廣告模式。這種通過大數據創造出新產品和服務的商業行為並非巧合，谷歌、雅虎、亞馬遜和Facebook它們都是大數據時代的創新者。
（一）大數據的4V特徵
大量化（Volume）：企業面臨著數據量的大規模增長。例如，IDC最近的報告預測稱，到2020年，全球數據量將擴大50倍。目前，大數據的規模尚是一個不斷變化的指標，單一數據集的規模範圍從幾十TB到數PB不等。簡而言之，存儲1PB數據將需要兩萬台配備50GB硬碟的個人電腦。此外，各種意想不到的來源都能產生數據。
多樣化（Variety）：一個普遍觀點認為，人們使用互聯網搜索是形成數據多樣性的主要原因，這一看法部分正確。然而，數據多樣性的增加主要是由於新型多結構數據，以及包括網路日誌、社交媒體、互聯網搜索、手機通話記錄及感測器網路等數據類型造成。其中，部分感測器安裝在火車、汽車和飛機上，每個感測器都增加了數據的多樣性。
快速化（Velocity）：高速描述的是數據被創建和移動的速度。在高速網路時代，通過基於實現軟體性能優化的高速電腦處理器和伺服器，創建實時數據流已成為流行趨勢。企業不僅需要了解如何快速創建數據，還必須知道如何快速處理、分析並返回給用戶，以滿足他們的實時需求。根據IMS Research關於數據創建速度的調查，據預測，到2020年全球將擁有220億部互聯網連接設備。
價值（Value）：大量的不相關信息，浪里淘沙卻又彌足珍貴。對未來趨勢與模式的可預測分析，深度復雜分析（機器學習、人工智慧Vs傳統商務智能（咨詢、報告等）
三、大數據時代對生活、工作的影響
大數據，其影響除了經濟方面的，它同時也能在政治、文化等方面產生深遠的影響，大數據可以幫助人們開啟循「數」管理的模式，也是我們當下「大社會」的集中體現，三分技術，七分數據，得數據者得天下。
「大數據」的影響，增加了對信息管理專家的需求。事實上，大數據的影響並不僅僅限於信息通信產業，而是正在「吞噬」和重構很多傳統行業，廣泛運用數據分析手段管理和優化運營的公司其實質都是一個數據公司。麥當勞、肯德基以及蘋果公司等旗艦專賣店的位置都是建立在數據分析基礎之上的精準選址。而在零售業中，數據分析的技術與手段更是得到廣泛的應用，傳統企業如沃爾瑪通過數據挖掘重塑並優化供應鏈，新崛起的電商如卓越亞馬遜、淘寶等則通過對海量數據的掌握和分析，為用戶提供更加專業化和個性化的服務。
大數據在個人隱私的方面，大量數據經常含有一些詳細的潛在的能夠展示有關我們的信息，逐漸引起了我們對個人隱私的擔憂。一些處理大數據公司需要認真的對待這個問題。例如美國天睿資訊給人留下比較深刻印象的是他的一個科學家提出，我們不應該簡單地服從法律方面的隱私保護問題，這些遠遠不夠的，公司都應該遵從谷歌不作惡的原則，甚至更應該做出更積極的努力。
四、大數據時代的發展方向、趨勢
根據ESM國際電子商情針對2013年大數據應用現狀和趨勢的調查顯示：被調查者最關注的大數據技術中，排在前五位的分別是大數據分析（12.91%）、雲資料庫（11.82%）、Hadoop（11.73%）、內存資料庫（11.64%）以及數據安全（9.21%）。Hadoop已不再是人們心目中僅有的大數據技術，而大數據分析成為最被關注的技術。從中可以看出，人們對大數據的了解已經逐漸深入，關注的技術點也越來越多。既然大數據分析是最被關注的技術趨勢，那麼大數據分析中的哪項功能是最重要的呢？從下圖可以看出，排在前三位的功能分別是實時分析（21.32%）、豐富的挖掘模型（17.97%）和可視化界面（15.91%）。2012年也曾做過類似的調查，當時選擇豐富的挖掘模型（27.22%）比實時分析（19.88%）多7.34%。短短一年時間內，企業對實時分析的需求激增，成就了很多以實時分析為創新技術的大數據廠商。從調查結果可以看出：企業在未來一兩年中有迫切部署大數據的需求，並且已經從一開始的基礎設施建設，逐漸發展為對大數據分析和整體大數據解決方案的需求。與此同時，大數據還面臨人才的缺乏的挑戰，需要企業和高校聯合起來，培養數據領域的復合型人才，幫助企業打贏這場「數據戰」。
五、大數據的應用
（一）行業拓展者，打造大數據行業基石
IBM：IBM大數據提供的服務包括數據分析，文本分析，藍色雲杉（混搭供電合作的網路平台）；業務事件處理；IBM Mashup Center的計量，監測，和商業化服務（MMMS）。 IBM的大數據產品組合中的最新系列產品的InfoSphere bigInsights，基於Apache Hadoop。
該產品組合包括：打包的Apache Hadoop的軟體和服務，代號是bigInsights核心，用於開始大數據分析。軟體被稱為bigsheet，軟體目的是幫助從大量數據中輕松、簡單、直觀的提取、批註相關信息為金融，風險管理，媒體和娛樂等行業量身定做的行業解決方案。
微軟：2011年1月與惠普（具體而言是HP資料庫綜合應用部門） 合作目標是開發了一系列能夠提升生產力和提高決策速度的設備。
EMC：EMC 斬獲了紐交所和Nasdaq；大數據解決方案已包括40多個產品。
Oracle：Oracle大數據機與Oracle Exalogic中間件雲伺服器、Oracle Exadata資料庫雲伺服器以及Oracle Exalytics商務智能雲伺服器一起組成了甲骨文最廣泛、高度集成化系統產品組合。
（二）大數據促進了政府職能變革
重視應用大數據技術，盤活各地雲計算中心資產：把原來大規模投資產業園、物聯網產業園從政績工程，改造成智慧工程；在安防領域，應用大數據技術，提高應急處置能力和安全防範能力；在民生領域，應用大數據技術，提升服務能力和運作效率，以及個性化的服務，比如醫療、衛生、教育等部門；解決在金融，電信領域等中數據分析的問題：一直得到得極大的重視，但受困於存儲能力和計算能力的限制，只局限在交易數型數據的統計分析。一方面大數據的應用促進了政府職能變革，另一方面政府投入將形成示範效應，大大推動大數據的發展。
（三）打造「智慧城市」
美國奧巴馬政府在白宮網站發布《大數據研究和發展倡議》，提出「通過收集、處理龐大而復雜的數據信息，從中獲得知識和洞見，提升能力，加快科學、工程領域的創新步伐，強化美國國土安全，轉變教育和學習模式」 ；中國工程院院士鄔賀銓說道，「智慧城市是使用智能計算技術使得城市的關鍵基礎設施的組成和服務更智能、互聯和有效，隨著智慧城市的建設，社會將步入「大數據」時代。」
（四）未來，改變一切
未來，企業會依靠洞悉數據中的信息更加了解自己，也更加了解客戶。
數據的再利用：由於在信息價值鏈中的特殊位置，有些公司可能會收集到大量的數據，但他們並不急需使用也不擅長再次利用這些數據。例如，行動電話運營商手機用戶的位置信息來傳輸電話信號，這對以他們來說，數據只有狹窄的技術用途。但當它被一些發布個性化位置廣告服務和促銷活動的公司再次利用時，則變得更有價值。
六、機遇和挑戰
大數據賦予了我們洞察未來的能力，但同時諸多領域的問題亟待解決，最重要的是每個人的信息都被互聯網所記錄和保留了下來，並且進行加工和利用，為人所用，而這正是我們所擔憂的信息安全隱患！更多的隱私、安全性問題：我們的隱私被二次利用了。多少密碼和賬號是因為「社交網路」流出去的？
眼下中國互聯網熱門的話題之一就是互聯網實名制問題，我願意相信這是個好事。畢竟我們如果明著亮出自己的身份，互聯網才能對我們的隱私給予更好保護

『伍』 大數據的大量指的是至少要有多大數據量A100K位元組B100位元組C100M位元組D100T位元組8

大數據的大量指的是至少要有 100T 位元組。
在計算機領域中，數據量的單位通常使用位元組（Byte）來表示。常用的數據量單位有 K、M、G、T 等。其中，K 表示千，M 表示百萬，G 表示十億，T 表示萬億。因此，100K 位元組表示 100 * 1000 = 10^5 個位元組，100M 位元組表示 100 * 1000 * 1000 = 10^8 個位元組，100T 位元組表示 100 * 1000 * 1000 * 1000 = 10^12 個位元組。
可以看出，100T 位元組是一個很大的數據量，至少要有這么大的數據量，才能稱之為大數據。
希望這對你有幫助！

『陸』 大數據存儲需要具備什麼

大數據之大大是相對而言的概念。例如，對於像SAPHANA那樣的內存資料庫來說，2TB可能就已經是回大容量了；而對於像谷歌這樣答的搜索引擎，EB的數據量才能稱得上是大數據。大也是一個迅速變化的概念。HDS在2004年發布的USP存儲虛擬化平台具備管理32PB大數據存儲需要具備什麼？

『柒』 一個200行數據的datatable大概佔用多少內存

太少了，現在的內存都是用G來計算的，200行對它來說太少了！

你可以通過二進制序列化，把你那個datatable序列化到文件裡面，你可以大概知道大小了！

BinaryFormatter bf = new BinaryFormatter();
MemoryStream ms = new MemoryStream();
DataTable dt = new DataTable();
bf.Serialize(ms, dt);

運行看了看，一個空的DataTable也就930個位元組，在.NET 4.0裡面！