百源大數據

❶ 大數據關鍵技術有哪些

大數據關鍵技術涵蓋數據存儲、處理、應用等多方面的技術，根據大數據的處理過程，可將其分為大數據採集、大數據預處理、大數據存儲及管理、大數據處理、大數據分析及挖掘、大數據展示等。

1、大數據採集技術

大數據採集技術是指通過 RFID 數據、感測器數據、社交網路交互數據及移動互聯網數據等方式獲得各種類型的結構化、半結構化及非結構化的海量數據。

因為數據源多種多樣，數據量大，產生速度快，所以大數據採集技術也面臨著許多技術挑戰，必須保證數據採集的可靠性和高效性，還要避免重復數據。

2、大數據預處理技術

大數據預處理技術主要是指完成對已接收數據的辨析、抽取、清洗、填補、平滑、合並、規格化及檢查一致性等操作。

因獲取的數據可能具有多種結構和類型，數據抽取的主要目的是將這些復雜的數據轉化為單一的或者便於處理的結構，以達到快速分析處理的目的。

3、大數據存儲及管理技術

大數據存儲及管理的主要目的是用存儲器把採集到的數據存儲起來，建立相應的資料庫，並進行管理和調用。

4、大數據處理

大數據的應用類型很多，主要的處理模式可以分為流處理模式和批處理模式兩種。批處理是先存儲後處理，而流處理則是直接處理。

(1)百源大數據擴展閱讀：

大數據無處不在，大數據應用於各個行業，包括金融、汽車、餐飲、電信、能源、體能和娛樂等在內的社會各行各業都已經融入了大數據的印跡。

1、製造業，利用工業大數據提升製造業水平，包括產品故障診斷與預測、分析工藝流程、改進生產工藝，優化生產過程能耗、工業供應鏈分析與優化、生產計劃與排程。

2、金融行業，大數據在高頻交易、社交情緒分析和信貸風險分析三大金融創新領域發揮重大作用。

3、汽車行業，利用大數據和物聯網技術的無人駕駛汽車，在不遠的未來將走入我們的日常生活。

4、互聯網行業，藉助於大數據技術，可以分析客戶行為，進行商品推薦和針對性廣告投放。

5、電信行業，利用大數據技術實現客戶離網分析，及時掌握客戶離網傾向，出台客戶挽留措施。

❷ 以下哪些屬於集中化大數據平台外部採集數據

如何從0到1搭建大數據平台
大數據時代這個詞被提出已有10年了吧，越來越多的企業已經完成了大數據平台的搭建。隨著移動互聯網和物聯網的爆發，大數據價值在越來越多的場景中被挖掘，隨著大家都在使用歐冠大數據，大數據平台的搭建門檻也越來越低。藉助開源的力量，任何有基礎研發能力的組織完全可以搭建自己的大數據平台。但是對於沒有了解過大數據平台、數據倉庫、數據挖掘概念的同學可能還是無法順利完成搭建，因為你去網路查的時候會發現太多的東西，和架構，你不知道如何去選擇。今天給大家分享下大數據平台是怎麼玩的。

00 架構總覽

通常大數據平台的架構如上，從外部採集數據到數據處理，數據顯現，應用等模塊。

01 數據採集

用戶訪問我們的產品會產生大量的行為日誌，因此我們需要特定的日誌採集系統來採集並輸送這些日誌。Flume是目前常用的開源選擇，Flume是Cloudera提供的一個高可用的，高可靠的，分布式的海量日誌採集、聚合和傳輸的系統，Flume支持在日誌系統中定製各類數據發送方，用於收集數據；同時，Flume提供對數據進行簡單處理，並寫到各種數據接受方的能力。

02 數據存儲

無論上層採用何種的大規模數據計算引擎，底層的數據存儲系統基本還是以HDFS為主。HDFS（Hadoop Distributed File System）是Hadoop項目的核心子項目，是分布式計算中數據存儲管理的基礎。具備高容錯性、高可靠、高吞吐等特點。

HDFS存儲的是一個個的文本，而我們在做分析統計時，結構化會方便需要。因此，在HDFS的基礎上，會使用Hive來將數據文件映射為結構化的表結構，以便後續對數據進行類SQL的查詢和管理。

03 數據處理

數據處理就是我們常說的ETL。在這部分，我們需要三樣東西：計算引擎、調度系統、元數據管理。

對於大規模的非實時數據計算來講，目前一樣採用Hive和spark引擎。Hive是基於MapRece的架構，穩定可靠，但是計算速度較慢；Spark則是基於內存型的計算，一般認為比MapRece的速度快很多，但是其對內存性能的要求較高，且存在內存溢出的風險。Spark同時兼容hive數據源。從穩定的角度考慮，一般建議以Hive作為日常ETL的主要計算引擎，特別是對於一些實時要求不高的數據。Spark等其他引擎根據場景搭配使用。

實時計算引擎方面，目前大體經過了三代，依次是：storm、spark streaming、Flink。Flink已被阿里收購，大廠一直在推，社區活躍度很好，國內也有很多資源。

調度系統上，建議採用輕量級的Azkaban，Azkaban是由Linkedin開源的一個批量工作流任務調度器。https://azkaban.github.io/

一般需要自己開發一套元數據管理系統，用來規劃數據倉庫和ETL流程中的元數據。元數據分為業務元數據和技術元數據。

業務元數據，主要用於支撐數據服務平台Web UI上面的各種業務條件選項，比如，常用的有如下一些：移動設備機型、品牌、運營商、網路、價格範圍、設備物理特性、應用名稱等。這些元數據，有些來自於基礎數據部門提供的標准庫，比如品牌、價格範圍等，可以從對應的數據表中同步或直接讀取；而有些具有時間含義的元數據，需要每天通過ETL處理生成，比如應用信息。為支撐應用計算使用，被存儲在MySQL資料庫中；而對於填充頁面上對應的條件選擇的數據，則使用Redis存儲，每天/月會根據MySQL中的數據進行加工處理，生成易於快速查詢的鍵值對類數據，存儲到Redis中。
技術元數據，主要包括數據倉庫中的模型說明、血緣關系、變更記錄、需求來源、模型欄位信息等，詳細的可以查看數據分析師應該了解的數據倉庫(3)

04 數據流轉
通過上面一張圖了解數據採集，數據處理，到數據展現的數據流轉。通常我們在實際工作中，從數據源到分析報告或系統應用的過程中，主要包括數據採集同步、數據倉庫存儲、ETL、統計分析、寫入上層應用資料庫進行指標展示。這是最基礎的一條線，現在還有基於數據倉庫進行的數據分析挖掘工作，會基於機器學習和深度學習對已有模型數據進一步挖掘分析，形成更深層的數據應用產品。

05 數據應用
俗話說的好，「酒香也怕巷子深」。數據應用前面我們做了那麼多工作為了什麼，對於企業來說，我們做的每一件事情都需要體現出價值，而此時的數據應用就是大數據的價值體現。數據應用包括輔助經營分析的一些報表指標，商城上基於用戶畫像的個性化推送，還有各種數據分析報告等等。

數據採集系統
01 「大」數據

海量的數據

當你需要搭建大數據平台的時候一定是傳統的關系型資料庫無法滿足業務的存儲計算要求了，所以首先我們面臨的是海量的數據。

復雜的數據

復雜數據的概念和理想數據完全相反。所有數據集都有一定的復雜性，但有一些天生更難處理。通常這些復雜數據集沒有定義結構(沒有行列結構)，經常變化，數據質量很差。比如更新的網頁日誌，json數據，xml數據等。

高速的數據

高速數據通常被認為是實時的或是准實時的數據流。數據流本質上是在生成後就發給處理器的數據包，比如物聯網的穿戴設備，製造業的感測器，車聯網的終端晶元等等。處理實時數據流有很多挑戰，包括在採集時不丟失數據、處理數據流中的重復記錄、數據如何實時寫入磁碟存儲、以及如何進行實時分析。

02 採集工具
日誌採集

我們業務平台每天都會有大量用戶訪問，會產生大量的訪問日誌數據，比如電商系統的瀏覽，加入購物車，下訂單，付款等一系列流程我們都可以通過埋點獲取到用戶的訪問路徑以及訪問時長這些數據；再比智能穿戴設備，實時都會採集我們的血壓、脈搏、心率等數據實時上報到雲端。通過分析這些日誌信息，我們可以得到出很多業務價值。通過對這些日誌信息進行日誌採集、收集，然後進行數據分析，挖掘公司業務平台日誌數據中的潛在價值。為公司決策和公司後台伺服器平台性能評估提高可靠的數據保證。系統日誌採集系統做的事情就是收集日誌數據提供離線和在線的實時分析使用。目前常用的開源日誌收集系統有Flume、Logstash、Filebeat。可以根據自己公司的技術棧儲備或者組件的優缺點選擇合適的日誌採集系統，目前了解到的Flume使用的比較多。各個採集工具的對比如下：

具體組件的相關配置可以參考之前的文章《日誌收集組件—Flume、Logstash、Filebeat對比》

資料庫抽取

企業一般都會會使用傳統的關系型資料庫MySQL或Oracle等來存儲業務系統數據。每時每刻產生的業務數據，以資料庫一行記錄的形式被直接寫入到資料庫中保存。

大數據分析一般是基於歷史海量數據，多維度分析，我們不能直接在原始的業務資料庫上直接操作，因為分析的一些復雜SQL查詢會明顯的影響業務資料庫的效率，導致業務系統不可用。所以我們通常通過資料庫採集系統直接與企業業務後台資料庫伺服器結合，在業務不那麼繁忙的凌晨，抽取我們想要的數據到分析資料庫或者到HDFS上，最後有大數據處理系統對這些數據進行清洗、組合進行數據分析。

常用資料庫抽取工具：

阿里開源軟體：DataX
DataX 是一個異構數據源離線同步工具，致力於實現包括關系型資料庫(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各種異構數據源之間穩定高效的數據同步功能。開源的DataX貌似只能單機部署。

Apache開源軟體：Sqoop
Sqoop(發音:skup)是一款開源的工具，主要用於在HADOOP(Hive)與傳統的資料庫(mysql、postgresql...)間進行數據的傳遞，可以將一個關系型資料庫(例如 : MySQL ,Oracle ,Postgres等)中的數據導進到Hadoop的HDFS中，也可以將HDFS的數據導進到關系型資料庫中。可以集群化部署。

爬蟲爬取

有很多外部數據，比如天氣、IP地址等數據，我們通常會爬取相應的網站數據存儲。目前常用的爬蟲工具是Scrapy，它是一個爬蟲框架，提供給開發人員便利的爬蟲API介面。開發人員只需要關心爬蟲API介面的實現，不需要關心具體框架怎麼爬取數據。Scrapy框架大大降低了開發人員開發速率，開發人員可以很快的完成一個爬蟲系統的開發。

03 數據存儲
HDFS

2003年，Google發布論文GFS，啟發Apache Nutch開發了HDFS。2004年，Google 又發布了論文《MapRece: Simplified Data Processing on Large Clusters》，Doug Cutting等人實現計算框架MapRece ，並與HDFS結合來更好的支持該框架。2006年項目從Butch搜索引擎中獨立出來，成為了現在的Hadoop。

GFS隱藏了底層的負載均衡，切片備份等細節，使復雜性透明化，並提供統一的文件系統介面。其成本低，容錯高，高吞吐，適合超大數據集應用場景。

HDFS原理:橫向擴展，增加「數據節點」就能增加容量。
增加協調部門，「命名節點」維護元數據，負責文件系統的命名空間，控
外部訪問，將數據塊映射到數據節點。還會備份元數據從命名節點，它只與命名節點通信。
數據在多個數據節點備份。
通常關系型資料庫存儲的都是結構化的數據，我們抽取後會直接放到HDFS上作為離線分析的數據源。

HBase

在實際應用中，我們有很多數據可能不需要復雜的分析，只需要我們能存儲，並且提供快速查詢的功能。HBase在HDFS基礎上提供了Bigtable的能力; 並且基於列的模式進行存儲。列存儲設計的優勢是減少不必要的欄位佔用存儲，同時查詢的時候也可以只對查詢的指定列有IO操作。HBase可以存儲海量的數據，並且可以根據rowkey提供快速的查詢性能，是非常好的明細數據存儲方案，比如電商的訂單數據就可以放入HBase提供高效的查詢。

當然還有其他的存儲引擎，比如ES適合文本搜索查詢等。

04 總結
了解了上面的技術棧後，在實際數據接入中，你還會面臨各種問題，比如如何考慮確保數據一致性，保障數據不能丟失，數據採集存儲的效率，不能產生數據積壓等，這些都需要對每個組件進行研究，適配適合你自己業務系統的參數，用最少的資源，達到最好的結果。

調度系統
目前大數據平台經常會用來跑一些批任務，跑批處理當然就離不開定時任務。比如定時抽取業務資料庫的數據，定時跑hive/spark任務，定時推送日報、月報指標數據。任務調度系統已經儼然成為了大數據處理平台不可或缺的一部分，可以說是ETL任務的靈魂。

01 原始任務調度

記得第一次參與大數據平台從無到有的搭建，最開始任務調度就是用的Crontab，分時日月周，各種任務腳本配置在一台主機上。Crontab 使用非常方便，配置也很簡單。剛開始任務很少，用著還可以，每天起床巡檢一下日誌。隨著任務越來越多，出現了任務不能在原來計劃的時間完成，出現了上級任務跑完前，後面依賴的任務已經起來了，這時候沒有數據，任務就會報錯，或者兩個任務並行跑了，出現了錯誤的結果。排查任務錯誤原因越來麻煩，各種任務的依賴關系越來越復雜，最後排查任務問題就行從一團亂麻中，一根一根梳理出每天麻繩。crontab雖然簡單，穩定，但是隨著任務的增加和依賴關系越來越復雜，已經完全不能滿足我們的需求了，這時候就需要建設自己的調度系統了。

02 調度系統
調度系統，關注的首要重點是在正確的時間點啟動正確的作業，確保作業按照正確的依賴關系及時准確的執行。資源的利用率通常不是第一關注要點，業務流程的正確性才是最重要的。（但是到隨著業務的發展，ETL任務越來越多，你會發現經常有任務因為資源問題沒有按時啟動！）

實際調度中，多個任務單元之間往往有著強依賴關系，上游任務執行並成功，下游任務才可以執行。比如上游任務1結束後拿到結果，下游任務2、任務3需結合任務1的結果才能執行，因此下游任務的開始一定是在上游任務成功運行拿到結果之後才可以開始。而為了保證數據處理結果的准確性，就必須要求這些任務按照上下游依賴關系有序、高效的執行，最終確保能按時正常生成業務指標。

一款成熟易用，便於管理和維護的作業調度系統，需要和大量的周邊組件對接，要處理或使用到包括：血緣管理，許可權控制，負載流控，監控報警，質量分析等各種服務或事務。

03 調度系統分類
調度系統一般分為兩類：定時分片類作業調度系統和DAG工作流類作業調度系統

定時分片類作業調度系統

這種功能定位的作業調度系統，其最早的需要來源和出發點往往是做一個分布式的Crontab。

核心：

將一個大的任務拆成多個小任務分配到不同的伺服器上執行， 難點在於要做到不漏，不重，保證負載平衡，節點崩潰時自動進行任務遷移等。
保證任務觸發的強實時和可靠性
所以，負載均衡，彈性擴容，狀態同步和失效轉移通常是這類調度系統在架構設計時重點考慮的特性。

DGA工作流調度系統

這一類系統的方向，重點定位於任務的調度依賴關系的正確處理，分片執行的邏輯通常不是系統關注的核心，或者不是系統核心流程的關鍵組成部分。

核心：

足夠豐富和靈活的依賴觸發機制：比如時間觸發任務，依賴觸發任務，混合觸發任務
作業的計劃，變更和執行流水的管理和同步
任務的優先順序管理，業務隔離，許可權管理等
各種特殊流程的處理，比如暫停任務，重刷歷史數據，人工標註失敗／成功，臨時任務和周期任務的協同等
完備的監控報警通知機制
04 幾個調度系統
Airflow

Apache Airflow是一種功能強大的工具，可作為任務的有向無環圖（DAG）編排、任務調度和任務監控的工作流工具。Airflow在DAG中管理作業之間的執行依賴，並可以處理作業失敗，重試和警報。開發人員可以編寫Python代碼以將數據轉換為工作流中的操作。

主要有如下幾種組件構成：

web server: 主要包括工作流配置，監控，管理等操作
scheler: 工作流調度進程，觸發工作流執行，狀態更新等操作
消息隊列：存放任務執行命令和任務執行狀態報告
worker: 執行任務和匯報狀態
mysql: 存放工作流，任務元數據信息
具體執行流程：

scheler掃描dag文件存入資料庫，判斷是否觸發執行
到達觸發執行時間的dag,生成dag_run，task_instance 存入資料庫
發送執行任務命令到消息隊列
worker從隊列獲取任務執行命令執行任務
worker匯報任務執行狀態到消息隊列
schler獲取任務執行狀態，並做下一步操作
schler根據狀態更新資料庫
Kettle

將各個任務操作組件拖放到工作區，kettle支持各種常見的數據轉換。此外，用戶可以將Python，java，JavaScript和SQL中的自定義腳本拖放到畫布上。kettle可以接受許多文件類型作為輸入，還可以通過JDBC，ODBC連接到40多個資料庫，作為源或目標。社區版本是免費的，但提供的功能比付費版本少。

XXL-JOB

XXL-JOB是一個分布式任務調度平台，其核心設計目標是開發迅速、學習簡單、輕量級、易擴展。將調度行為抽象形成「調度中心」公共平台，而平台自身並不承擔業務邏輯，「調度中心」負責發起調度請求；將任務抽象成分散的JobHandler，交由「執行器」統一管理，「執行器」負責接收調度請求並執行對應的JobHandler中業務邏輯；因此，「調度」和「任務」兩部分可以相互解耦，提高系統整體穩定性和擴展性。（後來才知道XXL是作者名字拼音首字母縮寫）

調度系統開源工具有很多，可以結合自己公司人員的熟悉程度和需求選擇合適的進行改進。

海豚調度

Apache DolphinScheler是一個分布式去中心化，易擴展的可視化DAG工作流任務調度平台。致力於解決數據處理流程中錯綜復雜的依賴關系，使調度系統在數據處理流程中開箱即用。

高可靠性
去中心化的多Master和多Worker服務對等架構, 避免單Master壓力過大，另外採用任務緩沖隊列來避免過載
簡單易用
DAG監控界面，所有流程定義都是可視化，通過拖拽任務完成定製DAG，通過API方式與第三方系統集成, 一鍵部署
豐富的使用場景
支持多租戶，支持暫停恢復操作. 緊密貼合大數據生態，提供Spark, Hive, M/R, Python, Sub_process, Shell等近20種任務類型
高擴展性
支持自定義任務類型，調度器使用分布式調度，調度能力隨集群線性增長，Master和Worker支持動態上下線
05 如何自己開發一個調度系統
調度平台其實需要解決三個問題：任務編排、任務執行和任務監控。

任務編排，採用調用外部編排服務的方式，主要考慮的是編排需要根據業務的一些屬性進行實現，所以將易變的業務部分從作業調度平台分離出去。如果後續有對編排邏輯進行調整和修改，都無需操作業務作業調度平台。
任務排隊，支持多隊列排隊配置，後期根據不同類型的開發人員可以配置不同的隊列和資源，比如面向不同的開發人員需要有不同的服務隊列，面向不同的任務也需要有不同的隊列優先順序支持。通過隊列來隔離調度，能夠更好地滿足具有不同需求的用戶。不同隊列的資源不同，合理的利用資源，達到業務價值最大化。
任務調度，是對任務、以及屬於該任務的一組子任務進行調度，為了簡單可控起見，每個任務經過編排後會得到一組有序的任務列表，然後對每個任務進行調度。這裡面，稍有點復雜的是，任務里還有子任務，子任務是一些處理組件，比如欄位轉換、數據抽取，子任務需要在上層任務中引用實現調度。任務是調度運行的基本單位。被調度運行的任務會發送到消息隊列中，然後等待任務協調計算平台消費並運行任務，這時調度平台只需要等待任務運行完成的結果消息到達，然後對作業和任務的狀態進行更新，根據實際狀態確定下一次調度的任務。
調度平台設計中還需要注意以下幾項：

調度運行的任務需要進行超時處理，比如某個任務由於開發人員設計不合理導致運行時間過長，可以設置任務最大的執行時長，超過最大時長的任務需要及時kill掉，以免佔用大量資源，影響正常的任務運行。
控制同時能夠被調度的作業的數量，集群資源是有限的，我們需要控制任務的並發量，後期任務上千上萬後我們要及時調整任務的啟動時間，避免同時啟動大量的任務，減少調度資源和計算資源壓力；
作業優先順序控制，每個業務都有一定的重要級別，我們要有限保障最重要的業務優先執行，優先給與調度資源分配。在任務積壓時候，先執行優先順序高的任務，保障業務影響最小化。
06 總結與展望
ETL 開發是數據工程師必備的技能之一，在數據倉庫、BI等場景中起到重要的作用。但很多從業者連 ETL 對應的英文是什麼都不了解，更不要談對 ETL 的深入解析，這無疑是非常不稱職的。做ETL 你可以用任何的編程語言來完成開發，無論是 shell、python、java 甚至資料庫的存儲過程，只要它最終是讓數據完成抽取（E）、轉化（T）、載入（L）的效果即可。由於ETL是極為復雜的過程，而手寫程序不易管理，所以越來越多的可視化調度編排工具出現了。

調度系統作為大數據平台的核心部分之一，牽扯的業務邏輯比較復雜，場景不同，也許需求就會差別很多，所以，有自研能力的公司都會選擇市面上開源系統二次開發或者完全自研一套調度系統，已滿足自身ETL任務調度需求。

不管是哪種工具，只要具備高效運行、穩定可靠、易於維護特點，都是一款好工具

❸ 大數據包括什麼

大數據是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。

大數據是一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統資料庫軟體工具能力范圍的數據集合，具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特徵。

大數據技術的戰略意義不在於掌握龐大的數據信息，而在於對這些含有意義的數據進行專業化處理。換而言之，如果把大數據比作一種產業，那麼這種產業實現盈利的關鍵，在於提高對數據的「加工能力」，通過「加工」實現數據的「增值」。

從技術上看，大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理，必須採用分布式架構。它的特色在於對海量數據進行分布式數據挖掘。但它必須依託雲計算的分布式處理、分布式資料庫和雲存儲、虛擬化技術。

(3)百源大數據擴展閱讀：

大數據的應用

1、洛杉磯警察局和加利福尼亞大學合作利用大數據預測犯罪的發生。

2、google流感趨勢(Google Flu Trends)利用搜索關鍵詞預測禽流感的散布。

3、統計學家內特.西爾弗(Nate Silver)利用大數據預測2012美國選舉結果。

4、麻省理工學院利用手機定位數據和交通數據建立城市規劃。

5、梅西百貨的實時定價機制。根據需求和庫存的情況，該公司基於SAS的系統對多達7300萬種貨品進行實時調價。

6、醫療行業早就遇到了海量數據和非結構化數據的挑戰，而近年來很多國家都在積極推進醫療信息化發展，這使得很多醫療機構有資金來做大數據分析。

❹ 大數據的定義是什麼

大數據首先是一個非常大的數據集，可以達到TB(萬億位元組)甚至ZB(十萬億億位元組)。這裡面的數據可能既有結構化的數據，也有半結構化和非結構化的數據，而且來自於不同的數據源。

結構化的數據是什麼呢？對於接觸過關系型資料庫的小夥伴來說，應該一點都不陌生。對了，就是我們關系型資料庫中的一張表，每行都具有相同的屬性。如下面的一張表：

（子標簽的次序和個數不一定完全一致）

那什麼又是非結構化數據呢?這類數據沒有預定義完整的數據結構，在我們日常工作生活中可能更多接觸的就是這類數據，比如，圖片、圖像、音頻、視頻、辦公文檔等等。

知道了這三類結構的數據，我們再來看看大數據的數據源有哪些呢?歸納起來大致有五種數據源。

一是社交媒體平台。如有名氣的Facebook、Twitter、YouTube和Instagram等。媒體是比較受歡迎的大數據來源之一，因為它提供了關於消費者偏好和變化趨勢的寶貴依據。並且因為媒體是自我傳播的，可以跨越物理和人口障礙，因此它是企業深入了解目標受眾、得出模式和結論、增強決策能力的方式。

二是雲平台。公有的、私有的和第三方的雲平台。如今，越來越多的企業將數據轉移到雲上，超越了傳統的數據源。雲存儲支持結構化和非結構化數據，並為業務提供實時信息和隨需應變的依據。雲計算的主要特性是靈活性和可伸縮性。由於大數據可以通過網路和伺服器在公共或私有雲上存儲和獲取，因此雲是一種高效、經濟的數據源。

三是Web資源。公共網路構成了廣泛且易於訪問的大數據，個人和公司都可以從網上或「互聯網」上獲得數據。此外，國內的大型購物網站，淘寶、京東、阿里巴巴，更是雲集了海量的用戶數據。

四是IoT(Internet of Things)物聯網數據源。物聯網目前正處於迅猛發展勢頭。有了物聯網，我們不僅可以從電腦和智能手機獲取數據，還可以從醫療設備、車輛流程、視頻游戲、儀表、相機、家用電器等方面獲取數據。這些都構成了大數據寶貴的數據來源。

五是來自於資料庫的數據源。現今的企業都喜歡融合使用傳統和現代資料庫來獲取相關的大數據。這些數據都是企業驅動業務利潤的寶貴資源。常見的資料庫有MS Access、DB2、Oracle、MySQL以及大數據的資料庫Hbase、MongoDB等。

我們再來總結一下，什麼樣的數據就屬於大數據呢？通常來大數據有4個特點，這就是業內人士常說的4V，volume容量、 variety多樣性、velocity速度和veracity准確性。

❺ 什麼叫大數據

大數據概述
專業解釋：大數據英文名叫big data，是一種IT行業術語，是指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
通俗解釋：大數據通俗的解釋就是海量的數據，顧名思義，大就是多、廣的意思，而數據就是信息、技術以及數據資料，合起來就是多而廣的信息、技術、以及數據資料。
大數據提出時間
「大數據」這個詞是由維克托·邁爾-舍恩伯格及肯尼斯·庫克耶於2008年8月中旬共同提出。
大數據的特點
Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）-由IBM提出。
大數據存在的意義和用途是什麼？
看似大數據是一個很高大上的感覺，和我們普通人的生活相差甚遠，但是其實不然！大數據目前已經存在我們生活中的各種角落裡了，舉個例子，我們現在目前最關心的疫情情況數據，用的就是大數據的技術，可以實時查看確診人數以及各種疫情數據。
大數據存在的意義是什麼？
從剛才的舉例中我們基本可以了解，大數據是很重要的，其存在的意義簡單來說也是為了幫助人們更直觀更方便的去了解數據。而通過了解這些數據後又可以更深一步的去挖掘其他有價值的數據，例如今日頭條/抖音等產品，通過對用戶進行整理和分析，然後根據用戶的各種數據來判斷用戶的喜愛，進而推薦用戶喜歡看的東西，這樣做不僅提升了自身產品的體驗度，也為用戶提供了他們需要的內容。
大數據的用途有哪些？
要說大數據的用途，那可就相當廣泛了，基本各行各業都可以運用到大數據的知識。如果簡單理解的話，可分為以下四類：
用途一：業務流程優化
大數據更多的是協助業務流程效率的提升。能夠根據並運用社交網路數據信息 、網站搜索及其天氣預告找出有使用價值的數據信息，這其中大數據的運用普遍的便是供應鏈管理及其派送線路的提升。在這兩個層面，自然地理精準定位和無線通信頻率的鑒別跟蹤貨物和送大貨車，運用交通實時路況線路數據信息來選擇更好的線路。人力資源管理業務流程也根據大數據的剖析來開展改善，這這其中就包含了職位招聘的調整。
用途二：提高醫療和研發
大型數據分析應用程序的計算能力允許我們在幾分鍾內解碼整個dna。可以創造新的治療方法。它還能更好地掌握和預測疾病。如同大家配戴智能手錶和別的能夠轉化成的數據信息一樣，互聯網大數據還可以協助病人盡快醫治疾患。現在大數據技術已經被用於醫院監測早產兒和生病嬰兒的狀況。通過記錄和分析嬰兒的心跳，醫生預測可能的不適症狀。這有助於醫生更好地幫助寶寶。
用途三：改善我們的城市
大數據也被用於改進我們在城市的生活起居。比如，依據城市的交通實時路況信息，運用社交媒體季節變化數據信息，增加新的交通線路。現階段，很多城市已經開展數據分析和示範點新項目。
用途四：理解客戶、滿足客戶服務需求
互聯網大數據的運用在這個行業早已廣為人知。重點是如何使用大數據來更好地掌握客戶及其興趣和行為。企業非常喜歡收集社交數據、瀏覽器日誌、分析文本和感測器數據，以更全面地掌握客戶。一般來說，建立數據模型是為了預測。
如何利用大數據？
那我們了解了這么多關於大數據的知識，既然大數據這么好，我們怎麼去利用大數據呢？那這個就要說到大數據的工具BI了，BI簡單理解就是用來分析大數據的工具，從數據的採集到數據的分析以及挖掘等都需要用到BI，BI興起於國外，比較知名的BI工具有Tableau、Power BI等；而國內比較典型的廠家就是億信華辰了。雖然BI興起於國外，但是這些年隨著國內科技的進步以及不斷的創新，目前國內BI在技術上也不比國外的差，而且因為國內外的差異化，在BI的使用邏輯上，國內BI更符合國內用戶的需求。
希望對您有所幫助！~