㈠ 企業大數據項目實施過程中遇到的那些挑戰
企業大數據項目實施過程中遇到的那些挑戰
說到大數據,人們很多還停留在概念的階段,不過對於一些企業來說,大數據已經就在眼前,業務的需求驅使著IT部門不得不去做大數據的分析與處理。企業需要大數據的分析和處理,但是大數據並不是想像中的那麼簡單,在實際部署實施的過程中會遇到很多方面的問題。
尤其是目前社交網路的興起帶來了更多的數據量,企業需要面對的挑戰就越來越高,因為社交網路的數據本身就是一個無底洞。一位企業CTO說:「目前我們的數據來源基本都是在社交網路上面,我么收集這些數據加以分析,幫助企業理解這些人的消費規律以及個人偏好。」
企業大數據項目遇到的那些挑戰
這位CTO所在的團隊運營著一個可以產生12億美元的數據平台,以及每天超過400萬人的PB級數據集群。所在團隊的大數據環境中包括了大量的開源平台,他們所用的技術包括:Hadoop、HBase,Hive,ElasticSearch,Scala,Storm,Node.js以及其他的很多工具。這確實是一個非常嚴峻的挑戰。
我們通過企業大數據項目的具體實施過程不難看出,在實施的過程中技術與人是最關鍵的兩個問題。選擇一個成熟的技術,並且讓最合適的人來進行實施,這樣才會有一個比較合理的結果。
目前,以及有不少的企業開始進行部署自己的大數據項目,下面我們就為大家總結一下企業在部署大數據項目過程中遇到的那些難題與挑戰。
復雜的數據計算與存儲
大數據,顧名思義海量的數據是不可避免的。這項對於傳統的數據分析而言,大數據需要大量的存儲空間來進行數據存儲,現在數據的產生量已經不是人們所能想像的,傳統的存儲介質與存儲方式並不能滿足如此快速的數據產生量。換句話來說,看看新浪微博、Facebook每分鍾產生的數據量你就會明白了,電商更是誇張,阿里雙十一,百億的交易額,這樣的數據量需要具有針對性的數據存儲方式。
而從項目的整體出發,只是存儲並不能算得上大數據。在存儲之後還需要對海量的數據進行分析與計算,只有最後得出的分析結果才會對企業有所幫助。存儲只是萬里長征的第一步,大數據處理團隊需要弄清楚這些數據背後的價值,需要合理的對數據進行歸檔,並且數據價值是需要進行計算分析得出的,龐大的數據量需要更加龐大的計算能力才能完成。
技術的成熟度的挑戰
開源技術就好比一隻小狗,它很可愛,也很好。但你需要養活它。就目前的技術發展而言,開源的大數據技術還並不是十分成熟,商業的大數據解決方案價格有非常昂貴,所以對於大部分企業來講,開源貌似是唯一的解決方向。但開源技術並不能很好的適應每一個企業的具體業務線,所以企業還要投入大量的技術力量進行維護與二次開發。開源技術是條可愛的小狗,但是你需要養活他。
許多大數據技術是在建工程。雖然基礎技術日趨完善,管理和配置的工具都處於起步階段,讓IT專業人員做工作解決的差距。企業的IT團隊不得不開發工具,從管理的角度,從工作流程的角度,從配置等不同的角度出發。
期待,努力發現人才
之前講了,大數據需要成熟的技術以及合適的人來執行,這里指的合適的人是一個真正的數據分析專家。而這樣的人往往是可遇而不可求的,除非你花重金去其他公司去挖人,而且還不能確定這個人是否能適應這個團隊。
其實從技術的角度出發,大數據的技術與工具正在迅速發展,但是這些技術與工具只掌握在少數人的手裡,並不能得到大規模的應用。所以對於企業來講,大數據的技術與人同樣重要。擁有了成熟穩定的技術,但是沒有可以執行它的人,那麼大數據項目也會相當危險,沒准什麼時候就成為了企業財政的累贅。
3產品線與項目的對接想想模塊化,准備投資
任何一個項目的組建都不可能是無成本的。每一個項目都會意味著人力與財力的投入。尤其是在大數據項目上,每一個關鍵的業務點都意味著大量的資源投入。相比於其他項目,大數據項目耗費的資源會更多,在基礎設施上的投入,伺服器、存儲以及計算資源和開發人員的投入都是相當龐大的。
模塊化的基礎設施一直是重要的,因為它可以讓IT團隊能夠處理的業務優先順序的變化,並提供業務透明度。企業的IT團隊有必要投資的管理和生產力工具。這就是20%,25%都集中在我的工程資源,生產力工具和工作流程管理。
將產品與業務線做對接
在企業中項目需要圍繞著業務進行實施,再好的產品項目如果不能很好的與業務進行對接,也是不能實現其真正的價值。這很容易讓大數據的專家緊密合作,產品專家和業務利弊談,但它可以是難以貫徹的想法。越來越多在??過去的幾年中,我們已經給他們帶來了起來,因為雙方都需要了解的另一邊。
在很多失敗的案例中我們不難看出,企業大數據產品的最終失敗原因有一條就是產品不能很好的服務於企業核心業務,這樣就會導致大量投入的資源變成沒有價值體現的投入。
而成功的大數據產品就不是這樣子。一個成功的大數據分析產品可以為企業揭示風險並且識別新的商業機會,並且可以根據客戶的喜好進行商業活動,並獲得洞察客戶情緒-然後與該公司分享成果。大數據展示業務和IT事件有助於創造一個時髦圍繞大數據分析的潛力。
領導層到技術人的思想貫徹
這里說的還是與人有關,大數據項目在企業中算是一個牽動企業發展戰略的大項目。這需要從企業領導層到開發人員的整體投入。企業花了很多的時間映射可以利用大數據在我們的承保和理賠流程,並回饋業務線。項目團隊需要企業從領導層到技術層從上倒下的支持。ACE集團的督導委員會,負責領導公司的大數據議程。令人驚訝的是,它不是堆疊技術人員。「這是很難得的任何科技。有四個技術人員和大約20商界領袖在那個隊。
關鍵的事情之一是投資建設第一的技能和資源,在我們開始這段旅程。如果沒有,我們將不得不一個不可接受的滯後值回業務。一位成功部署大數據項目的CTO說。
4把業務人員下放到項目中去把業務人員下放到項目中去
既然大數據項目是為了企業業務服務的,而對企業業務最為熟悉就是業務人員,在整個項目中業務人員的需求往往是必然的需求。
企業需要進行完全嵌入的做法,將一線的業務人員下派到項目的每一個關鍵環節。只要這樣,整個項目完成之後才能更好的為業務服務。企業通過建立核心競爭力,搭配新的技能,在我們的業務統計人員,數據洗滌器,數據分析,工藝專家我們的賠款及承保專長。其實這是一隻搭配的意識,分享知識,發展和創新,我們利用大數據幫助業務發展。
不要小看管理供應商或系統集成商
對於一些技術力量有限的企業來說,他們更喜歡尋找一個系統集成商或者方案供應商來進行外包。在這期間會進行方案招標,而每一家集成商的方案都不盡相同,而且沒有一家可以提供即用的解決方案,對於供應商的管理也是一個挑戰,整合所有不同的系統,將這些系統整合成為一個巨大的方案進行協同運行。
獨立評估投資回報率
在很多企業中,使用大數據分析,改進和驗證的營銷活動的有效性。當大數據項目是成功的,每個人都希望它的一部分,當你走在你開始為公司創造新的收入,項目帶來這么多錢,大家突然出來的木製品和希望聲稱。對於他的團隊,問題解決了,當CFO加強仲裁,提供獨立意見的投資回報率,公司就會更加承認大數據計劃。
轉變並不會在一夜之間發生。從多來源的數據採集,到通過深度分析獲取洞察力,之間會是一段並不平坦的征程。毫無疑問,Hadoop等技術的日趨成熟,讓企業用戶可以更方便地、在更大的范圍內收集業務的相關數據,但同時真正的挑戰也會接踵而至。這就是如何高效地處理多來源的海量數據,並且為其找到適合的商業用途。
以上是小編為大家分享的關於企業大數據項目實施過程中遇到的那些挑戰的相關內容,更多信息可以關注環球青藤分享更多干貨
㈡ 大數據分析給企業帶來哪些挑戰
IT源系統的多樣性
存儲數據是一個復雜的過程,維護時會增加並發症。財富500強企業平均擁有數百個企業IT系統。由於格式不同,跨數據源的引用不匹配以及重復,大多數文件處於混亂狀態。
管理高頻數據
實時數據流。存在諸如數據審查之類的問題,例如,對於海上低壓壓縮機的排氣溫度的讀取本身僅是有限的值。但是,結合環境溫度,風速,壓縮機泵轉速,以前的維護操作歷史和維護日誌,可以為海上鑽機操作員創建有價值的警報系統。
與數據湖一起運作
數據湖是一個集中式存儲庫,可以存儲任何規模的結構化和非結構化數據。將組織的所有數據放在一個窗口中不會帶來任何好處。它不僅使數據位於孤立的企業系統中,還激起了數據的復雜性。
組織各種數據內容
無法保證數據採用單一格式。公司通過圖像,文件,視頻,文檔等收集數據。但是,它們被放在稱為大數據的同一個屋檐下。因此,在進行分析之前,很難區分它們並將其置於不同的渠道,並且涉及許多機制。另一個麻煩是數據的清晰度,有些文件甚至不符合最低清晰度要求。
採用新興的AI工具
人工智慧工具正在發芽,在管理大數據時,它們非常有用。企業IT和分析團隊需要提供工具,使具有不同水平的數據科學能力的員工能夠使用大型數據集並使用統一的映像執行預測性分析。
關於大數據分析給企業帶來哪些挑戰,青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣,希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容,可以點擊本站的其他文章進行學習。
㈢ 如何應對大數據
確定企業的短中期目標和標准
大數據的資源極大繁雜豐富,如果企業沒有明確的目標,就算沒有走入迷途至少會覺得非常迷茫。因此,首先,要確定企業運用大數據的短中期目標,定義企業的價值數據標准,之後再使用那些能夠解決特定領域問題的工具。逐步推廣,步步為營,不要把理想定得太高,否則失望會愈大。
儲備好大數據相關技術人才
企業運用大數據為營銷管理服務之前,技術團隊要到位是基礎。企業管理團隊要能夠非常自如地玩轉數據。許多人認為社交媒體營銷人是個有趣的工作,其實它是個艱苦的活兒。社交化空間非常注重數據、衡量標准和數據可視化等問題。要能熟悉駕馭,首先要確保企業技術人員已經接受過相關技能培訓,了解如何最大化利用大數據的作用和潛力為企業營銷管理服務。
解決碎片化問題
企業啟動大數據營銷管理一個最重要的挑戰,是數據的碎片化、零雜化。許多公司組織中,數據都散落在互不連通的資料庫中,而且相應的數據技術也都存在於不同部門中,如何將這些孤立錯位的資料庫打通、互聯,並且實現技術共享,才是能夠最大化大數據價值的關鍵。管理者當留意的是,數據策略要成功提升網路營銷管理成效,要訣在於無縫對接網路企業管理與營銷的每一步驟,從數據收集、到數據挖掘、應用、提取洞悉、報表等。
培養內部整合能力
要做好大數據的應用管理,其一,要有較強的整合數據的能力,整合與來自企業各種不同的數據源、各種不同結構的數據,如客戶關系管理、搜索、移動、社交媒體、網路分析工具、普查數據以及離線數據,這些整合而得的數據是定向更大目標受眾的基礎;其二,要有研究探索數據背後價值的能力。未來營銷管理成功的關鍵將取決於如何在大資料庫中挖掘更豐富的營銷價值。像是站內、站外的數據整合、多方平台的數據接軌、結合人口與行為數據去建立優化演算法等都是未來的發展重點;其三,探索出來之後給予精確行動的管理指導綱領,同時通過此綱領進行精確快速實時性行動。
而從社會、國家領域而言,我國亟須在國家層面對大數據給予高度重視,特別需要從政策制定、資源投入、人才培養等方面給予強有力的支持;另一方面,建立良性的大數據生態環境是有效應對大數據挑戰、用好大數據的主要出路,需要科技界、工業界以及政府部門在國家政策的引導下共同努力,通過消除壁壘、成立聯盟、大數據質量標准、建立專業組織等途徑,建立和諧的大數據生態系統。
總之,誰率先具備從各種各樣類型的數據中快速獲得有價值信息的能力與機會,誰就是贏家!
㈣ 互聯網大數據時代企業面臨的挑戰
沒有人會否定疫情下數據給全國防控帶來的幫助。得益於大數據、 雲計算 、人工智慧以及5G技術的發展,數據得以更好的共享以及分析,政府、企業推出的健康碼、防疫行程卡等應用,使得人員流通、密切接觸者排查有數可依。
也沒有企業不清楚數據在這個年代對經營管理的價值。通過將數據沉澱、清洗,並挖掘、分析,企業運營效率將得以提升、成本得以優化,經營也將得以改善。
事實正是如此。在智能終端、 物聯網 以及5G的推動下,全球數據量正呈指數般增長:2010年全球數據量剛剛突破1ZB,而今年全球數據量預計將超過40ZB。相關數據表明,到2025年時,全球的數據量將達到163ZB。
數據洪流下,全球也正從IT信息時代走向DT數據時代。由大數據引發的產業變革已經開始。IDC發布的《全球半年度大數據支出指南,2018H2》曾預計, 2019年大數據與商業分析解決方案全球市場的整體收益將達到1896.6億美元,同比增長12.1%。
同時,在2019-2023年預測期內,全球大數據市場相關收益將實現13.1%的CAGR(復合年均增長率),並預計總收益於2023年達到3126.7億美元。
具體到中國大數據市場, 2019-2023年預測期內的年CAGR(復合年均增長率)為23.5%,增速高於全球平均水平。到2023年,中國大數據市場規模則將增長至224.9億美元。
盡管大數據市場前景一片光明,但真正能很好把握數據,充分發揮數據價值的企業,往往是少數在技術、資本、人才均占據優勢的行業領導者。
而絕多數長尾企業,本就在行業競爭中處於劣勢,在大數據產業變革中,盡管知道數據對經營管理那麼重要。但受限於運營成本、人才以及技術,很難找到一款合適的工具,去抓住這些數據中蘊藏的商機。
數字經濟下的企業經營困擾
眾所周知的是,無論是國家層面「新基建」概念的提出,還是受疫情影響企業、組織加速數字化轉型的步伐,這些均代表著數字經濟時代的到來。
數據最直觀:到2021年,全球數字經濟規模將達到45萬億美元,全球數字經濟的比重將超過50%。中國是全球數字經濟的引領者之一。到2021年,中國數字經濟規模將達到8.5萬億美元,其中數字經濟所佔比重將超過55%。截止目前,中國數字經濟增速已連續3年排名世界第一。
但作為數字經濟的推動者,企業在面對錯綜繁雜的 互聯網 大數據時,依然不能採取行之有效的方案,將其妥善的用於經營管理。具體來看的話,企業在藉助互聯網大數據幫助經營管理時面臨的挑戰主要在以下幾方面:
一是缺乏專業的市場研究工具或團隊。 相比企業現在所使用的IT技術,大數據可以說是一門新技術。對於沒有部署這一技術的企業而言,由於沒有專業的市場研究工具或者研究團隊,一方面將由於數據質量不佳面臨產品開發設計難題。
這是因為企業無法對所處的市場進行量化統計分析,如市場規模是否增加,友商最近有何動態,是否有新入局者,該市場某細分市場是否有潛在機會。同時,由於不知道市場上有哪些爆款產品、創新產品,友商的競品有何特性以及潛在市場的需求,導致企業在產品開發、策劃、推廣時沒有針對性,難以形成爆款。
另一方面導致店鋪運營效率不佳: 同樣,由於缺乏專業的監控、分析工具,企業無法對友商線上渠道布局清晰掌握,無法實現自營/經銷店鋪的批量監控、店鋪異動的自動記錄以及爆款產品的促銷復盤。並且,由於無法及時獲取用戶的吐槽、建議等,店鋪在改善運營上也存在難度。
二是部署大數據技術面臨的資金、周期等問題。 使用大數據改善經營管理是大勢所趨,所以企業要麼已經部署大數據要麼考慮部署。而在自行部署大數據技術時,不免要多方考慮,既要考慮新硬體的采購費用或者雲服務的購買費用,同時還要考慮開發人員的招聘費用,開發周期及運維等。而對 中小企業 而言,這無疑又是一項重大開支。
三是數據的安全問題。大數據技術從誕生到現在,其發展並不算太完善,因此自身安全性相對弱一些。同時,大數據平台又存在諸多組件,以Hadoop為例,至少包含了二三十個組件,這意味著黑客入侵某一個組件便可對整個組群整個平台進行控制。
不可避免,企業在開發大數據方案時需要與公司原有IT系統以及各部門數據間打通,這些入口也增加了大數據平台的安全風險。
不難看出,數字經濟時代,企業在藉助互聯網大數據改善經營管理過程中,主要面臨的便是大數據平台的部署、應用以及運維難題。
○本文節選自DOIT傳媒《釋放數據紅利 美雲智數互聯網大數據與企業掘金數字經濟》,圖片為陰山所加。
㈤ 大數據時代企業面臨哪些風險
數據作為基礎來性戰略自資源的地位日益凸顯,個人數據信息被嚴重過度採集。人工智慧、物聯網、雲計算、大數據等領域高度依賴對個人數據的讀取、採集和應用,存在著嚴重的數據安全隱患;企業對個人數據信息隱私無底線無節制的採集和使用,一旦伺服器遭到黑客攻擊導致數據泄露,對用戶的隱私、財產甚至是人身安全都有可能危及。
㈥ 在當前大數據的新環境下 it企業面臨哪些機會與挑戰
挑戰一:數據來源錯綜復雜
豐富的數據源是大數據產業發展的前提。而我國數字化的數據資源總量遠遠低於美歐,每年新增數據量僅為美國的7%,歐洲的12%,其中政府和製造業的數據資源積累遠遠落後於國外。就已有有限的數據資源來說,還存在標准化、准確性、完整性低,利用價值不高的情況,這大大降低了數據的價值。
大數據時代,我們需要更加全面的數據來提高分析預測的准確度,因此我們就需要更多便捷、廉價、自動的數據生產工具。除了我們在網上使用的瀏覽器有意或者無意記載著個人的信息數據之外,手機、智能手錶、智能手環等各種可穿戴設備也在無時無刻地產生著數據;就連我們家裡的路由器、電視機、空調、冰箱、飲水機、凈化器等也開始越來越智能並且具備了聯網功能,這些家用電器在更好地服務我們的同時,也在產生著大量的數據;甚至我們出去逛街,商戶的WIFI,運營商的3G網路,無處不在的攝像頭電子眼,百貨大樓的自助屏幕,銀行的ATM,加油站以及遍布各個便利店的刷卡機等也都在產生著數據。
挑戰二:數據挖掘分析模型建立
步入大數據時代,人們紛紛在談論大數據,似乎這已經演化為新的潮流趨勢。數據比以往任何時候都更加根植於我們生活中的每個角落。我們試圖用數據去解決問題、改善福利,並且促成新的經濟繁榮。人們紛紛流露出去大數據的高期待以及對大數據分析技術的格外看好。然而,關於大數據分析,人們鼓吹其神奇價值的喧囂聲浪很高,卻鮮見其實際運用得法的模式和方法。造成這種窘境的原因主要有以下兩點:一是對於大數據分析的價值邏輯尚缺乏足夠深刻的洞察;其次便是大數據分析中的某些重大要件或技術還不成熟。大數據時代下數據的海量增長以及缺乏這種大數據分析邏輯以及大數據技術的待發展,正是大數據時代下我們面臨的挑戰。
大數據的大,一般人認為指的是它數據規模的海量。隨著人類在數據記錄、獲取及傳輸方面的技術革命,造成了數據獲得的便捷與低成本,這便使原有的以高成本方式獲得的描述人類態度或行為的、數據有限的小數據已然變成了一個巨大的、海量規模的數據包。這其實是一種片面認識。其實,前大數據時代也有海量的數據集,但由於其維度的單一,以及和人或社會有機活動狀態的剝離,而使其分析和認識真相的價值極為有限。大數據的真正價值不在於它的大,而在於它的全面:空間維度上的多角度、多層次信息的交叉復現;時間維度上的與人或社會有機體的活動相關聯的信息的持續呈現。
挑戰三:數據開放與隱私的權衡
數據應用的前提是數據開放,這已經是共識。有專業人士指出,中國人口居世界首位,但2010年中國新存儲的數據為250PB,僅為日本的60%和北美的7%。目前我國一些部門和機構擁有大量數據但寧願自己不用也不願提供給有關部門共享,導致信息不完整或重復投資。2012年中國的數據存儲量達到64EB,其中55%的數據需要一定程度的保護,然而目前只有不到一半的數據得到保護。
開放與隱私如何平衡,亦是一大難題。任何技術都是雙刃劍,大數據也不例外。如何在推動數據全面開放、應用和共享的同時有效地保護公民、企業隱私,逐步加強隱私立法,將是大數據時代的一個重大挑戰。
挑戰四:大數據管理與決策
大數據的技術挑戰顯而易見,但其帶來的決策挑戰更為艱巨。大數據至關重要的方面,就是它會直接影響組織怎樣作決策、誰來作決策。在信息有限、獲取成本高昂且沒有被數字化的時代,組織內作重大決策的人,都是典型的位高權重的人,要不然就是高價請來的擁有專業技能和顯赫履歷的外部智囊。但是,在今時今日的商業世界中,高管的決策仍然更多地依賴個人經驗和直覺,而不是基於數據。
大數據開發的根本目的是以數據分析為基礎,幫助人們做出更明智的決策,優化企業和社會運轉。哈佛商業評論說,大數據本質上是「一場管理革命」。大數據時代的決策不能僅憑經驗,而真正要「拿數據說話」。因此,大數據能夠真正發揮作用,深層次看,還要改善我們的管理模式,需要管理方式和架構的與大數據技術工具相適配。這或許是我們最難邁過的一道坎了。
挑戰五:大數據人才缺口
如果說,以Hadoop為代表的大數據是一頭小象,那麼企業必須有能夠馴服它的馴獸師。在很多企業熱烈擁抱這類大數據技術時,精通大數據技術的相關人才也成為一個大缺口。
大數據建設的每個環節都需要依靠專業人員完成,因此,必須培養和造就一支懂指揮、懂技術、懂管理的大數據建設專業隊伍。
㈦ 「大數據」時代企業面臨著三大嚴峻現實挑戰
「大數據」時代企業面臨著三大嚴峻現實挑戰
所謂的「大數據」有兩個方面的內涵——海量和非結構化。這並非一個很突然的變化,更不是一個很新鮮的趨勢,那它究竟意味著什麼?答案是——機遇。一方面,對於企業是一種機遇。企業可以基於現有的大量的數據、海量數據進行分析,並利用這些數據產生效益。另一方面,對一些特定領域的發展來說也是機遇。如醫療等領域,有著大量的文獻、化驗結果、病例等等,這些信息大部分以人類語言方式記錄下來,通過對這些信息的挖掘,可以輔助醫生作出正確的決策。
當然,機遇與挑戰並存,「大數據」對於企業來說也是如此。在談如何幫助中小企業應戰「大數據」時代之前,首先需要了解「大數據」對於企業來說究竟意味著怎樣嚴峻的挑戰。
「大數據」時代企業面臨著三大嚴峻現實
現實之一:海量
IDC最新數字宇宙研究報告表明,到2020年,全球數據使用量預計暴增44倍,達到35.2ZB。35ZB是什麼概念?(1ZB=1024EB=1048576PB=1073741824TB,1073741824TB*35=37580963840TB),也就是說全球大概需要376億個1TB硬碟來存儲數據。
現實之二:非結構化
相對於結構化數據(即行數據,存儲在資料庫里,可以用二維表結構來實現的數據)而言,不方便用資料庫二維邏輯表來表現的數據即稱為非結構化數據,包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報表、圖像和音頻/視頻信息等等。
據統計,企業中20%的數據是結構化的,80%是非結構化或半結構化的。當今世界結構化數據增長率大概是32%,而非結構化數據增長則是63%,至2012年,非結構化數據佔有比例將達到互聯網整個數據量的75%以上。
現實之三:實時處理
一項對全球CIO調查得出的結論表明:「通過對企業界搜集的大量數據進行實時分析,並從中獲得啟示,進而將這些啟示轉化為自身的競爭優勢,對當今企業來說至關重要。」
某證券公司的CIO在介紹公司對於數據實時處理的需求時曾經表示,上億條數據的分析要在5秒鍾內完成。
「大數據」來襲!中小企業如何應戰?
如同第二次工業革命中的電力和第三次工業革命中的互聯網一樣,大數據和雲計算並不是一種新興的行業,而是各行各業在社會轉型的過程中為了實現其目標而使用的一種科學方法和技術手段。在即將到來的第四次工業革命中,大數據和雲計算並不是企業轉型的最終目的地,而是智能化社會中萬物生長不可或缺的陽光。
每個人每天都在產生大量數據,雲計算正是數據從量變產生質變的過程中應運而生的解決方案。在大數據時代里,很多有代表性的企業都為雲概念的形成起到了推波助瀾的作用,比如蘋果和谷歌,然而,僅有理論是遠遠不夠的。雲對於個人或者企業來說,並不只是一個虛無縹緲的大硬碟,而是能夠產生財富的聚寶盆,雲計算就是盤活聚寶盆里每一個數字的時代利器。
對於企業而言,將伺服器置於雲端不僅僅節約了佔地面積和維護成本,還為企業提供了更好的管理渠道和經營模式。微軟公司的首席執行官史蒂夫·鮑爾默曾大膽預測:「受雲計算沖擊,5年後企業內部伺服器將完全消失。在企業自身管理的伺服器上保存數據或是實施事務(Transaction)的企業將消失。幾乎所有的事務和應用軟體以及系統管理功能將通過互聯網的雲計算運行。」
㈧ "大數據"時代到來,電商行業企業該如何應對
電子商務大數據伴隨著消費者和企業的行為實時產生,廣泛分布在電子商務平台、社交媒體、智能終端、企業內部系統和其它第三方服務平台上。電子商務數據類型多種多樣,既包含消費者交易信息、消費者基本信息、企業的產品信息與交易信息,也包括消費者評論信息、行為信息、社交信息和地理位置信息等。
想要將各個渠道來源的數據進行整合,就必須要深度分析和挖掘,形成智能化和快速化的數據化運營體系!
然而對於中小企業來說,數據化運營困難重重:
1、海量數據處理難:電子商務系統產生了海量數據且數據增長速度越來越快,導致數據查詢及報表生成速度變慢,使用率也不高。
2、管理人員認知難:大多數傳統ERP系統,訂單系統,運維系統,供應鏈系統中,已有簡單的分析統計圖表,但數據格式比較單一,靈活性差,交互性低,管理者難以對全院數據有很好的認知。
3、管理決策難:不能迅速從底層數據中提取關鍵數據,以數據驅動運營方向,只能通過運營部門、訂單部門,供應鏈部門的統計報表及各個離散系統中的統計報表進行管理決策。
數據類型及來源的多樣性、數據產生與分析的實時性、數據的低價值密度等復雜特徵日益顯著,使用敏捷BI來協同運作成為了電商行業從業者無法避開的難題。
不過對於很多有潛力發展壯大但目前預算還不足以支撐購買企業級BI產品的電子商務公司來說,依然有不少可以選擇的產品,這里比較推薦:Yonghong Desktop
桌面智能數據分析工具Yonghong Desktop
之所以推薦永洪BI不僅僅是因為它是國內首個完成全場景閉環的免費BI產品,更是因為永洪科技即將推出的同樣免費的服務端產品,這兩款產品完成了整個數據處理、分析與分享的閉環。
對於管理層和決策層來說,數據分析平台能夠洞察全企業的狀況。
對於業務部門來說,數據分析平台能滿足實時探索的分析需求。
對於個體工作者來說,數據分析平台能做到秒級響應,基於明細數據能夠幫助個體提高工作效率。
懂行的業務大神或者數據分析師可能已經在使用各個品牌BI產品了,作為電子商務企業,順應數據化轉型進程是企業能夠保持生命力的重要動力。從產品本身來說,目前的業內市場主要比拼的是業態和服務,對於企業用戶來講,尤其是電子商務企業來講,關鍵點在於如何能夠完成使用場景的適配,讓數據化成為企業運營的習慣性動作。
全球數據量正呈現出前所未有的爆發式增長態勢,「大數據」時代下掌控數據才能帶領企業不斷前進,與君共勉。
㈨ 小公司如何應對大數據
小公司如何應對大數據
「大數據」已經成為互聯網上最熱門的概念之一,我看到許多創業者都開始談論大數據的商用價值,創業項目一定得和「大數據」掛鉤,有些人更是把《大數據時代》一書奉為聖經,彷彿只要買一本祭在家裡的某個角落,自己就有資格高談論闊、指點江山了。但實際上,雖然書中洞見了數據分析的趨勢和隱憂,可由於作者Viktor Mayer Sch nberger是一個典型的學術派,並沒有什麼值得稱耀的實踐經驗,導致此書缺乏落地感,大數據商業應用在沒有可靠技術支撐的狀況下也只能是一紙空談。
不可否認的是,「大數據」確實擁有十分重要的價值,如今從傳統行業到互聯網行業的很多產品也需要依靠「大數據」來作為功能支撐和核心競爭力,借用阿里巴巴數據平台與產品部數據倉庫架構師占超群(花名離哲)的概括,目前階段,大數據解決的主要問題分為3類:
小公司如何應對大數據
1. 拓展傳統的商業智能(BI)領域。以前針對大數據量的統計、關聯分析、趨勢預測由抽樣變成全量分析、將數據迴流到各種報表。
2. 業務流程改。對各種數據進行聚合分析,用來做業務流程改進和考核的依據。
3. 數據商品和商業應用。通過對已有數據或數據處理能力進行服務化或產品化包裝,形成數據產品或數據服務。
其中,我們在互聯網行業最常見的就是通過已有的數據來形成數據產品和數據服務,最典型的應用場景就是「個性化推薦」,但這並非是人人都可以染指的概念——我們知道,行業內依靠四個特徵界定「大數據」:
第一,Volume,體量巨大,PB級別;
第二,Variety,數據類型繁多;
第三,Veracity,價值密度低;
第四,Velocity,處理速度快。簡而言之,需要從不同維度抓取海量數據並將其快速轉變為有序的可用信息。
實際上,在中國互聯網,完全具備以上四點特徵也只有騰訊、阿里巴巴、網路等較大型公司,對於一般公司而言,根本就不可能擁有PB級別的數據,也無法支撐高昂的數據存儲成本,而且大數據方面的技術人才十分稀缺。最近就有不少創業團隊告訴我他們產品的願景,很多想法都十分新穎,但迫於數據處理能力,只好選擇「慢慢來」或者將產品功能閹割。那麼,這類公司該如何在「大數據」浪潮中崛起呢?
我首先想到的就是利用第三方的數據處理服務平台,這是一項在海外已經比較成熟的業務,從字面不難理解,這些公司為那些沒有大數據和大數據處理能力的公司提供「數據」或「服務」。
服務可以分為兩大類:基礎服務和個性化服務。
基礎服務即幫助公司解決數據存儲、框架搭建和管理等大數據處理的基礎能力,這類公司的代表有Hadoop(分布式軟體框架)管理軟體與服務提供商Cloudera、非關系型資料庫MongoDB開發商 10gen等。
另一類則直接幫助企業直接打造個性化解決方案,我認為這類公司更適合大部分從整體上就缺乏數據能力的中國的小型互聯網公司和希望互聯網化的傳統企業,譬如幫助電商提供個性化網上購物體驗的RichRelevance、個性化和數字市場營銷優化服務提供商Baynote、為廣告商提供數據和分析的eXelate,以及數據拍賣平台BlueKai等。在國內,也有一些不錯的平台開始涌現,例如個性化推薦引擎服務商百分點。利用這些第三方的服務和數據,可以讓小公司的產品也兼具優秀的個性化能力,融入大數據時代。
但我認為,還有另一種應對大數據浪潮的做法——逆勢而為。我並不認為大數據是解決個性化的唯一方案,同是它還帶有相當強的局限性——基於數據意為著用數據建立模型,從某種意義上說,它也像是一個牢籠:設想一下,如果你所有的信息全部來自個性化推薦,那麼你很可能錯失那些你從未接觸過的全新領域,而這些開放的、全新的信息不正是互聯網最迷人之處么?
事實上,已經有些產品這么做了,唐茶計劃的李如一就曾表示,不會受數據干擾去決定出售/推薦哪一本電子書,而是完全基於他們的個人對內容的判斷,還有進來比較受關注的電台Fuzz,完全由人工DJ來推送音樂。反過來想,如果同一類型的產品都具有精準的大數據處理能力,那麼它們為用戶提供的內容也很可能是千篇一律的,而這些逆勢而為的產品,反而更像是真正的「個性化」服務。