深港大數據論壇

❶ 認清現實吧 中國大數據產業的痛點和困難

認清現實吧 中國大數據產業的痛點和困難

大數據作為一個新興的產業，一直在處於輿論的風口浪尖。就像互聯網＋的概念一樣，大數據被神話了，被送上了「宗教」的神壇。大數據企業總是有一個擔心，生怕大數據被捧得的太高，將來可能會被摔的很慘。

2015年中國大數據產業的熱度從貴陽大數據交易所開始，到9月國務院的2015第50號文《促進大數據發展行動綱要》進入高峰，相信10月份的烏鎮互聯網大會上，大數據還會是一個大的熱點。

大數據論壇上，數據產品和解決方案被介紹的很多。數據給企業帶來的具體價值、數據應用場景、大數據產業的痛點介紹的很少。中國大數據產業經歷著很多痛苦，大數據產業前景很好，但是大數據企業卻很難做大，很難實現質的飛躍。中國大數據產業的痛點和困難如下。

中國大數據企業大概有200多家，將近60%集中在北京，以小微企業為主，年銷售額達到十億人民幣的企業幾乎沒有。大數據產業處於春秋時代早期，各家諸侯割地而立，每家佔領了一塊小的細分領域，很難做大，都面臨著同行的激烈競爭，有的領域例如輿情監控已成為紅海。

大數據企業人數大多在幾十人到幾百人，少有千人以上的企業。沒有一家大數據企業可以統領一個行業，沒有一家企業佔有細分市場10%的份額，沒有一家大數據企業建立了行業標准，領導行業發展。

中國大數據產業處於極度分散狀態，優秀的人才分布在不同企業，很難形成人才合力。各家企業規模小，很難在企業做深做大，很難利用大數據幫助企業實現業務提升。大多數企業的工具和數據很難滿足企業整體的數據要求，中國的數據挖掘和分析產品也很難和國外的產品進行競爭。

大數據產業如果要形成產業優勢，必須需要一批領軍企業。參考國外大數據產業，中國在大數據基礎架構，數據產品，數據工具、數據清洗和數據挖掘、數據分析、數據人才都需要產生一批標桿企業。每個領軍企業都規模應該在千人以上，銷售額應該在百億以上，否則很難形成技術和人才優勢，也很難利用大數據幫助客戶實現業務提升。

貴陽大數據交易所《2015年中國大數據交易白皮書》提到2014年中國大數據市場規模為767億元。這個數字看上去不錯，估計其實真正和大數據工具和大數據產品相關的不足20%（業務價值提升）。大多數的經費都用於大數據基礎平台（存儲和計算）、咨詢、報告等和業務價值提升相關度不大的領域。中國大數據市場銷售額大多數集中在傳統的IT企業例如IBM，Oracle，EMC，Intel，華為，聯想等。真正大數據企業所有市場份額加起來可能就在百億元左右。

中國大數據企業規模過小，領軍企業缺少，行業過於分散，這些都是制約中國大數據產業發展的因素，也是產業做大的一個痛點。

數據是大數據產業發展的基礎，具有商業價值的數據可以幫助企業洞察客戶、數字化運營、風險管控、精準營銷、預測和決策等。具有商業價值的數據和商業分析真正能夠幫助企業提升業務，創造出新的價值。

中國的大數據市場還不成熟，很多大數據企業擁的數據都是片段的數據，很難形成完整的，具有商業價值的數據。大數據市場的數據質量和企業的數據需求有較大的差距。外部數據大多處於孤島狀態，數據之間很少流動和整合；孤立、不流動、沒有整合的數據很難幫到企業，很多需要數據的企業不得不從多個大數據企業采購數據，效率很低，采購來的數據價值不高，數據整合的難度較大，數據采購的整體費用過高。

大家都看到了數據分散的弊端，於是很多地方都建立了大數據交易市場，幫助大家進行數據交易和數據采購。由於缺少法律保護，很多企業不太想在交易市場進行數據交易，往往還是採用一對一的數據交易，這種交易方式可以保護交易雙方的利益。具有商業價值的數據還在開發中，大數據交易市場，缺少大量可以進行交易的數據。大數據交易市場這種商業模式，還需要用很長的時間去證明。

中國質量最好的數據在金融行業、BAT、電信運營商，這些企業比較謹慎，很難向外部輸出數據。這三大行業自身的主營業務也不在數據，其數據產品生產和輸出的願望也不強烈。政府的數據正在逐步開放，但是其數據質量、集中度、輸出方式等多存在很大多挑戰。在中國大規模的數據開放，至少需要3年時間才能達到商業應用要求。

大多數企業對數據有需求，但是其對數據商業敏感度很低。對數據商業應用的場景以及數據技術了解很少。即使是數據商業敏感度較高的銀行，至少要溝通三次以上，其才能夠建立起數據價值理念。其他行業例如製造業，房地產業，零售業，他們的數據商業敏感度更低。甚至萬科的王石也大聲疾呼，不要和房地產業談大數據應用，房產行業數據還不全，很多還是手工數據。於是某個領先的電商開始幫助萬科進行數據規劃建設，研究大數據在房地產行業的應用。

已有的大數據企業商業案例中，大部分都是大數據企業主動去找客戶談合作，為企業提供數據產品、數據工具或數據技術，目的是幫助企業提升業務。但是這種商業模式很累，市場很難被引爆，被動的數據商業應用，往往和業務結合較弱，無法迅速幫助企業利用數據提升業務，同時也無法解決業務發展瓶頸。

企業內部人士深度了解業務需求，他們缺少的是市場數據和消費者反饋，缺少的數據分析方法和工具。企業內部人士更應該成為大數據商業應用的主力，參加一些行業活動，從需求出發，主動尋找數據和解決方案。移動互聯網時代，商業競爭策略很清晰，一個是快，一個是要利用數據進行決策。

大數據產業的發展，不僅僅是大數據企業自身的事情，也是各家企業自身的事情。企業客戶也應該依據業務需要，主動到市場尋找數據和解決方案，提升數據商業敏感度，從業務場景出發，尋找具有價值的數據。

市場上所有大數據企業和客戶都面臨一個難題，就是數據解決方案同客戶業務結合的深度不夠，數據對業務整體推動效果不如期望，這也是大數據產業爆發的一個痛點。由於外部數據質量、企業用戶數據敏感度、企業管理方式、商業數據人才等問題，大數據解決方案很難和業務深度結合。

大數據核心價值就是揭示事務發展規律，幫助企業利用數據進行科學決策。目前大數據的商業應用領域主要集中在數據採集、數據存儲、數據計算、用戶畫像、精準營銷等領域。大數據最具商業價值的預測和輔助決策功能並沒有被充分利用。特別是在重大戰略決策方面，大數據的作用並不明顯。企業的產品開發，市場策略，戰略決策還是依靠過去的精英決策和經驗主義。未來社會只有兩類企業，一種是利用數據發展的企業，另外一種是不重視數據被淘汰的企業。

大數據企業如果想發展壯大，如果想成為行業領先的企業，其必須放棄短期利益，深入到客戶的運營中去，了解客戶的數據，了解客戶的業務，了解客戶的商業需求。同時利用數據了解客戶，了解市場，了解業務場景。數據和業務深度結合的核心是掌握正確的數據、正確的方法、正確的工具。業務人員要懂數據，技術人員要懂業務。復合型數據人才是數據生意的關鍵，業務人員掌握數據技術的門檻較高，但是技術人員了解業務的門檻很低，復合性人才傾向於從技術人才培養開始。

企業內部的數據人才和大數據企業的數據人才需要互相學習，了解對方環境和需求，在同一個平台上進行對話和溝通。數據團隊需要深入了解業務場景和背後的規律，從業務出發，從場景出發，從數據出發，將大數據解決方案同業務深度結合，利用數據推動業務發展，發揮大數據預測規律的核心價值。

傳統的數據挖掘工具和BI系統存在很久了，通過各類報表展示，讓管理層了解企業運營信息，過去的確幫助企業提高管理水平，達到了預期目的。

在大數據時代，企業需要的是實時數據，需要的是高效工具，需要的是決策支持和預測。傳統的數據挖掘工具的性能和靈活性已經不能滿足企業的需要，另外非機構化數據的應用也對傳統數據工具提出了挑戰。BI領域中的SAS，SPSS，TD等數據工具越來越被邊緣化，R語言正在成為數據統計和可視化的新寵。

數據的時間價值正在得到重視，特別是金融企業，所有的業務部門都期望在最短的時間里，看到資金使用情況，客戶交易情況，風險管控情況。企業越早了解信息，就會越早進行決策，時間就是Money。過去數據需求可能是T＋5或者T＋30，現在的數據需求往往是T＋1或者T＋0，數據實時性、准確性、相關度被提到了一個非常重要的地位。業務的需求已經很明顯了，但是數據工具和人才卻是一個很大的挑戰。

中國200多家大數據企業，看到了大數據產業的曙光，看到了大數據產業的價值，同時也在經歷著大數據企業的痛苦。大數據產業發展很快，市場正在逐步變大，但是其產業優勢不明顯，優勢企業很少，數據商業化較慢，市場還不成熟，客戶數據商業敏感度較低，缺乏高質量數據工具和人才。所有大數據企業內心的感受就是，站在了時代的風口，選對了方向和行業，但是發展壯大還是很難。200多家大數據企業正在努力耕耘著大數據產業，痛並快樂著。

以上是小編為大家分享的關於認清現實吧 中國大數據產業的痛點和困難的相關內容，更多信息可以關注環球青藤分享更多干貨

❷ 用好大數據推進「智慧城市」建設

用好大數據推進「智慧城市」建設

大數據已在很多領域被廣泛應用，各行各業都受到大數據的強烈沖擊。在這樣的背景下，中國國際大數據創新發展論壇於23日在深圳召開，此次大會意在激發創新創業活力，鼓勵企業發掘和利用數據資源，促進創新鏈和產業鏈深度融合，推動大數據發展與科研創新的有機結合，最終形成大數據驅動型的科研創新模式。

而隨著大數據時代的到來，深圳也開始進入利用大數據構建智慧城市的進程中。與會專家建議，深圳有良好的大數據建設基礎，構建智慧城市一定要用好大數據。

深企將從IT時代走向DT時代

深圳的民營企業眾多，大數據對這些民營企業意味著什麼？民營企業又如何抓住大數據時代的機遇？正威國際集團董事局主席王文銀在演講時講了一個「尿布與啤酒」的案例。

「這個『啤酒與尿布』故事啟發我們，大數據讓我們可能有全新的視角來發現新的商業機會和重構新的商業模式。今後企業的市場營銷活動會更有針對性和精準性。」王文銀說。

作為深圳一家知名民營企業的掌舵人，王文銀結合正威的實踐指出，各行各業開始數字化、互聯網化，越來越多的企業將投入到這場偉大的數據革命之中。作為國家級創新城市，深圳市在政策和具體行動上給予大數據產業大力的支持；同時，一大批從事大數據產業實踐的知名企業在深圳紮根，也為這個產業發展創造了得天獨厚的條件。

王文銀分析認為，大數據能讓企業精準地生產和服務。它將重構行業商業思維和商業模式。未來的企業將從業務驅動型轉變成價值驅動型，而判斷價值主要是通過大數據分析，讓數據來告訴企業需求在哪、機會在哪、價值在哪。此外，王文銀認為，大數據使企業真正實現從過去的以自我為中心轉變為以客戶為中心，與此同時，大數據一定程度上將顛覆企業的傳統管理方式。

「深圳民營經濟最有活力，作為其中的一員，正威也正走在通向大數據的路上。目前，集團正在打造大數據互聯網生態鏈。」王文銀表示，「預計在5年左右，深圳的企業將從IT時代走向DT時代，因此民營企業一定要抓住大數據時代的機遇。」

大數據是建設智慧城市的源泉

深圳正在構建智慧城市。大數據在智慧城市建設中將扮演怎樣的角色？中國智慧城市專家委員會首席科學家李林分享了來自新加坡的經驗。他指出，新加坡大數據產業的發展有它自己的規劃，一些經驗值得深圳借鑒。

李林在新加坡長期研究的是數據信息和知識之間的關系。他認為，新加坡在智慧城市建設方面之所以做得好，得益於他們在35年前就開始構建大數據，「他們整個智慧城市的建設過程其實反映的就是大數據建設的一個過程」。

李林介紹，無論住房、醫療還是教育，在新加坡都是用數據說話。在新加坡租房、買房、入學、看病，根本不需要提供一大堆證件證明，老百姓都不用做任何事情，只要報一個身份證號碼就可以了，因為政府早就建好了一個城市管理的大數據系統。「新加坡為了管理好大數據，他還給每一個公民和臨時來的暫住者發一個數據代碼，這個數據代碼會跟你在新加坡所有的社會證件相關聯，比如說跟你的中國護照關聯。你在新加坡必須使用這個數據代碼，因為這個代碼會跟你所有的大數據關聯，影響到你生活的衣食住行。」

針對現在包括像深圳、上海、北京這樣的國內城市也在紛紛推廣智慧城市建設，李林指出，新加坡在大數據的建設方面非常有遠見。事實上，新加坡在構建城市大數據的時候，首先會充分了解老百姓的需求，通過城市居民在需求上的大數據來構建城市管理，所以現在新加坡人生活得很幸福，這一點很值得深圳學習。「實際上智慧城市建設涉及城市的各個領域、各個產業，大數據是建設智慧城市的源泉，深圳要構建智慧城市，就要把大數據跟智慧城市關聯起來」。

深圳有良好的大數據建設基礎

城市的智慧建設離不開大數據建設，深圳大數據建設的環境如何，與其他一線城市比，深圳的大數據建設有哪特點？深圳市大數據產業發展促進會秘書長彭向陽指出，與北方的一線城市比，深圳盡管沒有豐富的政府資源，但這個以創新為特點的城市在建設大數據領域擁有得天獨厚的條件。

彭向陽介紹，深圳的大數據這幾年才剛剛發展起來，深圳的大數據促進會也是去年才剛剛成立。「總的來看，深圳的大數據建設尚處在一個萌芽狀態。」

盡管在剛剛起步的階段，但彭向陽認為，「大數據的形成需要打好幾個基礎，首先是能力基礎，再就是技術基礎和政府資源的基礎，最後是市場用戶需求的基礎。總體來說，深圳的這幾個基礎都不錯。」

「深圳有很多企業已經通過互聯網+這樣的形式把自己的大數據系統建立起來了，而深圳市大數據產業發展促進會建立的目的就是為這些企業搭建平台，把最新的技術資源整合起來，推動深圳大數據產業甚至國內大數據產業的發展。」彭向陽說，「目前來看，大量的數據還是在政府手裡，我們協會希望推動政府能夠盡快開放大數據，為企業應用大數據提供更好的資源和基礎。」

針對深圳大量的民營企業，李林建議：「企業首先要了解大數據，然後再指導大家怎麼來運用大數據；其二是企業要積極融入互聯網。現在我們整個智慧城市建設的核心是網路，網路的應用和大數據的應用相輔相成，有了雲計算、有了大數據，我們的互聯網才真正有意義；第三，深圳有很多大數據應用得很好的企業，希望大家多看看多學習，因為通過學習才會有啟發，你才能在你的行業用好大數據。」

以上是小編為大家分享的關於用好大數據推進「智慧城市」建設的相關內容，更多信息可以關注環球青藤分享更多干貨

❸ 基於hadoop的電商日誌分析系統的設計與實現選題依據怎麼寫

Hadoop部署的基本結構，MapRece 模型中的 Master 的主控作業節點稱為JobTracker，此框架下面的所有作業（Job）都是由 JobTracker 進行管理的，它是唯一存在的。TaskTracker，負責每一個具體任務的執行。任務（Task）是具體執行的基本單元，每一個作業被拆分成很多的任務，被分配到合適任務節點上去執行，任務節點一邊執行分配過來的任務，一邊向 JobTracker 匯報執行任務的狀態，以此來幫助JobTracker 了解作業執行的整體情況，向空閑節點分配新的任務等操作。日誌分析系統由客戶端和Hadoop伺服器組成，客戶端調用Hadoop介面將日誌文件存入HDFS並調用任務，這里的任務是按順序執行的，在前一個任務執行成功後才執行下一個任務，每個任務都完成多件事，每個任務都調用map和rece過程，最後一個任務將數據輸出到HDFS的文本文件，也可以將文件輸出到資料庫中，最後根據統計數據進行展示。

❹ 哪裡有永久免費論壇啊

http://bbs.ttsite.com/?u=225317
這個是天天的免費論壇,做的不錯,不限制文件大小,最好的是可以免費綁定域名

❺ 大數據「點將」，這些世界級大咖牛在哪

國際大咖全能王：柯克·伯爾尼(Kirk Borne)25位全球頂尖大數據科學家之一、博思艾倫高級數據科學家、天體物理學家和空間科學家柯克·伯爾尼現擔任博思艾倫（Booz AllenHamwuilton）公司高級數據科學家。被媒體評為25位全球頂尖大數據科學家之一，並在2014年被評為IBM大數據與分析英雄。除了任職於博思艾倫，他還是很多其它公司的顧問委員會成員。他在加州理工學院獲得了天體物理學博士學位，是一名天體物理學家和空間科學家，不愧為一個全能王。塔尖人物：馬克·范·雷蒙南(Mark van Rijmenam)全球十大頂尖大數據影響人物之一、知名大數據網站Datafloq創始人馬克·范·雷蒙南，全球十大頂尖大數據影響人物之一、著名演講家、博士。在大數據、數據區塊鏈、物聯網和顛覆性創新方面有很高的建樹：知名大數據網站Datafloq創始人、數字化領導力實驗室創建合夥人、荷蘭Data Donderdag大數據論壇聯合創始人，著有《Think Bigger: Developing a Successful Big Data Strategy for YourBusiness》。前瞻：傑克·肖(Jack Shaw)美國BBT公司總裁，美國數據區塊鏈委員會高級負責人、全球區塊鏈委員會高級顧問、高級戰略咨詢專家傑克·肖，作為當今世界極具前瞻性的世界著名未來學專家，傑克•肖致力於通過定量、定時、定性和其他科學方法，探討現代工業和科學技術的發展對人類社會的影響，擁有超過30年探索未來社會發展預測的研究經驗，專注領域包括新生技術，如大數據、AI、物聯網、3D列印技術、移動商務、數據分析等等，是世界5大頂尖科技未來學專家之一。