如何看待大數據和演算法

『壹』 巧婦難為無米之炊,算力、演算法和數據到底哪個更重要

「巧婦難為無米之炊」，這句話隱含的信息量並不小，正好可以用於對比人工智慧。巧婦的「巧」就是演算法，食材就是數據，而鍋碗瓢盆和爐灶就是算力。

如果沒有食材，就算你有爐灶和鍋碗瓢盆，也沒辦法做出飯，而有了食材，沒有爐灶和鍋碗瓢盆也做不出飯菜，有了食材，有了鍋碗瓢盆，沒有巧婦，也同樣做不出一桌豐盛的飯菜。

數字化歸根結底：

是靠數據驅動的,如果沒有高質量的大數據,那就是巧婦難為無米之炊。因此,做好大數據工作是推進數字化變革的前提性、基礎性工作。但非數字原生企業相比數字原生企業,大數據工作的復雜性和困難度要大的多。

何老師表示,做好大數據工作,要有知難而上的堅強決心。此外,他基於對華為等企業實踐的認真了解研究,結合自身對企業戰略執行的長期深刻體悟,還在演講中給出了切實的決策思路和行動建議。

據悉,《數字企業》之所以能成為數字化轉型、數字化變革的代表性演講,很大程度上是因為既具備企業家的高度、又具備思想家的深度、還具備實踐家的力度。

『貳』 大數據自上而下提升統計和演算法的效率

大數據自上而下提升統計和演算法的效率
我們在去開發這些計算體系時，不管是軟體、計算，其實都是在談大數據分析的概念性，什麼時候出現問題，我們如何達到高准確度，這只是這個問題的開始。其實作為一個計算科學家，我們經常會遇到很多的問題，有些是統計學方面的問題，但是我們沒有聯合統計學家一起考慮和解決這些問題。
比如說這個結果的一致性，那麼還有引導程序的理論，那麼就像常規的引導程序一樣，都會達到一些限值，從上至下的計算，統計學的利弊權衡，什麼意思呢？我們對數據計算的理解，也就是說更多的數據需要更多的計算，更多的計算能力。我們如何來做？到底是並行處理？還是子樣抽取等等。你給我更多的數據，我會更高興，因為我能夠獲得更高的准確度，我的錯誤會更小，我會以更低的成本獲得更正確的答案。對於統計學家來說這是好的，但是對於做計算的來說這個不大好，因為我們將這樣思考這個問題。也就是說給我一些數據，那麼我們有一個新的觀念，叫做控制的演算法弱化，比如說我的數據量不夠，我可以快速的處理它。數據太多，我的處理速度會慢下來。從計算角度來說，控制的演算法能夠讓我更快速的處理數據，也就是演算法的弱化。統計學的角度來說，能夠處理更多的數據，獲得更好的統計學上的答案性能提高。盡管計算的預算成本不變，但是我們能夠處理更多的數據，以更快的速度，我們付出的代價就是演算法的弱化。
那麼，這個坐標你們不經常看，橫軸指我們取樣的數量，縱軸代表的是運行時間。我們看一下到底有多少的錯誤。我們現在就要思考固定風險。比如說在我們錯誤率是0.01,這個座標的區域，對於統計學家來說，如果要固定風險的話，那麼必須有一定數量的樣品，才能夠獲得這樣的結果。所以，這是一個叫做典型的預計理論，大家都非常了解。同樣對於在計算機科學方面，我們有所謂的負載均衡的概念，不管你有多少個樣本，但是你一定要有足夠的運營時間，否則的話，你是無法解決這個問題的，這是非常明確的一點。
所以，我們看一下實際的演算法。有一定的運行時間，有固定的風險，在右邊使用的所有演算法，把演算法弱化，我們就可以處理更多的數據。下面我來談一下，這就是我們所說的問題降噪，所謂降噪就是在數據方面有一些屬於製造噪音的數據。我們如何做降噪？首先，我們假設可能的答案是X這樣的一個分樣，然後用高准確度覆蓋它，所以這是一個推理預估的過程。比如說我要找到X的值，它和Y是非常相似的，這是一個自然的預估。現在X是一個非常復雜的值，我無法做，所以我要做一個凸形的值域，我要做定性，同時可以獲得最優點，我需要把它放在一個可行的規模大小之內，那麼也就是任何一個固定風險都是基於X的。左邊是風險，我需要它的一半，這里存在復雜性，如果想知道更多的復雜性，你們可以看一些所謂理論處理方面的文獻，你們可以讀一下，來做這樣均衡的曲線。
我們看一下相關的內容，如果你要達到一定的風險，你必須要有一定的取樣點。這是一個C,也許這個C也是計算方面很難算出來的，所以我們需要做C子集的，把這個子集進行弱化，這樣我們就可以更好的計算了。我們可以做分層的層級，我們稱為池域，並且根據計算的復雜度進行排序的。同時，還有統計學的復雜性，然後進行一個權衡。你們可以從數學計算出這個曲線。在這里舉個例子，比如說X,剛才已經有人介紹過子集是什麼意思，然後你們可以定運行時間，還有取樣的復雜性，然後可以算出答案。你們看一下簡單的C,復雜的C,然後你們看一下運行的時間是在下降，復雜性是一個恆值，這樣你的演算法更簡單，可以用於大數據，既不會不會增加風險，也可以在舉證方面更加簡化。如果是一個信號的圖值，你的運行時間由PQ值決定，你們還有一個域值的話，我們會有一個恆定的取樣，大家可以同時按照「列」計算，獲得我們預期的准確度，而運行時間不變，大家可以自己看這些公式。
那麼，這種分析我希望大家能夠記住的是和這種理論計算科學，重點就是能夠把准確度放到一個水平。因為我們要去關心有關質量方面、統計學方面的風險，計算科學方面的演算法能夠幫助我們解決比較大的問題，就是大數據帶來的大問題。同時，我們還有很多的數據理論可以適用，我們不要從統計學簡單的角度來考慮，而是從計算的角度考慮。
也許你們還要去學一些統計學方面的基本理論，當然如果你們是學統計學的話，你們也要參加計算機科學的課程。對於兩門都學的人，你們應該把這兩個學科放到一起思考，不是統計學家只考慮統計學，計算機科學家只考慮計算機方面，我們需要解決統計學方面的風險。因此，我們可以更好的處理十萬個采樣點，都不會遇到問題。

『叄』 60名員工被Facebook母公司用演算法裁掉，如何看待大數據裁員現象

很多人都不太贊同這樣的做法，而且這種現象也不太符合公司的發展要求。雖然說裁員可以暫時解決公司的問題，但是這種做法有可能會影響到員工的積極性。因為大家覺得自己隨時都有可能被裁，所以在工作的時候，他們也會有一些敷衍。

這些公司之所以會選擇裁員，可能是因為想要減少一定的支出。可是這樣的做法，也有可能會影響到其他崗位的工作效率。因為裁員之後很多工作都會落到一個人的身上，在這個過程當中，這些員工也會覺得自己比較辛苦。所以說合理的裁員才是最重要的，在這個過程當中也可以讓公司正向發展。而且公司在招聘的時候也可以控制一下相關的人數，如果員工特別多的情況下，可以暫時先不招聘。

『肆』 演算法和大數據演算法哪個好

兩者是相輔相成的，沒有誰比誰更重要，就像雞蛋和母雞哪個更重要一樣？只有演算法，沒有數據，那麼演算法就沒了存在的意義，只有數據，沒有演算法，得來的演算法顯得更加雜亂無章，哪來的生產效率？

『伍』 數據科學與大數據技術專業的前景怎麼樣，該選擇主攻開發還是演算法

首先，從近兩年數據科學與大數據技術（數科）專業的就業情況來看，整體的就業表現還是比較不錯的，雖然該專業是新興專業之一，但是就業表現已經成為了繼計算機科學與技術、軟體工程這兩個專業之後，又一個就業表現比較突出的計算機大類專業。

從當前大的計算機發展趨勢來看，未來在工業互聯網逐漸落地應用之後，產業領域會釋放出大量大數據專業人才的需求，而且高附加值崗位也會比較多，從這個角度來看，未來數科專業的就業前景還是非常廣闊的。

數科專業本身是一個交叉學科，涉及到的內容比較多，所以要想有一個較好的學習體驗，同時提升自身的就業競爭力，一定要盡早確定一個自己的主攻方向，圍繞主攻方向來制定學習規劃。對於本科生來說，如果沒有繼續讀研的計劃，可以圍繞開發崗的要求來制定學習規劃。實際上，當前很多大數據方向的研究生也會從事開發崗。

從大的人才需求趨勢來看，未來開發崗的人才需求量依然會比較大，相對於演算法崗來說，開發崗的競爭並不算激烈，也有不少進大廠的機會。要想從事開發崗，要重視三方面知識的學習，其一是重視編程語言（Java、Python）的學習，其二是重視大數據平台（Hadoop、Spark）的學習，其三是重視場景開發知識的積累。

總體上來說，計算機大類專業的學習規劃需要按照不同階段來制定，不同階段有不同階段的側重點。

我從事教育、科研多年，目前在帶計算機專業的研究生，主要的研究方向集中在大數據和人工智慧領域，我會陸續寫一些關於互聯網技術方面的文章，感興趣的朋友可以關注我，相信一定會有所收獲。

如果有互聯網、大數據、人工智慧等方面的問題，或者是考研方面的問題，都可以私信我！

『陸』 如何看待大數據時代

因為大數據時代是指社會經濟、科技、文化發展過程中，因數字科技和互聯網技術的大規模應用而產生的大數據環境下的社會發展進程。使用大數據技術和相關工具有效的挖掘和分析數據，可以為我們為政策的制定、商業營銷、建設健全行業制度、研究學術領域等提供了很大的幫助和優勢。

以下是我整理的一些對於大數據時代的認知和看法：

1. 機會：大數據時代為企業和個人帶來了更多的發展機會。通過演算法、人工智慧、機器學習等技術，能夠大規模處理數據，提高工作效率，在商業和工業應用中發揮著越來越重要的裂磨作用。

2. 挑戰：隨著大數據應用的逐步普及，個人信息和隱私保護面臨很大的挑戰。確保數據的安全、保護個人權益成為當下的一項重要任務。

3. 責任：用大數據技術和工具分析、挖掘數據的過程中，我們需要考慮數據採集的合法和合理性，避免數據造假或者被誤用。大數據時代中的數據責任非常重要。

總的來說，大數據時代是數字科技快速發展後帶來的新的機會和挑戰，我們應該從多維攜喊度來審視大數據的發展，應該用好大數據，提高生產效率，促進社會發展等等，同時我們也不應該忽視數據安全和道德、肆隱鬥法律的問題。

『柒』 如何理解機器學習演算法在大數據裡面的應用

現在深度學習在機器學習領域是一個很熱的概念，不過經過各種媒體的轉載播報，這個概念也逐漸變得有些神話的感覺：例如，人們可能認為，深度學習是一種能夠模擬出人腦的神經結構的機器學習方式，從而能夠讓計算機具有人一樣的智慧；而這樣一種技術在將來無疑是前景無限的。那麼深度學習本質上又是一種什麼樣的技術呢？
深度學習是什麼
深度學習是機器學習領域中對模式（聲音、圖像等等）進行建模的一種方法，它也是一種基於統計的概率模型。在對各種模式進行建模之後，便可以對各種模式進行識別了，例如待建模的模式是聲音的話，那麼這種識別便可以理解為語音識別。而類比來理解，如果說將機器學習演算法類比為排序演算法，那麼深度學習演算法便是眾多排序演算法當中的一種（例如冒泡排序），這種演算法在某些應用場景中，會具有一定的優勢。
深度學習的「深度」體現在哪裡
論及深度學習中的「深度」一詞，人們從感性上可能會認為，深度學習相對於傳統的機器學習演算法，能夠做更多的事情，是一種更為「高深」的演算法。而事實可能並非我們想像的那樣，因為從演算法輸入輸出的角度考慮，深度學習演算法與傳統的有監督機器學習演算法的輸入輸出都是類似的，無論是最簡單的Logistic Regression，還是到後來的SVM、boosting等演算法，它們能夠做的事情都是類似的。正如無論使用什麼樣的排序演算法，它們的輸入和預期的輸出都是類似的，區別在於各種演算法在不同環境下的性能不同。
那麼深度學習的「深度」本質上又指的是什麼呢？深度學習的學名又叫深層神經網路（Deep Neural Networks ），是從很久以前的人工神經網路（Artificial Neural Networks）模型發展而來。這種模型一般採用計算機科學中的圖模型來直觀的表達，而深度學習的「深度」便指的是圖模型的層數以及每一層的節點數量，相對於之前的神經網路而言，有了很大程度的提升。
深度學習也有許多種不同的實現形式，根據解決問題、應用領域甚至論文作者取名創意的不同，它也有不同的名字：例如卷積神經網路（Convolutional Neural