導航:首頁 > 數據分析 > 大話數據挖掘怎麼樣

大話數據挖掘怎麼樣

發布時間:2023-04-07 04:10:39

① 數據挖掘主要涉及到哪些方面的知識

1. 工程能力
( 1 )編程基礎:需要掌握一大一小兩門語言,大的指 C++ 或者 java ,小的指Python 或者 shell 腳本;需要掌握基本的資料庫語言;
建議:MySQL + python + C++ ;語言只是一種工具,看看語法就好;
推薦書籍:《C++ primer plus 》
( 2 )開發平台: Linux ;
建議:掌握常見的命令,掌握 Linux 下的源碼編譯原理;
推薦書籍:《Linux 私房菜》
( 3 )數據結構與演算法分析基礎:掌握常見的數據結構以及操作(線性表,隊,列,字元串,樹,圖等),掌握常見的計算機演算法(排序演算法,查找演算法,動態規劃,遞歸等);
建議:多敲代碼,多刷題;
推薦書籍:《大話數據結構》《劍指 offer 》
( 4 )海量數據處理平台: Hadoop ( mr 計算模型,java 開發)或者 Spark ( rdd 計算模型, scala開發),重點推薦後者;
建議:主要是會使用,有精力的話可以看看源碼了解集群調度機制之類的;
推薦書籍:《大數據 spark 企業級實戰》
2. 演算法能力
( 1 )數學基礎:概率論,數理統計,線性代數,隨機過程,最優化理論
建議:這些是必須要了解的,即使沒法做到基礎扎實,起碼也要掌握每門學科的理論體系,涉及到相應知識點時通過查閱資料可以做到無障礙理解;
( 2 )機器學習 / 深度學習:掌握 常見的機器學習模型(線性回歸,邏輯回歸, SVM ,感知機;決策樹,隨機森林, GBDT , XGBoost ;貝葉斯, KNN , K-means , EM 等);掌握常見的機器學習理論(過擬合問題,交叉驗證問題,模型選擇問題,模型融合問題等);掌握常見的深度學習模型( CNN ,RNN 等);
建議:這里的掌握指的是能夠熟悉推導公式並能知道模型的適用場景;
推薦書籍:《統計學習方法》《機器學習》《機器學習實戰》《 UFLDL 》
( 3 )自然語言處理:掌握常見的方法( tf-idf , word2vec ,LDA );
3. 業務經驗
( 1 )了解推薦以及計算廣告相關知識;
推薦書籍:《推薦系統實踐》《計算廣告》
( 2 )通過參加數據挖掘競賽熟悉相關業務場景,常見的比賽有 Kaggle ,阿里天池, datacastle 等。

② 什麼是數據挖掘

數據挖掘又譯為資料探勘、數據采礦。是一種透過數理模式來分析企業內儲存的大量資料,以找出不同的客戶或市場劃分,分析出消費者喜好和行為的方法。它是資料庫知識發現中的一個步驟。數據挖掘一般是指從大量的數據中自動搜索隱藏於其中的有著特殊關系性的信息的過程。主要有數據准備、規律尋找和規律表示3個步驟。數據挖掘的任務有關聯分析、聚類分析、分類分析、異常分析、特異群組分析和演變分析等。數據挖掘通常與計算機科學有關,並通過統計、在線分析處理、情報檢索、機器學習、專家系統(依靠過去的經驗法則)和模式識別等諸多方法來實現上述目標。

是一個用數據發現問題、解決問題的學科。

通常通過對數據的探索、處理、分析或建模實現。

③ 上線就送100元的游戲有哪些

1、爪游控顫鉛汪游戲盒子。

爪游控破解游戲盒子包含了市面上最新、最熱、最好玩的手機游戲、GM助手工具、BT版手游、破解版手機游茄仔戲等下載,在這里一定會讓你找到一款喜愛的手機游戲。

開局真送vip的游戲

開局送高級vip游戲:開局一條小青龍、屠龍:誰與爭鋒、大唐陞官路星耀版、真江湖商城版、放開吧三國2、榮耀西遊、天生道骨、百妖夜行錄、四大名捕豪華版-正版授權、蒸三國。

情侶異地雙人手機游戲

九天仙夢(商城特權)、大話蜀山(星耀特權)、將軍不敗(海量送充值)、真龍傳奇(免費百抽)、九幽仙域(海量送充值)。

④ 數據挖掘工程師一般都做什麼

數據挖掘工程師一般是指從大量的數據中通過演算法搜索隱藏於其中知識的工程技術專業人員。簡單的就是說通過大數據分析來獲得一個有用的結果。比如使企業決策智能化、自動化,從而提高企業的工作效率,讓錯誤決策更少出現。比較常見的就是通過一些分析挖掘工具來實現,如Hadoop、 HBase、 Hive、 Kafka、 Storm、 Spark工具等等。

數據挖掘指的是在長期手機的數據中分析和挖掘有價值的信息來提供決策。這個概念主要還是因為ERP(企業資源計劃)和OA(辦公自動化)軟體系統的廣泛應用和發展的基礎上提出的一個概念。因為企業在用這些軟體系統的過程中,雖然運營的狀態和管理以及成本有很大的節省,但是這些系統只能對企業的狀態和管理進行一個狀態性的記錄,對長期記錄下來的這些數據的分析和挖掘能力是有限的,雖然很多軟體供應商想出各種辦法來使用這些數據。

如果說想要提升大數據分析和數據挖掘的能力,這里推薦CDA數據分析師的相關課程,教你學企業需要的敏捷演算法建模能力,教你用可落地、易操作的數據科學思維和技術模板構建出優秀模型;聚焦策略分析技術及企業常用的分類、NLP、深度學習、特徵工程等數據演算法,課程中安排了Sklearn/LightGBM、Tensorflow/PyTorch、Transformer等工具的應用實現,並根據輸出的結果分析業務需求,為進行合理、有效的策略優化提供數據支撐點擊預約免費試聽課。

⑤ 大話西遊2天絕事件是怎麼會事#35

元旦活動期間,陸續接到反映,有《大話西遊Ⅱ》玩家屢次獲得元氣丹這兆派種高級獎勵,並在廣大玩家群體中引起了極大的影響。

其中「濱海新城」伺服器的玩家「天絕」,因為新服的緣故,也因為好運氣,活動期間獲得該類獎勵共計15個。

該玩家在得到機會的眷顧之時,沒有懷有平常心,而是謊稱系統有bug之類,藉此機會公然出售所謂的利用程序bug的孵蛋外掛(很有可能是盜號手段)、並出售大家所深惡痛絕的盜號信封等,大肆行騙,宴明給玩家和大話都造成了極大的損害及負面影響,目前該玩家由於嚴重違反了玩家守則而被永久隔離。

天絕事件的本質是網易長期一直在搞得帳號特殊化造成,這次元旦只是集中暴露出來的問題。我們要一個公平公正的獎勵系統。一個正面的態度承認系統的公正規則缺失,並制定公示修改的計劃。

去特殊化運動,去除所謂的數據挖掘,去除特殊權利帳號,vip帳號一直存在,讓他們到另一個世界玩去,別呆在我們「人間」。

對於造成的本次事件的原因責任人,進行追究,天絕只不過一個發現了這個公平機制漏洞的人,真正的原因是網易開發的獎勵機制的問題。

游戲種族

一、人族

人類為萬物之靈,是各種族中最聰明的,最懂得發揮自己的本領。他們以一顆平常心來關注自身的成長,在攻擊和防禦的能力上都能比較平衡地發展。而且人類有許多的玄門法術,這些玄術異能雖然不能直接給對手造成傷害,但卻能夠讓對手陷入各種異常狀態,也能消減對手的能力。一個聰明的人,更能讓對手求生不得,求死不能。

二、仙族

飄逸靈活法力無邊,這就是神仙。仙人經過多年的修煉而超脫了肉身的限制,因此而身法靈活,還具備了呼風喚雨的能耐。

他們不擅長使用野蠻的武力進行攻擊,但是修煉得道,能夠充分利用大自然的靈氣,並把這些靈氣做族祥賀為自己攻擊的手段。所謂靈氣就是風、火、雷、水。一個得道的神仙能夠使出威力無窮的靈氣攻擊,毀滅周圍的一切,給對手造成巨大的法術傷害。神仙還有一個厲害的地方是可以用法術同時傷害多個目標。

⑥ 做汽車內飾設計有前途嗎

有前途。個人覺得汽車內飾設計和HMI正在成為汽車設計最重要的一部分。

由於生產工藝等限制,現在外形設計的造型語言已經漸漸被開發到了盡頭則租州,外形能做出的改變已經很少了。作為直接和人產生互動的空間和產品,各大品牌都開始注重內飾的設計。內飾設計能提供更好的人機交互體驗,增加舒適感。汽車漸漸從一件工業感十足的乘具漸漸轉向一件像「傢具」的產品,在內飾和HMI上能挖掘的潛力還很大很大。

內外飾設計工程師工作內容:

參與汽車內外飾設計總體方案的確定,下達總成設計孫蔽參數,協調汽車各零部件的設計。

校核汽車內外飾主要零部件的設計及相互位置關系、運動關系、結構強度及設計合理性。

編寫汽車內外飾設計技術體系類文件

指導汽車內外飾設計員的技術工作。

與供應商或者相關人員進行接洽以解決設計型圓過程中出現的問題。

大話的理解,工作內容基本上是做數據、出圖紙、走流程、與外部門協調等等。

⑦ 用數據說話:數據分析的基本思想是什麼

用數據說話:數據分析的基本思想是什麼

今天分享一下數據分析的一些基本思想,我給它起了個名字叫做用數據說話。內容都是個人的一些心得,比較膚淺!如有不足之處,希望大家諒解!廢話不說了,現在咱正式開始。
用數據說話,就是用真實的數據說真實的話!真實也可以理解為求真務實。那麼,數據分析就是不斷地求真,進而持續地務實的過程!用一句話表達就是用數據說話,用真實的數據說話,說真話、說實話、說管用的話。
1.用數據說話
數據本不會說話,但是面對不同的人時,就會發出不同的聲音。現在我們以《荒島售鞋》這個老故事為引例,從數據分析的角度來解讀,看看能不能開出新花?為防止大家案例疲勞,我盡量用新的表達方式把故事羅嗦一下!
話說郭靖和楊康,被成吉思汗派去美麗的桃花島進行射鵰牌運動鞋的市場拓展。郭靖和楊康一上桃花島就驚訝地發現這里的居民全部赤腳,沒有一個穿鞋的,不論男女還是老少,莫不如此。楊康一看,倒吸了一口涼氣,說:唉!完了,沒啥市場!郭靖卻不這么認為,馬上掏出了新買的IPHONE4G給鐵木真打了個長途加漫遊的匯報電話。面對桃花島這個空白的市場,郭靖電話里這么說:「桃花島人口早數眾多,但信息閉塞。現在全島居民,全部赤腳。在運動鞋市場上沒有任何競爭對手,茫茫藍海,市場將為我獨霸!可喜,可喜啊!」這個時候,咱現場做個調查,假如你是成吉思汗,你會怎麼抉擇?(投資Y1人,不投資的N1人。)
這個時候楊康聽不下去了,馬上搶過電話,說到「大汗,別聽郭靖瞎嚷嚷!市場雖然沒有競爭,但並不就一定是藍海。在全球化競爭的大背景陸鄭首下,這么輕而易舉的就讓我們找到了藍海,您覺得可能嗎?難道阿迪、耐克、彪馬、銳步這些國際巨頭都是棒槌,會發現不了?我看肯定是島上幾百年不穿鞋的生活習慣,短期內無法改變,所以各路群雄,都只能望而止步!可惜,可惜啊!」聽了楊康的論述,鐵木真又該如何選擇呢?請大家舉手錶態。(願意投資Y2人,不願意投資的N2人。)薑是老的辣!成吉思汗比較理性,他只說了一句:「繼續調研,要用數據說話!」就把電話掛了!
一個星期之後,楊康率先給BOSS匯報了。不過叢神他沒有選擇打電話,而是改發E—MAIL。原因有三:一是全球通資費太高了,錢要省著點花;二是楊康有點小人,他擔心郭靖聽了他的表述後,剽竊他的思想;三是他寫了一份詳細的調研報告,電話里三言兩語說不清。楊康的調查報告里詳細地記錄了他與島內精心選取的200位居民的談話內容,以及他抽取居民樣本時科學合理的甄別條件,最後的結論就是:島內居民全部(100%)以捕魚為生,腳一年四季泡在水裡,根本就不需要鞋!聽到這個消息,成吉思汗怎麼辦呢?請大家繼續舉手錶態!(願意投資Y3人,不願意投資的N3人。)
成吉思汗有自己的想法。這個時候,他沒有做決策,而是繼續等。等什麼呢?等郭靖的結論!又過了兩天郭靖終於打來了電話。電話里說了3句話:「這個市場可以做!原因是島上的居民每周都要上山砍柴,並且十有八九會被劃破腳!更可喜的是,這兩天他用美男計泡到了島主的女兒黃蓉,而且黃蓉答應給射鵰牌運動鞋作形象代言!」故事發生到這個階段,我請大家做最後一次表態。(願意投資Y4人,不願意投資的N4人。)
好!數據在變,我們的決策也在變。不過,成吉思汗比我們理性的多。回答還是一句話,不過比第一次多了幾個字:「繼續深入調研,用詳實數據論證。」為什麼呢?難道這些數據還不夠詳實嗎?是的!因為在成吉思汗腦袋裡還存在有很多疑問。比如:
1) 難道競爭對手真的沒來過?還是對方論證後真的不可行?
2) 山上不會開個伐木廠吧?如果有了伐木廠,居民就不會上山砍柴了,到時候送柴上門,鞋還有個屁用啊!
3) 為什麼一周才上一次山?該不會主要使用的是太陽能吧?
4) 運動鞋的運輸成本、營銷成本、銷售成本是多少?投資收益率有多高?
5) ……
聽完這個案例,我想問大家一個問題!從數據分析的角度看,你受到了什麼啟示?請注意這里說的數據分析的角度,如果你得到的啟示是:鐵木真領導的郭靖與楊康不是1個老男人+2個帥小伙的Gourp,而是教練型的Team。那麼,抱歉!這不是我們今天討論的范圍。好,在座的各位誰來表達一下自己的看法呢?提示性的啟示有:
面對同一個數據,不同的人會說不同的話。
真實的數據並不一定能推導出正確的結論。
正確的決策需要有充分的數據去論證。
……
說完了啟示,咱把這頁PPT總結一下。這個案例涉及數據的搜集、分析、匯報以及用於決策的整個過程。在這個過程里,無論那個細節出了問題,最終做出的決策都將是致命的!所以說質量是數據的生命,在數據用於決策的整個過程,都必須保證真實有效!
2.用真實的數據說話
所謂用真實的數據說話,就是指在說話之前,先審核數據的真實性!現實生活中,拿著錯誤的數據還能大言不慚的可以說比比皆是。其中有兩位傑出的代表:一個是傳說中偉大的中國統計局,另一個就是動不動就要封殺這個封殺那個的CCTV。我不是瞎說,因為有數據支撐!
2010年1月20日,國家統計局公布了2009年全國房地產市場數據,全年房價平均每平方米上漲813元。夠雷人吧!雷聲還沒過,霹靂緊跟著又來了!2月25日國家統計局發布了《2009年國民經濟和社會發展統計公報》,數據顯示,70個大中城市房屋銷售價格上漲1.5%。真可是天雷滾滾!難怪網友把統計局票選成大天朝的娛樂至尊!
此話一出,央視不答應了!真所謂中國統計,娛樂至尊;央視不出,誰與爭鋒?那我們仔細推敲一下央視的數據。2010年2月15日,CCTV發布了虎年春晚的滿意度報告,結果顯示滿意度為83.6%。幾乎同一天,新浪的公布的調查結果是14.55%;後來沒幾天,騰訊也發布了滿意度數據,結果是10.48%。數據一出,網友們罵聲不斷,此起彼伏,一浪高過一浪。但是人家央視就是央視,大有敵軍圍困萬千重,我自巋然不動的定力。更誇張的是央視不但能裝作視而不見,充耳不聞,而且還繼續恬不知恥地在自己家的那幾個頻道里賣弄數據,自娛自樂。到底央視的數據錯在哪裡?我們先審視一下央視的調查方法。
央視的調查結果,來自央視——索福瑞媒介研究有限公司。索福瑞號稱他們電視觀眾滿意度調查的樣本覆蓋了全國30個城市,抽樣框總人數有30,000人,央視春晚滿意度的調查就是從這3萬人中隨機抽取了2122人進行調查。這樣看,嚴格意義上講所謂83.6%的滿意度只能代表3萬人的看法。當然,如果我拿這個說法與央視理論,對方肯定能拿出3萬代表全國的理論證據。具體就是先從2千推斷3萬,再用3萬推及到30個城市,然後從30個城市推及至全國所有城市,最後再推及至全國。這里用到了簡單隨機抽樣、分層抽樣、典型抽樣,總起來還是個多階段抽樣,多麼冠冕堂皇的理論依據!但是,縱然每一步都能保證90%的可靠程度,四次推及下來理論的可靠程度也只有65%。可遺憾的是,最後一步用城市推及全國的做法在理論上還有一道坎,因為我們不知道如何用45%的城鎮居民來代表55%的農村人口?
說完了代表性的問題,我們再看看調查方法。索福瑞採用的是電話調查,而且時段選擇在春晚直播的那幾個小時內。據說調查是從晚上8:30開始,一直持續到春晚結束。巨汗!8:30貌似90%的節目還沒有上演,又怎麼能調查到觀眾對整個春晚的滿意度呢?
央視的數據是經不住推敲的!那麼,新浪和騰訊的一定對嗎?不一定,這兩個數據也只能代表新浪用戶和騰訊用戶的春晚滿意度,最多能夠代表一下4億網友,要想替13億的中國人民表達心聲,也恐怕是鞭長莫及。
欣賞了統計局和CCTV送給我們的兩個開年笑話之後,我們自己也應該反思,咱們日常工作中,在從數據的搜集、提取、整理到分析、發布、使用的這一連串過程中,數據有沒有失真?是不是數據自始自終都很齊全、很准確,而且統計口徑與分析目的保持著高度的一致呢?這個問題留到日常工作中供大家思考。
3.說真話說實話
拿著錯誤的數據,肯定得不出正確的結論。那麼面對真實的數據,就一定能得出正確的結論嗎?未必!給大家看個小笑話。
問:你只有10平米的蝸居,鄰居家從90m2換到190m2,你的居住面積有沒有增加?
答:沒有。
解:錯,你們兩家的平均居住面積是100m2,你的居住面積被神不知鬼不覺地增加了!
這個神不知鬼不覺是誰呢?無敵的平均數!仔細想想,這個均值算錯了嗎?沒有!那麼,問題出在哪裡?單一的統計量存在片面性,所以要想反映數據的真實面貌,就得使用一系列統計量。
我再杜撰一個氣候的例子,說明一下在結構嚴重失衡的情況下,使用平均數的可怕之處。我們的大中國啊,960萬平方公里,同一時間里有的刮風,有的下雨,還有的高溫酷暑。從去年冬天到今年的春天,北方一直暴雪連天,南方則遭遇百年旱情;而最近這段時間,南方多個省市河水決堤,沿河兩岸,村莊淪陷,而北方則是烈日當頭,乾旱焦人,酷暑難耐。如果我們計算全年或者是全國降雨量的平均值,算出來的結果肯定是神州大地風調雨順,國泰民安,而實際卻是華夏民族飽經風霜,多災多難!
還好,統計學家不只給了我們平均數,同時還設計了許多其他的統計量,大家看看下面這個表。

衡量數據的集中趨勢,基本有三個統計量,均值、中位數和眾數。均值是數值平均數,它容易受極端值的影響。也就是說如果數據的跨度或者說是極差不大的話,用均值可以很好的反映真實情況。但是,如果數據的差異比較大,單一使用平均數就會搞出新的笑話了。中位數和眾數屬於位置平均數,中位數是把數據從小到大排序,正好處於中間位置的那個數,眾數是說出現的頻次最多的那個數。
數據除了有集中趨勢,還有離散趨勢。反映離散趨勢的統計量主要有方差、標准差、極差、變異系數等。方差就是觀測值與均值差的平方和除以自由度,自由度一般是n或n-1。總體數據就用n,抽樣數據就用n-1。標准差就是方差的正平方根,它的意義是消除了量綱的影響。極差是最大值與最小值的差,反映的是觀測值的跨度范圍。還有一個比較重要也是比較常用的就是變異系數,它是標准差與均值的比,目的是消除數量級的影響。
此外,還有一些是描述數據分布的統計量,比如分位數,有四分位、八分位、十分位等等,二分位就是中位數,它們反映一系列數據某幾個關鍵位置的數值。頻率分布,就是對數據分組或者是分類後,各組或各類的百分比。偏度是用於衡量分布的不對稱程度或偏斜程度,峰度是用於衡量分布的集中程度或分布曲線的尖峭程度的指標。
如果想再深入一些的話,就會用到相關系數、置信水平、統計指數等等。相關系數是反映變數之間線性相關程度的指標,取值范圍是【-1,1】,大於0為正相關,小於0為負相關,等於0表示不相關。置信水平是指總體參數值落在樣本統計值某一區內的概率。統計指數就是將不能直接比較的一些指標通過同度量因素的作用使得能夠比較,常見的物價指數、上證指數等等。
有了這些基本的統計量,我們在實際工作中只要稍微用心選擇一下,就可以比較准確的描述數據的真實情況。
4.說管用的話
說管用的話是指深入分析數據的實質,挖掘數據的內涵,而不是停留在數據的表層,說些大話、空話或者套話。這就要求在數據分析時,首先明確分析的目的,其次是選擇恰當的方法,最後得出有用的結論。通俗地說,說管用的話,就是不說屁話,少說廢話!
4.1明確分析目的
這里我們舉個例子。我想這個例子的時候正好是7月7號,N年前的那個時候,正好是在座的各位高考的日子,所以就杜撰了一個高考的數據。

我們這個班級,雖然成績很爛,800分的總分,平均成績只有486分,但是人才輩出,名字一個比一個響,人氣一個比一個旺。大家先認識一下,有飽讀四書五經,滿腹經綸的關東秀才呂輕侯;有籃球場上進攻犀利,防守嚴密的小飛俠科比;還有足球場上無論是邊路傳中還是搶點射門都有非常出色的C羅納爾多;有喜歡煙熏妝、藍絲襪加高跟鞋出鏡的偽娘劉著,有被億萬網友燒香膜拜的春哥黨教主李宇春,還有經常抱著吉他哼著綿羊音的90後MM曾軼可;以及自稱冰清玉潔、妖媚性感、擅長爆發性舞蹈動作的芙蓉姐姐和非清華北大經濟學碩士不嫁、奧巴馬也可的重慶籍奇女子羅玉鳳!
基於學生的考試成績,不同的人會關注不同的方面,高考的判卷老師會關心試卷的雷同程度,命題人會測試考卷的信度和效度,研究文理分科的專家會計算文理成績的相關程度。但是對於普通中學,通常只會關心兩個方面。一是學生成績,計算升學率;二是教學水平,給優秀教師發獎金。如果高中的教學科在這里研究文理相關就屬於廢話,如果還要把問卷的信效檢驗也扯出來就是屁話了。
關於學生:
呂秀才:總分722分,班級第一,平均成績超過90分,如果將其他同學的水平比作三層小樓的話,呂秀才應該是站在賽格頂上!奇才,上清華北大沒有問題。
科比和C羅:總分550左右,平均不到70分!屬於班級2號、3號人物,但成績確實不咋地,不過在該班級中也算鶴立雞群了。
劉著、李宇春、曾軼可:成績較差,上學肯定不是她們的出路!基於平時性情怪異,男的像女,女的像男,還有一個像綿羊,建議別走高考這條尋常路,還是去湖南衛視選秀吧。
鳳姐、芙蓉:這成績,就是個腦殘,估計腦袋不是被門擠過,就是被驢踢過!
關於老師:
衡量教師的優劣需要剔除異常值,呂秀才就是!呂秀才屬於成績異常出眾,個人素質極高,所以他的成績不應該成為衡量老師優劣的樣本。
語文均值高,變異系數小!由此看出語文老師真是好老師!該發獎金!
同理,歷史老師也不錯!也應該適當獎勵。至於物理老師,太差,得趕快換掉,絕對不能讓他繼續誤人子弟了!
存在疑問的就是英語老師。英語成績的均值較高,但變異系數大。這說明數據里可能存在極端值。可能的異常值是科比與C羅。科比美國人,外語自然好!C羅葡萄牙人,但從2003年到2009年一直在英國留學,6年啊,英語好也是應該的!所以,科比與C羅的英語成績不能算是英語老師的栽培,所以科比和C羅是異常值,應該剔除。那麼,剔除異常後就會發現英語的均值只有47分!說明英語老師並不能算做好老師,所以只能與獎金無緣了!
4.2選擇恰當的方法
接上面的案例。如果我們是研究高中該不該進行文理分科的有關部門,那麼我們該如何分析文理成績之間的相關性?
舉例1:如何計算文理科之間的相關性。
目前基本有三種方法,一是簡單相關分析,二是典型相關分析,三是潛變數相關分析。
簡單相關分析就是通過加總,分別計算出文科成績總和、理科成績總和,然後計算兩者的簡單相關系數。
典型相關分析主要用於衡量兩組變數之間的相關性。它的基本原理是:為了從總體上把握兩組指標之間的相關關系,分別在兩組變數中提取是的相關系數最大的一系列典型變數,然後通過計算各對典型變數之間的相關性,來反映變數間的相關程度。
潛變數相關就是計算潛變數之間的相關系數。所謂潛變數是相對於顯變數或者測量變數而言的。潛變數是實際工作中無法直接測量到的變數,包括比較抽象的概念和由於種種原因不能准確測量的變數。一個潛變數往往可以有多個顯變數,潛變數是可以看做是其對應顯變數的抽象和概括,顯變數則可視為特定潛變數的測量指標。在文理科相關性的分析中,我們可以將文科、理科看成潛變數,將語文、外語、政治、歷史這四個顯變數看成文科的測量指標,將數學、物理、化學、生物這四個顯變數看成是理科的測量指標,那麼求文理成績之間的相關問題就轉化成潛變數之間相關的問題。
那麼。我們究竟該選用哪種方法呢?或者假如說我們同時使用了上面三種方法,求出相關系數,該選擇哪一個呢?比如我們計算的結果分別是0.35(簡單相關)、0.85(最大典型變數)、-0.65(潛變數相關),這個時候我們到底該相信哪個數據呢?
其實,我更願意相信簡單相關計算的結果。原因如下:
1、簡單相關,既簡單又易理解。
2、典型相關的取值范圍是【0,1】,它計算出的結果沒有正負,只有大小。與我們實際研究目的有悖。我們想知道學生是否在文理課程上均衡發展,所謂均衡就是正相關,所謂不均衡就是負相關。而典型相關做不到。
3、潛變數相關雖然取值范圍是【-1.1】,但是它多數是採用主成分的方法擬合潛變數,而依據方差提取最大主成分的過程與我們的分析貌似不甚吻合。
4、最重要的是,其實簡單加總與典型相關、主成分相關擁有同一個思想,就是先把多個變數擬合成一個變數(或幾個),然後分析這個擬合出來的變數之間的相關性。其實,在量綱、數量級相同的情況下,而且權重也容易計算的情況下,最簡單有效的擬合就是加總!所以我認為簡單加總後計算出的相關系數是最有效。而潛變數、典型變數是在量綱或數量級不等的情況下,衡量多個變數之間相關關系的有效方法。
舉例2:計算硬幣正反概率
最後,再給大家做道選擇題。
問題:如果一枚硬幣連拋10次都是正面,問第11次出現正面的概率是多少?
選項:A. 接近0% B.50% C.接近100% D. 以上答案都不對
一個硬幣連拋10次都出現正面的概率是0.510,絕對的小概率事件。在一次實驗中,小概率事件發生,那麼我們就應該拒絕原假設。原假設是什麼?硬幣出現正反的概率是0.5。所以,我們可以大膽地推斷,硬幣本身就是一個兩面都是正面的硬幣,所以說第11次出現正面的概率是100%,或者接近100%。大家是不是有異議呢?
樹上10隻鳥,獵槍一槍打死1隻,樹上還剩0隻的結論大家都應該同意吧。因為我們考慮的是實際問題,不是10-1=?的數學算式。所以大家在幼兒園的時候就知道槍聲響過,樹上一隻鳥都不會剩。試想,你和你的朋友打賭投硬幣猜正反,如果10次之後朋友投出來的都是正面,你會怎麼想?兄弟你出千了吧,硬幣肯定有問題吧!相信用不了10次,你就會提出這樣的質疑了。如果說計算概率,0.5沒有錯,獨立事件發生的概率不因之前的情況而改變。但是,如果用假設檢驗的思想,100%的結論就更合理了。之所以說0.5的結果不對,不是說你的計算出錯了,而是在解決實際問題的時候,你太教條了,太書本了,從而選錯方法了。
5.最後總結
我的分享結束了,大家也聽了也笑了,但是笑過之後務必記住我啰嗦了一個小時的這句話:用數據說話就是用真實的數據說話,說真話、說實話、說管用的話!最後說一句廢話:希望剛剛過去的1個小時沒有浪費大家的時間。

閱讀全文

與大話數據挖掘怎麼樣相關的資料

熱點內容
ps文件並排然後拖動合成 瀏覽:322
iphone5刷82怎麼樣 瀏覽:732
java圖片另存為 瀏覽:206
appletvdns描述文件 瀏覽:251
資陽優化網站多少錢 瀏覽:68
蘋果怎麼改網路接入點 瀏覽:37
cad如何接收圖紙文件包 瀏覽:459
jsp閱讀器開發 瀏覽:936
如何把wps里的文件轉成excel 瀏覽:778
qf是什麼閱讀app 瀏覽:612
編程沒思路怎麼提升 瀏覽:161
封裝javascript類庫 瀏覽:426
優盤文件夾是空的 瀏覽:906
win10怎麼修改屏幕大小 瀏覽:172
惠普515升級 瀏覽:239
手機連列印機怎麼列印釘釘文件 瀏覽:282
c語言如何改變顏色代碼 瀏覽:638
怎麼查看視頻文件是不是高清 瀏覽:584
學校老師發的文件蘋果手機怎麼打開 瀏覽:144
文件如何保存原字體 瀏覽:329

友情鏈接