⑴ PHP-大數據量怎麼處理優化
大數據的話可以進行以下操作：
減少對資料庫的讀取，也就是減少調用資料庫，
進行數據緩存，
利用資料庫的自身優化技術，如索引等
精確查詢條件，有利於提高查找速度
⑵ 大數據如何優化公共服務
大數據如何優化公共服務
公共服務領域採用大數據技術和大數據思維，既可以為政府進行公共服務決策和加強公共服務監管服務，可以為公共服務消費者在內的社會公眾提供個性化和精準化服務，也有助於公共服務提供者降低成本，從而更好地實現公共服務自身的經濟和社會特性並存的要求。但是，大數據不僅是一種海量的數據狀態及相應的數據處理技術，更是一種思維方式，是一場由技術變革推動的社會變革。在公共服務領域真正實現與大數據的融合，現實中還存在著多重挑戰。
公共服務提供主體運用大數據的意識差異大。從公共服務提供者的角度來看，雖然公共服務提供機構對於數據的重視程度較高，但是范圍更多地局限於對內部的數據認知。從總體來看，公共服務提供機構的管理人員並沒有意識到外部數據如互聯網數據與內部數據的結合所產生的價值，而是更多地把數據進行了存儲，沒有進行分析。這也加重了現有的數據孤島問題和數據閑置現象。以人口管理為例，掌握准確的基礎人口數據是人口管理的一大難點。涉及人口管理的有八九家部門，稅務部門有納稅人口數據，教育部門有在讀人口數據，公安局有戶籍人口數據，社保局有參保人口數據，等等。孤立的任何一個資料庫都不能全面展現一個地方的實有人口情況。
公共服務數據格式和採集標准不統一，導致數據可用性差。大數據預處理階段需要抽取數據並把數據轉化為方便處理的數據類型，對數據進行清洗和去噪，以提取有效的數據等操作。很多公共服務部門，每天都在產生大量的數據，但在數據的預處理階段不重視，不同部門的數據格式、採集標准也非常不同，很多數據是非結構化的，導致數據的可用性差，數據質量差，數據處理很不規范。如危險化學品的監管問題，在目前的監管格局下，危險化學品在生產、儲存、使用、經營、運輸的不同環節，除企業承擔主體責任外，由安監、交通、公安等部門分別承擔監管職責，這些主體對信息報備的寬嚴尺度不一。這樣的寬嚴不一，以及各監管部門、企業主體間存在的種種信息壁壘，大大影響了監管效能。
公共服務部門從業人員多元化，大數據專業人才缺乏。數據採集工作牽涉的絕不僅僅是數據問題，它與政府以及事業單位等的改革深刻關聯，勢必對基層人員的工作能力和責任感都提出更高的要求。數據的採集和分析是一個多專家合作的過程，這要求相關人員是復合型人才，既熟悉本單位業務和需求，具備相關專業知識和經驗，同時又要了解大數據技術，能夠綜合運用數學、數據分析、機器學習和自然語言處理等多方面知識。面對大數據，如果不會分析，數據就只是數據；如果錯誤分析，數據反而還會造成新的問題。
教育、醫療、社會保障、環境保護等公共服務領域，由於技術難度相對小，而且推廣意義大，可以起到「四兩撥千斤」的作用，應當率先突破大數據的應用障礙，政府部門應當而且也可以在這一方面發揮更大的作用。
科學規劃和合理配置網路資源，加強信息化的基礎設施建設。沒有信息化的基礎設施建設，就談不上信息化，更談不上大數據。2013年8月，澳大利亞政府信息管理辦公室（AGIMO）發布了公共服務大數據戰略。到2013年底，澳大利亞人可以享受到每秒1G的互聯網下載速度，而且安裝寬頻所需要的費用全部由政府免單，完全免費。對我國來講，這一項工作只有以政府部門為主，根據發展需求，科學規劃和合理配置網路地址、網路帶寬等網路資源，並且鼓勵大數據企業參與網路設施投資和電信服務運營。
與此同時，還應做好數據標准統一工作，為數據的採集、整合等提供支持。統一的標準是用好大數據的關鍵所在。應當加快研究建立健全大數據技術標准、分類標准和數據標准。針對行政記錄、商業記錄、互聯網信息的數據特點，研究分析不同數據口徑之間的銜接和數據源之間的整合，規范數據輸出格式，統一應用指標涵義、口徑等基本屬性，為大數據的公開、共享和充分利用奠定基礎。
政府搭建平台，推動公共服務部門與第三方數據平台合作，建設好社會基礎資料庫，助力提高公共服務效率和開展公共服務創新。公共服務部門可以考慮藉助如網路、阿里、騰訊等第三方數據平台解決數據採集難題，為包括政府各職能部門在內的各種社會主體提高公共服務效率和開展公共服務創新提供可能。另外，在政府信息公開不斷加強的基礎上，加大數據的開放和共享，建立起公共服務領域的數據聯盟。大數據越關聯就越有價值，越開放就越有價值。須盡快確立數據開放基本原則，政府帶頭開放公共領域的行政記錄等公共數據，鼓勵事業單位等非政府機構提供在公共服務過程中產生的數據，推動企業等開放其在生產經營、網路交易等過程中形成的數據。最終建立起公共服務領域的數據聯盟。
按照「抓兩頭，帶中間」的思路做好大數據人才的培訓和儲備工作。大數據的核心說到底是「人」。相應的人才培訓和儲備工作要抓好兩頭。一頭是基層。由於公共服務領域中相當多的數據是從基層採集的，因此需要加強基層基礎建設，要求公共服務部門要有完整的原始記錄和台賬，確保原始數據採集的准確性。而且也要求基層工作人員理解統一的數據平台、統一的軟體操作、統一的指標含義。隨著採集數據標準的逐步統一，採集數據的各個部門還需要相應地修改原來的流程、採集方式、人力配置等等。政府有關部門應當制定適當的激勵和約束機制，保障基層工作人員的素質和能力跟得上新形勢的要求。另一頭是高端。數據分析對國內高校人才培養也提出了新的要求。大數據人才的培養更多地集中在研究生階段，從政府有關管理部門的角度來看，應該按照國務院簡政放權、放管結合、優化服務的要求，放寬對高校專業設置的審批，真正落實高校管理自主權。鼓勵並積極創造條件推動高校以及企業在大數據人才的培養方面進行探索。
以上是小編為大家分享的關於大數據如何優化公共服務的相關內容，更多信息可以關注環球青藤分享更多干貨
⑶ 什麼是大數據運用模式的個別優化與整體優化
隨著我國移動通信網路的不斷發展完善，數據也在不斷上漲。當前社會中內，人們容正在被各種數據潛移默化地影響。因此，面對這一情況，大數據的時代也在全面到來。通過大數據的處理模式，為人們在工作生活中帶來較大改善。因此，社會也需要不斷將其重視起來，並發現其中存在的各方面問題，採取必要的措施加以完善。這也在最大限度上保證我國的信息水平不斷進步，並且改變人們日常的生活工作方式，對我國的整體建設也有著重要的意義。
⑷ 如何利用大數據更好地促進SEO優化服務
所汪高謂的大數據SEO，其實就是找熱點，因為熱點新聞、事件在搜索引擎的搜索量會相當高，在事件發生的那段有效時間內，大量的相關關鍵詞會進入熱搜，你可以把握這些關鍵詞趨勢，做一些半原創的新聞，這樣會讓搜索引擎對你的友好度上升。
如何把握熱點事件呢，可以通過微博輿情大數據，網路搜野運索風雲榜，騰訊輿情，頭條指數，網路指數等綜合頌陵梁分析，取一些跟自己領悟相關的新聞、熱點事件進行聚合創作。長期下去搜索引擎必定給你很高的權重。
⑸ 如何通過大數據分析技術優化網路
近期網路又進行了一次針對網路排名顯示結果的大更新，網路自然排名前面出現了圖片展示。這一更新針對的還是今年網站優化的重點話題——用戶體驗。 不得不說，這一區別於360和sogou搜索引擎的自然排名展示，在用戶體驗上又前進一步。經過測試，在針對一些其他行業有需求的關鍵詞進行搜索點擊的時候，潛意識里考慮了兩個東西：排名靠前+圖片等醒目品牌展示，無意識的就會去點擊左側有圖片的信息。 這樣我們不免推測：排名第三無圖和排名第五有圖的點擊量對比以前的純文字展示或許會有很大的差別。 這些更新之後用戶瀏覽數據的不同歸根結底還是對用戶體驗的挖掘，那麼我們在網站優化的過程中也需要更多的從用戶體驗角度去做。 如何從用戶體驗角度進行網站優化工作，我們不妨從網站訪客各項數據分析開始。網站訪客數據包括新老客戶數據對比、網站訪問深度、頁面訪問時長、訪客搜索詞、訪客來源分類等數據。今天常州seo就和大家從這些網站訪客數據中尋找一些用戶體驗的網站優化方法。 【1】新老訪客數據對比 從新老訪客數據對比中，我們發現老訪客在人均瀏覽頁面、訪問深度、訪問時長等都比新訪客的要多要好，因而在產品轉化挖掘中，老客戶是重要的一部分。因此，針對效果轉化這一點來說，我們在網站優化工作需要考慮如何留住老訪客、如何提高新訪客的忠誠度的問題，需要非常認真的考慮。 (1)更新內容:不是每天保持更新內容就算完成工作了。需要考慮更新什麼樣的內容才能吸引別人看，需要更新哪方面的內容才能吸引老訪客瀏覽。文章需要有吸引力、話題相關性強、熱門話題討論、互動性設置等。 (2)更新位置：更新完內容還需要注意文章的推薦位置。熱門推薦、最新推薦、相關話題、相關鏈接等。 網站活動策劃：用戶粘度功能(如：用戶等級，論壇、貼吧類常用)、新注冊用戶禮包、老客戶用戶優惠活動、網站專題活動等。 【2】訪客活躍度——訪問深度與訪問時長 要看是否從用戶體驗角度進行優化，還需要看訪客的活躍度如何。訪客平均訪問深度越深、平均訪問時長越長，說明網站訪客活躍度越高，那麼網站在用戶體驗這一塊越好。 我們不妨看看下面的兩張關於網站訪問深度與訪問時長的統計圖： 從“訪問深度統計圖”裡面，我們看到一個月以來，訪客訪問僅一頁的次數佔了整月網站訪問次數的73.1%，對於這個訪問深度比著實是比較不理想的，用戶體驗優化這一塊需要很大的提升才行。 我們再看下一張“訪問時長統計圖”，其中訪問無時長記錄次數和上面訪客訪問近一頁的次數是正好吻合，預計這144次訪問裡面有很大一部分是無效訪問，也就是打開就關閉的居多。其中訪問時長超過1分鍾以上的只佔了16.75%，用戶活躍度很差，直接說明網站的用戶體驗度確實不夠。 發現了問題所在，我們就需要根據實際的問題和情況進行有針性的適時的網站優化細節調整，提升整個網站的用戶體驗。 網站訪客活躍度不高，我們需要從站內的內容、內鏈包括結構上配合網站熱點圖情況進行細節的分析然後做出調整。 訪客訪問深度不夠，需要針對網站的內鏈和側邊欄目結構進行分析、調整。如頁面，特別是瀏覽量大的頁面(譬如首頁、專題頁以及有排名的重點文章頁)中是否有相關的、最新的、熱點的內鏈、推薦鏈接來引導訪客閱讀更多關於網站內容，更全面的了解網站內容有否有價值或是他需要的內容。 如一個頁面是關於“快照後退原因的”通過搜索“快照後退”這個關鍵詞排名到首頁，訪客通過搜索點擊進來，但訪客更多的卻是想關注一下關於快照後退後怎麼辦的內容，那麼這個時候我們可以在有排名的“快照後退原因”這篇文章中加上有關快照後退怎麼辦甚至是關於快照後退所有相關的文章、頁面鏈接進去，讓訪客點擊進來可以找到自己需要的內容。 同理，首頁的結構布局也需要考慮訪客瀏覽的數據分析得出是否符合用戶體驗優化。 我們在優化“常州seo”的時候，從導航到欄目。從左側到右側都需要從用戶的角度去考慮結構布局： 搜索“常州seo”這個關鍵詞的訪客，他可能會關注哪些方面，除了seo相關知識，訪客會不會關注網站數據分析，是否對網路營銷這一塊有點擊的慾望，同事互聯網相關新聞他是否感興趣。經過對數據統計後台幾個月或一年的數據分析，如果我們發現訪客在搜索seo相關關鍵詞進入網站對網路營銷的關注度幾乎為o，那麼網路營銷這一塊欄目存在的價值就沒了，那麼我們有必要考慮這個欄目是否需要調整或進行局部改版。 在網站優化中我們不能主觀的認為訪客的關注點，也不能建站跟風和判斷網站相關性。一切以用戶體驗為基礎，來完善網站優化點。不僅是我們，網路同樣也是這樣，通過用戶大數據的整理分析，進行用戶體驗角度的演算法更新。 【3】訪客搜索來源——搜索詞、搜索引擎以及訪問地域、年齡段 從訪客的搜索詞、訪客地域等數據分析可以看出網站訪客的一些屬性，網站優化目標人群對應訪問地域和訪客年齡段;目標關鍵詞、推廣產品對應搜索詞。 從訪客地域圖中我們可以看出，“常州seo”這個網站66.67%的訪客來至於江蘇。而實際常州訪客只佔整體訪客的15.49%，無錫訪客占總訪客的24.73%，上海訪客佔27.17%。如果你網站推廣的產品是以城市地域為主，那麼能夠轉化的地域占的比重著實不多;但如果你的產品是推廣的目標地域是省份甚至全國，這個比重也不能算不正常。 假使我們推廣的目標地域主要是常州市，那麼，我們需要分析網站的關鍵詞選擇、產品、服務信息的描述以及該城市門戶、地域網站的合作推廣，這樣更有利於有效轉化的提升。 而通過搜索引擎來源和搜索詞的分析，我們還可以分析出個搜索引擎的優化現有情況和目標關鍵詞的優化情況，為下一階段優化方案作數據參考。 根據下面搜索引擎來源分析，網路是我們主要的搜索引擎來源，需要花大精力研究網路的排名提升;同時，360和sogou搜索引擎也有部分訪客，這樣我們在網站優化時候也需要關注其他兩個搜索引擎的流量和轉化情況，如有轉化價值，同樣需要花時間去做。 在數據分析中，看到搜索關鍵詞中有一部分詞本來不是我們的目標關鍵詞，但是同樣有可觀的流量和轉化價值，那麼這些關鍵詞我們需要重視起來，加入到目標關鍵詞當中去，從而使其獲得更好的排名和轉化。 常州seo 今天通過部分網站訪客數據的分析，我們可以從中找到網站優化的一些有效技巧和SEO方向，特別是在提高用戶體驗這一點上有很好的參考價值。網路等搜索引的擎演算法更新越來越注重用戶體驗這一塊，我們的網站優化工作同樣需要跟上節奏，從用戶體驗角度進行網站優化，我們可以從網站訪客的數據分析開始。
⑹ 大數據處理_大數據處理技術
大數據技術，就是從各種類型的數據中快速獲得有價值信息的技術。大數據領域已經涌現出了大量新的技術，它們成為大數據採集、存儲、處理和呈現的有力武器。
大數據處理關鍵技術一般包括：大數據採集、大數據預處理、大數據存儲及管理、大數據分析及挖掘、大數據展現和應用(大數據檢索、大數據可視化、大數據應用、大數據安全等)。
一、大數據採集技術
數據是指通過RFID射頻數據、感測器數據、社交網路交互數據及移動互聯網數據等方式獲得的各種類型的結構化、半結構化(或稱之為弱結構化)及非結構化的海量數據，是大數據知識服務模型的根本。重點要突破分布式高速高可靠數據爬取或採集、高速數據全映像等大數據收集技術;突破高速數據解析、轉換與裝載等大數據整合技術;設計質量評估模型，開發數據質量技術。
互聯網是個神奇的大網，大數據開發和軟體定製也是一種模式，這里提供最詳細的報價，如果你真的想做，可以來這里，這個手技的開始數字是一八七中間的是三兒零最後的是一四二五零，按照順序組合起來就可以找到，我想說的是，除非你想做或者了解這方面的內容，如果只是湊熱鬧的話，就不要來了。
大數據採集一般分為大數據智能感知層：主要包括數據感測體系、網路通信體系、感測適配體系、智能識別體系及軟硬體資源接入系統，實現對結構化、半結構化、非結構化的海量數據的智能化識別、定位、跟蹤、接入、傳輸、信號轉換、監控、初步處理和管理等。必須著重攻克針對大數據源的智能識別、感知、適配、傳輸、接入等技術。基礎支撐層：提供大數據服務平台所需的虛擬伺服器，結構化、半結構化及非結構化數據的資料庫及物聯網路資源等基礎支撐環境。重點攻克分布式虛擬存儲技術，大數據獲取、存儲滾掘、組織、分析和決策操作的可視化介面技術，大數據的網路傳輸與壓縮技術，大數據隱私保護技術等。
二、大數據預處理技術
主要完成對已接收數據的辨析、抽取、清洗等操作。1)抽取：因獲取的數據可能具有多種結構和類型，數據抽取過程可以幫助我們將這些復雜的數據轉化為單一的或者便於處理的構型，以達到快速分析處理的目的。2)清洗：對於大數據，並不全是有價值的，有些數據並不是我們所關心的內容，而另一些數據則是完全錯誤的干擾項，因此要對數據通過過濾「去噪」從而提取出有效數據。
三、大數據存儲及管理技術
大數據存儲與管理要用存儲器把採集到的數據存儲起來，建立相應的資料庫，並進行管理和調用。重點解決復雜結構化、半結構化和非結構化大數據管理與處理技術。主要解決大數據的可存儲、可表示、可處理、可靠性及有效傳輸等幾個關鍵問題。開發可靠的分布式文件系統(DFS)、能效優化的存儲、計算融入存儲、大數據的去冗餘及高效低成本的大數據存儲技術;突破分布式非關系型大數據管理與處理技術，異構數據的數據融合技術，數據組織技術，研究大數據建模技術;突破大數據索引技術;突破大數據移動、備份、復制等技術;開發大數據可視化技術。
開發新型資料庫技術，資料庫分為關系型資料庫、非關系型資料庫以及資料庫緩存系統。其中，非關系型資料庫主要指的是NoSQL資料庫，分為歷備吵：鍵值資料庫、列存資料庫、圖存資料庫以及文檔資料庫等類型。關系型資料庫包含了傳統關系資料庫系統以及NewSQL資料庫。
開發大數據安全技術。改進數據銷毀、透明加解密、分布式訪問控制、數據審計等技術;突破隱私保護和推理控制、數據真偽識別和取證、數據持有完整性驗證等技術。
四、大數據分析及挖掘技術
大數據分析技術。改進已有數據挖掘和機器學習技術;開發數據網路挖掘、特異群組挖掘、圖挖掘等新型數據挖掘技術;突破基於對象的數據連接、相似性連接等大數據融合技術;突破用戶興趣分析、網路行為分析、情感語義分析等面向領域的大數據挖掘技術。
數據挖掘就是從大量的、不完全的、有雜訊的、模糊的、隨機的實際應用數據中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。數據肢侍挖掘涉及的技術方法很多，有多種分類法。根據挖掘任務可分為分類或預測模型發現、數據總結、聚類、關聯規則發現、序列模式發現、依賴關系或依賴模型發現、異常和趨勢發現等等;根據挖掘對象可分為關系資料庫、面向對象資料庫、空間資料庫、時態資料庫、文本數據源、多媒體資料庫、異質資料庫、遺產資料庫以及環球網Web;根據挖掘方法分，可粗分為:機器學習方法、統計方法、神經網路方法和資料庫方法。機器學習中，可細分為:歸納學習方法(決策樹、規則歸納等)、基於範例學習、遺傳演算法等。統計方法中，可細分為:回歸分析(多元回歸、自回歸等)、判別分析(貝葉斯判別、費歇爾判別、非參數判別等)、聚類分析
(系統聚類、動態聚類等)、探索性分析(主元分析法、相關分析法等)等。神經網路方法中，可細分為:前向神經網路(BP演算法等)、自組織神經網路(自組織特徵映射、競爭學習等)等。資料庫方法主要是多維數據分析或OLAP方法，另外還有面向屬性的歸納方法。
從挖掘任務和挖掘方法的角度，著重突破：
1.可視化分析。數據可視化無論對於普通用戶或是數據分析專家，都是最基本的功能。數據圖像化可以讓數據自己說話，讓用戶直觀的感受到結果。
2.數據挖掘演算法。圖像化是將機器語言翻譯給人看，而數據挖掘就是機器的母語。分割、集群、孤立點分析還有各種各樣五花八門的演算法讓我們精煉數據，挖掘價值。這些演算法一定要能夠應付大數據的量，同時還具有很高的處理速度。
3.預測性分析。預測性分析可以讓分析師根據圖像化分析和數據挖掘的結果做出一些前瞻性判斷。
4.語義引擎。語義引擎需要設計到有足夠的人工智慧以足以從數據中主動地提取信息。語言處理技術包括機器翻譯、情感分析、輿情分析、智能輸入、問答系統等。
5.數據質量和數據管理。數據質量與管理是管理的最佳實踐，透過標准化流程和機器對數據進行處理可以確保獲得一個預設質量的分析結果。
六、大數據展現與應用技術
大數據技術能夠將隱藏於海量數據中的信息和知識挖掘出來，為人類的社會經濟活動提供依據，從而提高各個領域的運行效率，大大提高整個社會經濟的集約化程度。在我國，大數據將重點應用於以下三大領域：商業智能、政府決策、公共服務。例如：商業智能技術，政府決策技術，電信數據信息處理與挖掘技術，電網數據信息處理與挖掘技術，氣象信息分析技術，環境監測技術，警務雲應用系統(道路監控、視頻監控、網路監控、智能交通、反電信詐騙、指揮調度等公安信息系統)，大規模基因序列分析比對技術，Web信息挖掘技術，多媒體數據並行化處理技術，影視製作渲染技術，其他各種行業的雲計算和海量數據處理應用技術等。
⑺ 資料庫的多表大數據查詢應如何優化
1.應盡量避免在 where 子句中對欄位進行 null 值判斷，否則將導致引擎放棄使用索引而進行全表掃描，如：
select id from t where num is null
可以在num上設置默認值0，確保表中num列沒有null值，然後這樣查詢：
select id from t where num=0
2.應盡量避免在 where 子句中使用!=或<>操作符，否則將引擎放棄使用索引而進行全表掃描。優化器簡悉將無法通過索引來確定將要命中的行數,因此需要搜索該表的所有行。
3.應盡量避免在 where 子句中使用 or 來連接條件，否則將導致引擎放棄使用索引而進行全表掃描，如：
select id from t where num=10 or num=20
可以這樣查詢：
select id from t where num=10
union all
select id from t where num=20
4.in 和 not in 也要慎用，因為IN會使系統無法使用索引,而只能直接搜索表中的數據。如：
select id from t where num in(1,2,3)
對於連續的數值，能用 beeen 就不要用 in 了：
select id from t where num beeen 1 and 3
5.盡量避免在索引過的字元數據中，使用非打頭字母搜索。這也使得引擎無法利用索引。
見如下例子：
SELECT * FROM T1 WHERE NAME LIKE 『%L%』
SELECT * FROM T1 WHERE SUBSTING(NAME,2,1)=』L』
SELECT * FROM T1 WHERE NAME LIKE 『L%』
即使NAME欄位建有索引，前兩個查詢依然無法利用索引完成加快操作，引擎不得不對全表所有數據逐條操作來完成任務。而第三個查詢能夠使用索引來加快操作。
6.必要時強制查詢優化器使用某個索引，如在 where 子句中使用參數，也會導致全表掃描。因為SQL只有在運行時才會解析局部變數，但優化程序不能將訪問計劃的選擇推遲到運行時；它必須在編譯時進行選擇。然而，如果在編譯時建立訪問計劃，變數的值還是未散罩知的，因而無法作為索引選擇的輸入項。如下面語句將進行全表掃描：
select id from t where num=@num
可以改為強制查詢使用索引：
select id from t with(index(索引名)) where num=@num
7.應盡量避免在 where 子句中對欄位進行表達式操作，這將導致引擎放棄使用索引而進行全表掃描。如：
SELECT * FROM T1 WHERE F1/2=100
應改為:
SELECT * FROM T1 WHERE F1=100*2
SELECT * FROM RECORD WHERE SUBSTRING(CARD_NO,1,4)=』5378』
應改為:
SELECT * FROM RECORD WHERE CARD_NO LIKE 『5378%』
SELECT member_number, first_name, last_name FROM members
WHERE DATEDIFF(yy,datofbirth,GETDATE()) > 21
應改為:
SELECT member_number, first_name, last_name FROM members
WHERE dateofbirth < DATEADD(yy,-21,GETDATE())
即：任何對列的操作都將導致表掃描，它包括資料庫函數、計算表達式等等，查詢時要盡可能將操作移至等號右邊。
8.應盡量避免在where子句中對欄位進行沖咐鬧函數操作，這將導致引擎放棄使用索引而進行全表掃描。如：
select id from t where substring(name,1,3)='abc'--name以abc開頭的id
select id from t where datediff(day,createdate,-11-30')=0--『2005-11-30』生成的id
應改為:
select id from t where name like 'abc%'
select id from t where createdate>=-11-30' and createdate<-12-1'
9.不要在 where 子句中的「=」左邊進行函數、算術運算或其他表達式運算，否則系統將可能無法正確使用索引。
10.在使用索引欄位作為條件時，如果該索引是復合索引，那麼必須使用到該索引中的第一個欄位作為條件時才能保證系統使用該索引，否則該索引將不會被使用，並且應盡可能的讓欄位順序與索引順序相一致。
11.很多時候用 exists是一個好的選擇：
elect num from a where num in(select num from b)
用下面的語句替換：
select num from a where exists(select 1 from b where num=a.num)
SELECT SUM(T1.C1)FROM T1 WHERE(
(SELECT COUNT(*)FROM T2 WHERE T2.C2=T1.C2>0)
SELECT SUM(T1.C1) FROM T1WHERE EXISTS(
SELECT * FROM T2 WHERE T2.C2=T1.C2)
兩者產生相同的結果，但是後者的效率顯然要高於前者。因為後者不會產生大量鎖定的表掃描或是索引掃描。
Statement stmt = null;
ResultSet rs = null;
String query = "select 列名 from 表名 where id=11 and fname='xx' order by 列名 desc limit 1";
stmt = conn.createStatement();
rs = stmt.executeQuery(query);
if (rs.next()) {
result = rs.getInt("列名");
}
樓上的 拼寫錯誤，我來修正 ^^
select count(*) from 表名
傳統資料庫處理大數據很困難吧，不建議使用傳統資料庫來處理大數據。
建議研究下，Hadoop，Hive等，可處理大數據。
如果有預算，可以使用一些商業大數據產品，國內的譬如永洪科技的大數據BI產品，不僅能高性能處理大數據，還可做數據分析。
當然如果是簡單的查詢，傳統資料庫如果做好索引，可能可以提高性能。
有兩種方法
方法1：
select 100 * from tbllendlist where fldserialNo not in ( select 300100 fldserialNo from tbllendlist order by fldserialNo ) order by fldserialNo
方法2：
SELECT TOP 100 * FROM tbllendlist WHERE (fldserialNo > (SELECT MAX(fldserialNo) FROM (SELECT TOP 300100 fldserialNo FROM tbllendlist ORDER BY fldserialNo) AS T)) ORDER BY fldserialNo
影響命中率的因素有四種：字典表活動、臨時段活動、回滾段活動、表掃描， 應用DBA可以對這四種因素進行分析，找出資料庫命中率低的症結所在。 1)字典表活動 當一個SQL語句第一次到達Oracle內核時資料庫對SQL語句進行分析，包含在查詢中的數據字典對象被分解，產生SQL執行路徑。如果SQL語句指向一個不在SGA中的對象?表或視圖，Oracle執行SQL語句到數據典中查詢有關對象的信息。數據塊從數據字典表被讀取到SGA的數據緩存中。由於每個數據字典都很小，因此，我們可緩存這些表以提高對這些表的命中率。但是由於數據字典表的數據塊在SGA中占據空間，當增加全部的命中率時，它們會降低表數據塊的可用空間， 所以若查詢所需的時間字典信息已經在SGA緩存中，那麼就沒有必要遞歸調用。 2)臨時段的活動 當用戶執行一個需要排序的查詢時，Oracle設法對內存中排序區內的所有行進行排序，排序區的大小由資料庫的init.ora文件的數確定。如果排序區域不夠大，資料庫就會在排序操作期間開辟臨時段。臨時段會人為地降低OLTP(online transaction processing）應用命中率,也會降低查詢進行排序的性能。如果能在內存中完成全部排序操作，就可以消除向臨時段寫數據的開銷。所以應將SORT_AREA_SIZE設置得足夠大，以避免對臨時段的需要。這個參數的具體調整方法是:查詢相關數據，以確定這個參數的調整。 select * from v$sysstat where name='sorts(disk)'or name='sorts(memory); 大部分排序是在內存中進行的，但還有小部分發生在臨時段， 需要調整 值，查看init.ora文件的 SORT_AREA_SIZE值，參數為：SORT_AREA_SIZE＝65536;將其調整到SORT_AREA_SIZE＝131072、這個值調整後，重啟ORACLE資料庫即可生效。 3)回滾段的活動 回滾段活動分為回滾活動和回滾段頭活動。對回滾段頭塊的訪問會降低應用的命中率， 對OLTP系統命中率的影響最大。為確認是否因為回滾段影響了命中率，可以查看監控輸出報表中的「數據塊相容性讀一重寫記錄應用」 的統計值，這些統計值是用來確定用戶從回滾段中訪問數據的發生次數。 4)表掃描 通過大掃描讀得的塊在數據塊緩存中不會保持很長時間， 因此表掃描會降低命中率。為了避免不必要的全表掃描，首先是根據需要建立索引，合理的索引設計要建立人對各種查詢的分析和預測上，筆者會在SQL優化中詳細談及；其次是將經常用到的表放在內存中，以降低磁碟讀寫次數。
1. SQL優化的原則是：將一次操作需要讀取的BLOCK數減到最低,即在最短的時間達到最大的數據吞吐量。
調整不良SQL通常可以從以下幾點切入：
? 檢查不良的SQL，考慮其寫法是否還有可優化內容
? 檢查子查詢 考慮SQL子查詢是否可以用簡單連接的方式進行重新書寫
? 檢查優化索引的使用
? 考慮資料庫的優化器
2. 避免出現SELECT * FROM table 語句，要明確查出的欄位。
3. 在一個SQL語句中，如果一個where條件過濾的資料庫記錄越多，定位越准確，則該where條件越應該前移。
4. 查詢時盡可能使用索引覆蓋。即對SELECT的欄位建立復合索引，這樣查詢時只進行索引掃描，不讀取數據塊。
5. 在判斷有無符合條件的記錄時建議不要用SELECT COUNT （*）和select 1 語句。
6. 使用內層限定原則，在拼寫SQL語句時，將查詢條件分解、分類，並盡量在SQL語句的最里層進行限定，以減少數據的處理量。
7. 應絕對避免在order by子句中使用表達式。
8. 如果需要從關聯表讀數據，關聯的表一般不要超過7個。
9. 小心使用 IN 和 OR，需要注意In集合中的數據量。建議集合中的數據不超過200個。
10. <> 用 < 、 > 代替，>用>=代替，<用<=代替，這樣可以有效的利用索引。
11. 在查詢時盡量減少對多餘數據的讀取包括多餘的列與多餘的行。
12. 對於復合索引要注意，例如在建立復合索引時列的順序是F1，F2，F3，則在where或order by子句中這些欄位出現的順序要與建立索引時的欄位順序一致，且必須包含第一列。只能是F1或F1，F2或F1，F2，F3。否則不會用到該索引。
13. 多表關聯查詢時，寫法必須遵循以下原則，這樣做有利於建立索引，提高查詢效率。格式如下select sum（table1.je） from table1 table1, table2 table2, table3 table3 where (table1的等值條件（=）) and (table1的非等值條件) and (table2與table1的關聯條件) and (table2的等值條件) and (table2的非等值條件) and (table3與table2的關聯條件) and (table3的等值條件) and (table3的非等值條件)。
注:關於多表查詢時from 後面表的出現順序對效率的影響還有待研究。
14. 子查詢問題。對於能用連接方式或者視圖方式實現的功能，不要用子查詢。例如：select name from customer where customer_id in ( select customer_id from order where money>1000)。應該用如下語句代替：select name from customer inner join order on customer.customer_id=order.customer_id where order.money>100。
15. 在WHERE 子句中，避免對列的四則運算，特別是where 條件的左邊，嚴禁使用運算與函數對列進行處理。比如有些地方 substring 可以用like代替。
16. 如果在語句中有not in（in）操作，應考慮用not exists（exists）來重寫,最好的辦法是使用外連接實現。
17. 對一個業務過程的處理，應該使事物的開始與結束之間的時間間隔越短越好，原則上做到資料庫的讀操作在前面完成，資料庫寫操作在後面完成，避免交叉。
18. 請小心不要對過多的列使用列函數和order by,group by等，謹慎使用disti軟體開發t。
19. 用union all 代替 union，資料庫執行union操作，首先先分別執行union兩端的查詢，將其放在臨時表中，然後在對其進行排序，過濾重復的記錄。
當已知的業務邏輯決定query A和query B中不會有重復記錄時，應該用union all代替union，以提高查詢效率。
數據更新的效率
1. 在一個事物中，對同一個表的多個insert語句應該集中在一起執行。
2. 在一個業務過程中，盡量的使insert,update,delete語句在業務結束前執行，以減少死鎖的可能性。
資料庫物理規劃的效率
為了避免I/O的沖突，我們在設計資料庫物理規劃時應該遵循幾條基本的原則(以ORACLE舉例)：
?? table和index分離：table和index應該分別放在不同的tablespace中。
?? Rollback Segment的分離：Rollback Segment應該放在獨立的Tablespace中。
?? System Tablespace的分離：System Tablespace中不允許放置任何用戶的object。（mssql中primary filegroup中不允許放置任何用戶的object）
?? Temp Tablesace的分離：建立單獨的Temp Tablespace，並為每個user指定default Temp Tablespace
??避免碎片：但segment中出現大量的碎片時，會導致讀數據時需要訪問的block數量的增加。對經常發生DML操作的segemeng來說，碎片是不能完全避免的。所以，我們應該將經常做DML操作的表和很少發生變化的表分離在不同的Tablespace中。
當我們遵循了以上原則後，仍然發現有I/O沖突存在，我們可以用數據分離的方法來解決。
?? 連接Table的分離：在實際應用中經常做連接查詢的Table，可以將其分離在不同的Taclespace中，以減少I/O沖突。
?? 使用分區：對數據量很大的Table和Index使用分區，放在不同的Tablespace中。
在實際的物理存儲中，建議使用RAID。日誌文件應放在單獨的磁碟中。
給出你的查詢，然後才可以對其進行優化
如果你的查詢比較固定，並且查詢的條件區別度較高，可以建立相應的索引。
其他的一些規則，比如使用exists代替 in都可以試試
查詢速度慢的原因很多，常見如下幾種：
1、沒有索引或者沒有用到索引(這是查詢慢最常見的問題，是程序設計的缺陷)
2、I/O吞吐量小，形成了瓶頸效應。
3、沒有創建計算列導致查詢不優化。
4、內存不足
5、網路速度慢
6、查詢出的數據量過大（可以採用多次查詢，其他的方法降低數據量）
7、鎖或者死鎖(這也是查詢慢最常見的問題，是程序設計的缺陷)
8、sp_lock,sp_who,活動的用戶查看,原因是讀寫競爭資源。
9、返回了不必要的行和列
10、查詢語句不好，沒有優化
可以通過如下方法來優化查詢 :
1、把數據、日誌、索引放到不同的I/O設備上，增加讀取速度，以前可以將Tempdb應放在RAID0上，SQL2000不在支持。數據量（尺寸）越大，提高I/O越重要.
2、縱向、橫向分割表，減少表的尺寸(sp_spaceuse)
3、升級硬體
4、根據查詢條件,建立索引,優化索引、優化訪問方式，限制結果集的數據量。注意填充因子要適當（最好是使用默認值0）。索引應該盡量小，使用位元組數小的列建索引好（參照索引的創建）,不要對有限的幾個值的欄位建單一索引如性別欄位
5、提高網速;
6、擴大伺服器的內存,Windows 2000和SQL server 2000能支持4-8G的內存。配置虛擬內存：虛擬內存大小應基於計算機上並發運行的服務進行配置。運行 Microsoft SQL Server? 2000 時，可考慮將虛擬內存大小設置為計算機中安裝的物理內存的 1.5 倍。如果另外安裝了全文檢索功能，並打算運行 Microsoft 搜索服務以便執行全文索引和查詢，可考慮：將虛擬內存大小配置為至少是計算機中安裝的物理內存的 3 倍。將 SQL Server max server memory 伺服器配置選項配置為物理內存的 1.5 倍（虛擬內存大小設置的一半）。
7、增加伺服器 CPU個數; 但是必須明白並行處理串列處理更需要資源例如內存。使用並行還是串列程是MsSQL自動評估選擇的。單個任務分解成多個任務，就可以在處理器上運行。例如耽擱查詢的排序、連接、掃描和GROUP BY字句同時執行，SQL SERVER根據系統的負載情況決定最優的並行等級，復雜的需要消耗大量的CPU的查詢最適合並行處理。但是更新操作Update,Insert， Delete還不能並行處理。
8、如果是使用like進行查詢的話，簡單的使用index是不行的，但是全文索引，耗空間。 like 'a%' 使用索引 like '%a' 不使用索引用 like '%a%' 查詢時，查詢耗時和欄位值總長度成正比,所以不能用CHAR類型，而是VARCHAR。對於欄位的值很長的建全文索引。
9、DB Server 和APPLication Server 分離；OLTP和OLAP分離
10、分布式分區視圖可用於實現資料庫伺服器聯合體。聯合體是一組分開管理的伺服器，但它們相互協作分擔系統的處理負荷。這種通過分區數據形成資料庫伺服器聯合體的機制能夠擴大一組伺服器，以支持大型的多層 Web 站點的處理需要。有關更多信息，參見設計聯合資料庫伺服器。（參照SQL幫助文件'分區視圖'）
a、在實現分區視圖之前，必須先水平分區表
b、在創建成員表後，在每個成員伺服器上定義一個分布式分區視圖，並且每個視圖具有相同的名稱。這樣，引用分布式分區視圖名的查詢可以在任何一個成員伺服器上運行。系統操作如同每個成員伺服器上都有一個原始表的復本一樣，但其實每個伺服器上只有一個成員表和一個分布式分區視圖。數據的位置對應用程序是透明的。
11、重建索引 DBCC REINDEX ,DBCC INDEXDEFRAG,收縮數據和日誌 DBCC SHRINKDB,DBCC SHRINKFILE. 設置自動收縮日誌.對於大的資料庫不要設置資料庫自動增長，它會降低伺服器的性能。在T-sql的寫法上有很大的講究，下面列出常見的要點：首先，DBMS處理查詢計劃的過程是這樣的：
1、 查詢語句的詞法、語法檢查
2、 將語句提交給DBMS的查詢優化器
3、 優化器做代數優化和存取路徑的優化
4、 由預編譯模塊生成查詢規劃
5、 然後在合適的時間提交給系統處理執行
6、 最後將執行結果返回給用戶其次，看一下SQL SERVER的數據存放的結構：一個頁面的大小為8K(8060)位元組，8個頁面為一個盤區，按照B樹存放。
12、Commit和rollback的區別 Rollback:回滾所有的事物。 Commit:提交當前的事物. 沒有必要在動態SQL里寫事物，如果要寫請寫在外面如： begin tran exec(@s) mit trans 或者將動態SQL 寫成函數或者存儲過程。
13、在查詢Select語句中用Where字句限制返回的行數,避免表掃描,如果返回不必要的數據，浪費了伺服器的I/O資源，加重了網路的負擔降低性能。如果表很大，在表掃描的期間將表鎖住，禁止其他的聯接訪問表,後果嚴重。
14、SQL的注釋申明對執行沒有任何影響
15、盡可能不使用游標，它佔用大量的資源。如果需要row-by-row地執行，盡量採用非游標技術,如：在客戶端循環，用臨時表，Table變數，用子查詢，用Case語句等等。游標可以按照它所支持的提取選項進行分類： 只進 必須按照從第一行到最後一行的順序提取行。FETCH NEXT 是唯一允許的提取操作,也是默認方式。可滾動性可以在游標中任何地方隨機提取任意行。游標的技術在SQL2000下變得功能很強大，他的目的是支持循環。有四個並發選項 READ_ONLY：不允許通過游標定位更新(Update)，且在組成結果集的行中沒有鎖。 OPTIMISTIC WITH valueS:樂觀並發控制是事務控制理論的一個標准部分。樂觀並發控制用於這樣的情形，即在打開游標及更新行的間隔中，只有很小的機會讓第二個用戶更新某一行。當某個游標以此選項打開時，沒有鎖控制其中的行，這將有助於最大化其處理能力。如果用戶試圖修改某一行，則此行的當前值會與最後一次提取此行時獲取的值進行比較。如果任何值發生改變，則伺服器就會知道其他人已更新了此行，並會返回一個錯誤。如果值是一樣的，伺服器就執行修改。選擇這個並發選項OPTIMISTIC WITH ROW VERSIONING:此樂觀並發控制選項基於行版本控制。使用行版本控制，其中的表必須具有某種版本標識符，伺服器可用它來確定該行在讀入游標後是否有所更改。在 SQL Server 中，這個性能由 timestamp 數據類型提供，它是一個二進制數字，表示資料庫中更改的相對順序。每個資料庫都有一個全局當前時間戳值：@@DBTS。每次以任何方式更改帶有 timestamp 列的行時，SQL Server 先在時間戳列中存儲當前的 @@DBTS 值，然後增加 @@DBTS 的值。如果某 個表具有 timestamp 列，則時間戳會被記到行級。伺服器就可以比較某行的當前時間戳值和上次提取時所存儲的時間戳值，從而確定該行是否已更新。伺服器不必比較所有列的值，只需比較 timestamp 列即可。如果應用程序對沒有 timestamp 列的表要求基於行版本控制的樂觀並發，則游標默認為基於數值的樂觀並發控制。 SCROLL LOCKS 這個選項實現悲觀並發控制。在悲觀並發控制中，在把資料庫的行讀入游標結果集時，應用程序將試圖鎖定資料庫行。在使用伺服器游標時，將行讀入游標時會在其上放置一個更新鎖。如果在事務內打開游標，則該事務更新鎖將一直保持到事務被提交或回滾；當提取下一行時，將除去游標鎖。如果在事務外打開游標，則提取下一行時，鎖就被丟棄。因此，每當用戶需要完全的悲觀並發控制時，游標都應在事務內打開。更新鎖將阻止任何其它任務獲取更新鎖或排它鎖，從而阻止其它任務更新該行。然而，更新鎖並不阻止共享鎖，所以它不會阻止其它任務讀取行，除非第二個任務也在要求帶更新鎖的讀取。滾動鎖根據在游標定義的 Select 語句中指定的鎖提示，這些游標並發選項可以生成滾動鎖。滾動鎖在提取時在每行上獲取，並保持到下次提取或者游標關閉，以先發生者為准。下次提取時，伺服器為新提取中的行獲取滾動鎖，並釋放上次提取中行的滾動鎖。滾動鎖獨立於事務鎖，並可以保持到一個提交或回滾操作之後。如果提交時關閉游標的選項為關，則 COMMIT 語句並不關閉任何打開的游標，而且滾動鎖被保留到提交之後，以維護對所提取數據的隔離。所獲取滾動鎖的類型取決於游標並發選項和游標 Select 語句中的鎖提示。鎖提示 只讀 樂觀數值 樂觀行版本控制 鎖定無提示 未鎖定 未鎖定 未鎖定 更新 NOLOCK 未鎖定 未鎖定未鎖定 未鎖定 HOLDLOCK 共享 共享 共享 更新 UPDLOCK 錯誤 更新 更新 更新 TABLOCKX 錯誤 未鎖定 未鎖定更新其它 未鎖定 未鎖定 未鎖定 更新 *指定 NOLOCK 提示將使指定了該提示的表在游標內是只讀的。
16、用Profiler來跟蹤查詢，得到查詢所需的時間，找出SQL的問題所在; 用索引優化器優化索引
17、注意UNion和UNion all 的區別。UNION all好
18、注意使用DISTINCT，在沒有必要時不要用，它同UNION一樣會使查詢變慢。重復的記錄在查詢里是沒有問題的
19、查詢時不要返回不需要的行、列
20、用sp_configure 'query governor cost limit'或者SET QUERY_GOVERNOR_COST_LIMIT來限制查詢消耗的資源。當評估查詢消耗的資源超出限制時，伺服器自動取消查詢,在查詢之前就扼殺掉。 SET LOCKTIME設置鎖的時間
21、用select 100 / 10 Percent 來限制用戶返回的行數或者SET ROWCOUNT來限制操作的行
22、在SQL2000以前，一般不要用如下的字句: "IS NULL", "＜＞", "!=", "!＞", "!＜", "NOT", "NOT EXISTS", "NOT IN", "NOT LIKE", and "LIKE '%500'"，因為他們不走索引全是表掃描。也不要在Where字句中的列名加函數，如Convert，substring等,如果必須用函數的時候，創建計算列再創建索引來替代.還可以變通寫法：Where SUBSTRING(firstname,1,1) = 'm'改為Where firstname like 'm%'（索引掃描），一定要將函數和列名分開。並且索引不能建得太多和太大。NOT IN會多次掃描表，使用EXISTS、NOT EXISTS ，IN , LEFT OUTER JOIN 來替代，特別是左連接,而Exists比IN更快，最慢的是NOT操作.如果列的值含有空，以前它的索引不起作用，現在2000的優化器能夠處理了。相同的是IS NULL，"NOT", "NOT EXISTS", "NOT IN"能優化她，而"＜＞"等還是不能優化，用不到索引。
23、使用Query Analyzer，查看SQL語句的查詢計劃和評估分析是否是優化的SQL。一般的20%的代碼占據了80%的資源，我們優化的重點是這些慢的地方。
24、如果使用了IN或者OR等時發現查詢沒有走索引，使用顯示申明指定索引： Select * FROM PersonMember (INDEX = IX_Title) Where processid IN ('男'，'女')
25、將需要查詢的結果預先計算好放在表中，查詢的時候再Select。這在SQL7.0以前是最重要的手段。例如醫院的住院費計算。
26、MIN() 和 MAX()能使用到合適的索引。
27、資料庫有一個原則是代碼離數據越近越好，所以優先選擇Default,依次為Rules,Triggers, Constraint（約束如外健主健CheckUNIQUE……,數據類型的最大長度等等都是約束）,Procere.這樣不僅維護工作小，編寫程序質量高，並且執行的速度快。
28、如果要插入大的二進制值到Image列，使用存儲過程，千萬不要用內嵌Insert來插入(不知JAVA是否)。因為這樣應用程序首先將二進制值轉換成字元串（尺寸是它的兩倍），伺服器受到字元後又將他轉換成二進制值.存儲過程就沒有這些動作: 方法：Create procere p_insert as insert into table(Fimage) values (@image), 在前台調用這個存儲過程傳入二進制參數，這樣處理速度明顯改善
⑻ 大數據數倉建設性能優化方案
大數據數倉的性能優化主要圍繞以下四個方面：
在數據倉庫建設的過程中，我們不可避免的要執行數據任務，那麼這些任務如何進行配置才會是最優的？如果任務調度配置存在問題，將會導致出現瓶頸任務，或者無法及時提供業務所需的數據，這時我們就需要首先從調度則中段方面來考慮，是不是有些任務的調度時間設置不合理？或者是不是有的任務的優先順序設置不合理？
對於數倉的建模而言，其實可以分為3NF建模和維度建模，推薦使用維度建模方式，可以按照星型模型或者雪花模型架構的方式去建模。3NF建模方式或者實體建模方式的應用性會差一點，在很多時候其性能也會差一點，但3NF會避免數據的冗餘，其擴展性會好一些。而維度建模會有一定的數據冗餘，並且冗餘程度會很高，但是對於上層使用者而言，其易用性要好很多，並且其查詢的性能也會好很多，雖然犧牲了一定的可擴展性，但是仍然在可接受的范圍之內。之所以在大數據的框架下推薦使用維度建模，是因為建模產生的數據冗餘對於大數據離線數倉來說，存儲的成本並不高，因為其都屬於SATA盤的存儲，這樣的存儲成本是很低的。
總之，在大數據框架下推薦大家使用維度建模，使用星型模型或者雪花模型建模的方式，這樣無論對於後續的運維還是後續的數據使用而言，都是比較便利的，並且性能會好一些。星型模型其實就是中間一個事實表，周邊圍繞著一堆維度表，其結構會簡單一些，使用比較方便，性能也比較好；對於雪花模型而言，維度表可能還會繼續關聯其他的維度表，這種方式就是雪花模型，它會略微比星型模型復雜一些。其實星型模型也可以理解為較為簡單的雪花模型。這里推薦大家使用星型模型，當然如果業務非常復雜，必須要使用雪花型也可以使用。這是因為星型模型雖然有數據冗餘，但是其結構比較簡單，容易理解，而且使用起來只需要A傳給B就可以了，不需要再關聯一個C。
除了上述兩個較大的關鍵點之外，還有一些需要注意的小點，比如中間表的使用。我們一般將數倉分為三層，第一層做緩沖，第二層做整合，第三層做應用。但是並不是嚴格的只能分為三層，中間可能會有一些中間表，用於存儲中間計算的結果，如果能夠利用好中間表則會增強數倉的易用性和整體的性能。中間表的使用主要在數倉的第二層裡面，因為需要整合數據，但整合後的數據仍是明細數據，對於這些表而言，數據量往往會比較大，而且會有見多的下游任務依賴這個表，因此可以做一些輕度的匯總，也就是做一些公共的匯總的中間表，這樣應用層可以節省很多的計算量和成本。此外，雖然建議使用中間表，但也要注意中間表的數量，因為中間表數量過多，就會有太多的依賴層級。
在某些業務場景下，我們還需要對寬表進行拆表，拆表的情況一般發生在該表的欄位較多，而其中幾個欄位的產出時間較晚，導致整個表的交付時間也會延遲，在這種情況下我們可以將這幾個欄位單獨拆出來處理，這樣就不會因為幾個欄位影響其餘業務的使用。
與拆表相對的情況是合表，隨著業務的增多，可能會有多個表中存放類似的數據指標，此時，我們可以將多個表整合到一個表中，減少數據任務的冗餘。
表分區的功能一定要合理利用，這對於性能會產生很大的影響，一級分區一般都是按照天劃分的，建議大家一天一個增量或者一天一個全量來做。二級分區的選擇反而會多一些，首先大家要烤爐是否建立二級分區，其次大家再選擇二級分區的建立方式。培數二級分區比較適合於在where語句中經常使用到的欄位，而且這個欄位應該是可枚舉的，比如部門名稱這樣的。這里還有一個前提，就是如果這個欄位的值的分布是非常不均勻的，那麼就不太建議做二級分區。
離線數倉的計算任務基本都是通過SQL實現，這里也只講在SQL部分如何進行優化。我們平時在進行數據處理，數據清洗，數據轉換，數據加工的過程中都會使用到SQL。對於大數據體系下孫譽的SQL的優化而言，主要集中在兩個大的方面進行：減少數據輸入和避免數據傾斜。減少數據輸入是最核心的一點，如果數據輸入量太大，就會佔用很多的計算資源。而數據傾斜是在離線數倉中經常會遇到的，數據傾斜分為幾種，需要針對性的進行優化。
對有分區的表，合理使用分區可以過濾數據，避免全表掃描，有效的降低計算的數據輸入。
SQL支持只讀取一次源數據，然後將其寫入到多個目標表，這樣就保證了只做一次查詢。語法如下
當我們在使用join，Rece或者UDF時，先對數據進行過濾也能有效的提高任務的效率
當發生數據再Map階段傾斜的情況，第一種處理方式反饋至業務層面，看能否通過業務層面的修改讓kv值均衡分布，如果業務層面無法處理，那麼可以調整Map的個數，也就是加大Map的計算節點，默認情況是每256M的數據為一個計算節點，我們可以將其調小，也就是加大Map處理的節點的個數，使得數據分割的更加均勻一些。
Join階段的傾斜也是比較常見的，其解決方案需要分鍾如下幾種情況處理：
Rece傾斜可能的情況有以下幾種：
總結一下，性能調優歸根結底還是資源不夠了或者資源使用的不合理，或者是因為任務分配的不好，使得某些資源分配和利用不合理。