A. Hive SQL執行計劃深度解析
Hive SQL執行計劃深度解析 - An342647823的專欄 - 博客頻道 - CSDN.NET
http://blog.csdn.net/an342647823/article/details/36385479
美團網技術陳純大作，值得擁有。
Hive是基於Hadoop的一個數據倉庫系統，在各大公司都有廣泛的應用。美團數據倉庫也是基於Hive搭建，每天執行近萬次的Hive ETL計算流程，負責每天數百GB的數據存儲和分析。Hive的穩定性和性能對我們的數據分析非常關鍵。
在幾次升級Hive的過程中，我們遇到了一些大大小小的問題。通過向社區的咨詢和自己的努力，在解決這些問題的同時我們對Hive將SQL編譯為MapRece的過程有了比較深入的理解。對這一過程的理解不僅幫助我們解決了一些Hive的bug，也有利於我們優化Hive SQL，提升我們對Hive的掌控力，同時有能力去定製一些需要的功能。
B. hive 使用tez
1,編譯tez 見 https://www.jianshu.com/p/b2569796dd27
2,將 編譯後的tez-0.9.2.tar.gz 上傳到hdfs上. tez-site.xml中會使用到.見tez.lib.uris屬性.
3,在 $HADOOP_HOME/etc/hadoop 下新建 tez-site.xml.內容如下
4,設置 hive. 修改hive-site.xml文件
5,設置客戶端的tez. 將 tez-0.9.2.tar.gz 解壓到本地 /usr/tez下.
6,重啟服務
會有一下一些錯誤.
錯誤1 :cause: org.apache.hadoop.service.ServiceStateException: java.lang.NoClassDefFoundError: com/google/common/net/UrlEscapers
解決: 我是將$HIVE_HOME/lib中的guava-14.0.1.jar 升級到guava-19.0.jar. 這個問題解決.但是日誌中還是有些錯誤,不影響結果的產出.
錯誤2:
使用hive cli 的方式可以正常提交sql.並且在yarn上可以看到作業的運行情況.
但是使用 ** beeline -u jdbc: hive2://localhost:10000 ** .在yarn上看不到作業運行,並且報錯. 錯誤日誌只能在hive ui上查看.
C. hiveserver2 怎麼停止
CDH4 Hive
(2013-10-23 09:29:52)
轉載▼
標簽：
cdh4
hive
分類： Hive
關於Hive
Apache Hive是建立在Hadoop之上強大的數據倉庫應用程序；你可以使用Hive QL(一種類似於SQL的語言)來訪問你的數據。你可以在安裝有Hive的客戶機上提交你的作業，你不需要將Hive安裝在Hadoop集群的任何節點上。
HiveServer2
CDH4.1中，你可以部署HiveServer2，HiveServer2是HiveServer的改進版本，它提供新的Thrift API來處理JDBC或者ODBC客戶端，Kerberos身份驗證，多個客戶端並發。HiveServer2還提供了新的CLI－BeeLine。
Cloudera推薦安裝使用HiveServer2。（當你需要時，仍然可以使用原來的HiveServer，並且同時運行HiveServer2）
升級Hive
在所有有運行Hive 的主機上升級Hive：服務端和客戶端
注意事項：查看CDH4中包含的Hive版本，檢查版本和包信息，對於新的和已更改組件的重要信息可以查看CDH4 Release Notes。
升級Hive從CDH3到CDH4
注意事項：如果你已經執行卸載CDH3和所有組件的步驟，按照這里的描述升級CDH3到CDH4，你可以跳過步驟1，繼續安裝CDH4版的Hive。
Step 1:Remove Hive
警告：確保沒有hive進程在運行，如果在升級過程中有Hive進程在運行，新版本將不能正常工作。
1.退出Hive控制台，確保沒有Hive腳本在運行。
2.停止正在運行的HiveServer進程，如果HiveServer作為守護進程運行，用洗面的命令停止服務。
$ sudo service hive-server stop
如果HiveServer從命令行運行的，用<CTRL>-c 停止它
3.停止metastore服務，如果metastore作為守護進程運行，用下面的命令停止服務
$ sudo service hive-metastore stop
如果metastore從命令行運行的，那用<CTRL>-c 停止它
D. 安全洋蔥控制台(SOC)
一、安全洋蔥控制台(SOC)
一旦你運行了so-allow和允許你的IP地址，你就可以用你的web瀏覽器連接到安全洋蔥控制台(SOC)。我們推薦chromium 或基於chromium 的瀏覽器，如谷歌Chrome。其他瀏覽器可能也能工作，但基於chrome的瀏覽器提供了最好的兼容性。
根據您在安裝程序中選擇的選項，連接到您的安全洋蔥安裝的IP地址或主機名。然後使用您在安裝程序中指定的電子郵件地址和密碼登錄。
登錄後，你會在左側看到一些分析工具的鏈接，比如Alerts、Hunt、PCAP、Kibana、CyberChef、Playbook、TheHive和ATT&CK Navigator。雖然警報、Hunt和PCAP是SOC本身的原生工具，但是其餘的工具都是外部的，並且會產生單獨的瀏覽器標簽。
SOC使您能夠訪問各種工具，它們都可以很好地相互補充。例如，這里有一個潛在的工作流:
（1）檢查Grafana，確保你的系統是健康的。
（2）進入警報頁面並查看未確認的警報。
（3）一旦發現了需要調查的警告，可能需要擴展搜索並查找與源和目標IP地址相關的其他日誌，因此pivot可以搜索更多信息。如果這些附加日誌中的任何一個看起來很有趣，那麼您可能希望轉向PCAP，以查看該流的完整包捕獲。
（4）向Thehive發送警報，並記錄上一步發現的任何IOC指標。
（5）去fleet和執行那些IOCs跨所有osquery端點更廣泛的搜索。
（6）使用CyberChef進一步分析和解碼其他主機工件。
（7）開發一個在playbook,將自動向前告警IOC和更新您的覆蓋率ATT&CK導航器。
（8）最後，返回thehive和文件的整個調查和結束案件。
二、告警
安全洋蔥控制台(SOC)讓您訪問我們新的告警界面。這個界面給你一個告警的概述，安全洋蔥正在生成，並允許你快速深入細節，pivot到hunt或PCAP，並逐步升級警報到thehive。
2.1 切換toggle
頁面頂部必須有確認和升級切換:
(1)啟用確認切換將只顯示之前已被分析師確認的警報。
(2)啟用升級切換將只顯示之前由分析師升級到thehive的警報。
2.2查詢欄
查詢欄默認為按名稱分組，模塊按rule.name和event.mole對警報進行分組。如果您想將您當前的告警查詢發送到Hunt，您可以點擊查詢欄右邊的十字瞄準圖標。
在查詢欄下，您會注意到彩色的氣泡，它們表示查詢的各個組件和要分組的欄位。如果您想刪除部分查詢，您可以單擊相應的氣泡刪除它並運行新的搜索。
您可以單擊下拉框選擇其他查詢，這些查詢將按其他欄位分組。
2.3時間選擇器
默認情況下，Alerts搜索最近24小時。如果您想要搜索一個不同的時間段，您可以在屏幕的右上角更改它。
2.4數據表
頁面的其餘部分是一個數據表，從分組視圖開始，可以切換到詳細視圖。這兩種視圖有一些共同的功能:
（1）單擊表標頭可以按升序或降序排序。
（2）單擊bell圖標確認一個警報。然後，通過選擇頁面頂部的確認切換按鈕，就可以看到該警報。在確認視圖中，單擊鈴鐺圖標將刪除確認。
（3）單擊藍色感嘆號圖標將警報升級到hive並創建一個case。這個案例可以在蜂巢界面中看到。如果您需要在警告頁面中找到原來的升級警報，您可以啟用升級切換(它也將自動啟用確認切換)。
（4）單擊表中的一個值將顯示該值的操作菜單。左邊的正負放大鏡圖標允許您(分別)在查詢中包括或排除這些值。如果存在，向下箭頭圖標允許您鑽取該值(下一節將詳細介紹該值)。groupby圖標允許將特定欄位作為groupby添加到查詢中。在狩獵中，十字準星圖標開始了新的價值搜索。動作菜單右側末端的G和VT(分別)查找谷歌和VirusTotal上的值。
（5）您可以在右下角調整每頁的行設置，並使用左右箭頭圖標在表格中分頁。
分組的視圖
默認情況下，警報是根據查詢欄中選擇的任何條件進行分組的。單擊欄位值，然後單擊向下箭頭圖標，允許您向下鑽取該值，該值將切換到詳細視圖。
詳細視圖
如果單擊分組視圖中的一個值，然後單擊快速工具條上的向下箭頭圖標，它將向下鑽取到詳細視圖。這將顯示所有搜索結果，並允許您根據需要鑽取單個搜索結果。單擊表標頭可以按升序或降序排序。從每一行的左邊開始，有一個箭頭，它將展開結果以顯示其所有欄位。箭頭的右邊是時間戳欄位。接下來，將顯示幾個標准欄位:rule.name、event.severity_label、source.ip、source.port、destination.ip和destination.port。根據您正在查看的數據類型，可能還會有一些其他特定於數據的欄位。
當您單擊向下箭頭以展開Events表中的一行時，它將顯示該事件的所有單獨欄位。欄位名稱顯示在左側，欄位值顯示在右側。在查看欄位名稱時，左側有一個圖標，它將把該欄位添加到查詢的groupby部分。您可以單擊右邊的值彈出動作菜單，以優化搜索或轉向其他頁面。
三、狩獵
安全洋蔥控制台(SOC)讓您訪問我們的新狩獵介面。該界面允許您在Elasticsearch中搜索所有數據，並對疊加、下鑽、數據擴展和數據縮減進行了高度優化。
3.1自動狩獵
頁面的頂部有一個自動搜索的開關，默認是啟用的。啟用後，當您更改過濾器、分組或日期范圍時，Hunt將自動提交您的查詢。
3.2查詢欄
最簡單的入門方法是單擊query下拉框並選擇預定義的查詢之一。這些預定義的查詢涵蓋了您在安全洋蔥部署中可能看到的大多數主要數據類型:來自Suricata的NIDS警報、來自Wazuh的HIDS警報、來自Zeek或Suricata的協議元數據日誌、端點日誌和防火牆日誌。下拉列表中的每個條目都將顯示實際的查詢，然後是查詢功能的描述。
3.3時間選擇器
默認情況下，Hunt搜索最近24小時。如果您想要搜索一個不同的時間段，您可以在屏幕的右上角更改它。您可以使用默認的相對時間或單擊時鍾圖標更改為絕對時間。
3.4可視化
輸出的第一部分包含「最多發生可視化」、「時間軸可視化」和「最少發生可視化」。柱狀圖是可單擊的，因此您可以單擊一個值來更新您的搜索條件。聚合默認為10個值，所以最多出現在前10個值，最少出現在後10個值(長尾)。聚合值的數量由Group Metrics部分中的獲取限制設置控制。
3.5組指標
輸出的中間部分是Group Metrics部分，它是一個數據表，允許您堆疊(聚合)任意欄位。組指標由搜索欄中的groupby參數控制。單擊表標頭可以按升序或降序排序。
單擊Group Metrics表中的一個值，將彈出針對該值的操作菜單。左邊的正負放大鏡圖標允許您(分別)在查詢中包括或排除這些值。第三個放大鏡僅對值本身啟動一個新的查詢。動作菜單右側末端的G和VT(分別)查找谷歌和VirusTotal上的值。
Group Metrics表的默認取值限制是10。如果需要查看前10個以上的數據，可以增加獲取限制，然後使用左右箭頭圖標對輸出進行分頁，或者增加每頁的行設置。
3.6事件
輸出的第三部分也是最後一部分是一個數據表，其中包含所有搜索結果，並允許您根據需要鑽取單個搜索結果。單擊表標頭可以按升序或降序排序。從每一行的左邊開始，有一個箭頭，它將展開結果以顯示其所有欄位。箭頭的右邊是時間戳欄位。接下來，將顯示幾個標准欄位:source.ip、source.port、destination.ip、destination.port、log.id.uid(Zeek唯一標識符)，network.community_id(社區ID)，和event.dataset。根據您正在查看的數據類型，可能還會有一些其他特定於數據的欄位。
單擊Events表中的一個值將顯示該值的操作菜單。左邊的正負放大鏡圖標允許您(分別)在查詢中包括或排除這些值。第三個放大鏡僅對值本身啟動一個新的查詢。第四個圖標將帶您進入流的pcap。第五個圖標(bell)為該事件創建一個警報。動作菜單右側末端的G和VT(分別)查找谷歌和VirusTotal上的值。
Events表的默認取值限制是100。如果需要查看超過100個事件，可以增加獲取限制，然後使用左右箭頭圖標對輸出進行分頁，或者增加每頁的行設置。
當您單擊向下箭頭以展開Events表中的一行時，它將顯示該事件的所有單獨欄位。欄位名稱顯示在左側，欄位值顯示在右側。在查看欄位名稱時，左側有一個圖標，它將把該欄位添加到查詢的groupby部分。您可以單擊右邊的值彈出動作菜單，以優化搜索或轉向其他頁面。
3.7統計數據
頁面的左下角顯示了關於當前查詢的統計信息，包括後端數據獲取的速度和總往返時間。
3.8OQL
洋蔥查詢語言(OQL)以標準的Lucene查詢語法開始，然後允許你添加可選的片段來控制Hunt對查詢結果做什麼。groupby段告訴Hunt按(聚合)特定欄位分組。因此，例如，如果希望按目的地IP地址進行分組，可以將| groupby destination- IP添加到搜索中(假設它還沒有groupby語句)。groupby段支持多個聚合，因此您可以添加需要分組的更多欄位，並用空格分隔這些欄位。例如，要按目的地IP地址和目的地埠進行分組，可以使用| groupby destination.IP destinaion.port。
E. 星際爭霸中的升級問題。
仔細,認真地記錄吧~~兄弟,我找了好長時間的,要想認真學的話,就耐心看完吧,另外,自己摸索著來也是很有意思的:
(結合蟲族熱鍵給你講)
部隊變形
G - Guardian Aspect 從飛龍蛻變到守護者
部隊製造
D - Drone 農民
Z - Zergling 獵犬
O - Overlord 宿主
H - Hydralisk 刺蛇
M - Mutalisk 飛龍
特殊能力/魔法
Defiler 蠍子
W - Dark Swarm 黑暗濃霧
G - Plague 鼠疫
C - Consume 魔法轉化
Drone Mutation 農民變形
B - Basic Mutation 基本變形
H - Hatchery 主基地
C - Creep Colony 擴展樹樁子
E - Extractor 氣體提煉廠
S - Spawning Pool 血池
V - Evolution Chamber 進化室
D - Hydralisk Den 刺蛇塔
Upgrades 升級類
Spawning Pool 血池
M - Evolve Metabolic Boost
升級獵犬移動速度
A - Evolve Adrenal Glands
升級獵犬攻擊速度
Queen's Nest 女皇巢
B - Evolve Spawned Broodling
開發孢子裂變能力
E - Evolve Ensnare
開發誘惑陷阱能力
G - Evolve Gamete Meiosis
女皇的MP+50
Defiler Mound 蠍子窩
G - Evolve Plague
開發鼠疫能力
C - Evolve Consume
開發魔法轉換能力
M - Evolve Metasynaptic Node
蠍子的MP+50
Ultralisk Cavern 雷獸窩
A -Evolve Anabolic Synthesis
加快雷獸移動速度
C -Evolve Chitinous Plating
提高雷獸裝甲級別
U - Burrow 升級地洞
D - Devourer Aspect 從飛龍蛻變到吞噬者
L - Morph to Lurker 從刺蛇蛻變到潛伏者
S - Scourge 自殺蝙蝠
Q - Queen 女皇
U - Ultralisk 雷獸
F - Defiler 蠍子
Queen 女皇
R - Parasite 寄生術
B - Broodlings 爆裂
E - Ensnare 誘惑陷阱
I - Infest C.C. 感染Terran族指揮中心
V - Advanced Mutation 高級變形
S - Spire 飛龍塔
Q - Queen's Nest 女皇塔
N - Nys Canal 傳送塔
U - Ultralisk Cavern 雷獸窩
D - Defiler Mound 蠍子窩
Hatchery 主基地
L - Upgrade to Lair
升級到中級主基地
Lair/Hive 中/高級主基地
H - Upgrade to Hive
升級到高級主基地
B - Evolve Burrow
升級洞穴
V - Evolve Ventral Sacs
升級宿主的運輸能力
A - Evolve Antennae
升級宿主的視野
P - Evolve Pneumatized Carapace
升級宿主的飛行速度
Hydralisk Den 刺蛇塔
M - Evolve Muscular Augments
升級刺蛇移動速度
G - Evolve Grooved Spines
升級刺蛇的攻擊距離
L - Evolve Lurker Aspect
開發刺蛇變行為潛伏者的能力
Spire 龍塔
A - Upgrade Flyer Attacks
升級空中部隊的攻擊力
C - Upgrade Flyer Carapace
升級空中部隊防禦力
G - Mutate into Greater Spire
升級到大龍塔
F. 星際爭霸神族各兵種升級攻防及技能的快捷鍵
你可以下個中文版的自抄己看啊. 地面兵升攻防的好象是BF這個建築.包括狂戰士 龍騎士 黑暗聖堂武士 光明聖堂武士 空中兵升攻防的是BY這個建築吧. 另外還有額外的升級 在V建築里的. 不過那裡的不是升攻防的 是特殊升級. 比例航母裝載的數量 以及蒼蠅(就是那個一造出來隱行和反隱行的那個飛的,我們這里是這么說的)的移動速度和探測范圍的.. 具體快捷鍵你可以在游戲里看. 你把滑鼠放在技能上面 會有個白色點的字母 那個就是快捷鍵.