A. Hive SQL执行计划深度解析
Hive SQL执行计划深度解析 - An342647823的专栏 - 博客频道 - CSDN.NET
http://blog.csdn.net/an342647823/article/details/36385479
美团网技术陈纯大作，值得拥有。
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。
在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapRece的过程有了比较深入的理解。对这一过程的理解不仅帮助我们解决了一些Hive的bug，也有利于我们优化Hive SQL，提升我们对Hive的掌控力，同时有能力去定制一些需要的功能。
B. hive 使用tez
1,编译tez 见 https://www.jianshu.com/p/b2569796dd27
2,将 编译后的tez-0.9.2.tar.gz 上传到hdfs上. tez-site.xml中会使用到.见tez.lib.uris属性.
3,在 $HADOOP_HOME/etc/hadoop 下新建 tez-site.xml.内容如下
4,设置 hive. 修改hive-site.xml文件
5,设置客户端的tez. 将 tez-0.9.2.tar.gz 解压到本地 /usr/tez下.
6,重启服务
会有一下一些错误.
错误1 :cause: org.apache.hadoop.service.ServiceStateException: java.lang.NoClassDefFoundError: com/google/common/net/UrlEscapers
解决: 我是将$HIVE_HOME/lib中的guava-14.0.1.jar 升级到guava-19.0.jar. 这个问题解决.但是日志中还是有些错误,不影响结果的产出.
错误2:
使用hive cli 的方式可以正常提交sql.并且在yarn上可以看到作业的运行情况.
但是使用 ** beeline -u jdbc: hive2://localhost:10000 ** .在yarn上看不到作业运行,并且报错. 错误日志只能在hive ui上查看.
C. hiveserver2 怎么停止
CDH4 Hive
(2013-10-23 09:29:52)
转载▼
标签：
cdh4
hive
分类： Hive
关于Hive
Apache Hive是建立在Hadoop之上强大的数据仓库应用程序；你可以使用Hive QL(一种类似于SQL的语言)来访问你的数据。你可以在安装有Hive的客户机上提交你的作业，你不需要将Hive安装在Hadoop集群的任何节点上。
HiveServer2
CDH4.1中，你可以部署HiveServer2，HiveServer2是HiveServer的改进版本，它提供新的Thrift API来处理JDBC或者ODBC客户端，Kerberos身份验证，多个客户端并发。HiveServer2还提供了新的CLI－BeeLine。
Cloudera推荐安装使用HiveServer2。（当你需要时，仍然可以使用原来的HiveServer，并且同时运行HiveServer2）
升级Hive
在所有有运行Hive 的主机上升级Hive：服务端和客户端
注意事项：查看CDH4中包含的Hive版本，检查版本和包信息，对于新的和已更改组件的重要信息可以查看CDH4 Release Notes。
升级Hive从CDH3到CDH4
注意事项：如果你已经执行卸载CDH3和所有组件的步骤，按照这里的描述升级CDH3到CDH4，你可以跳过步骤1，继续安装CDH4版的Hive。
Step 1:Remove Hive
警告：确保没有hive进程在运行，如果在升级过程中有Hive进程在运行，新版本将不能正常工作。
1.退出Hive控制台，确保没有Hive脚本在运行。
2.停止正在运行的HiveServer进程，如果HiveServer作为守护进程运行，用洗面的命令停止服务。
$ sudo service hive-server stop
如果HiveServer从命令行运行的，用<CTRL>-c 停止它
3.停止metastore服务，如果metastore作为守护进程运行，用下面的命令停止服务
$ sudo service hive-metastore stop
如果metastore从命令行运行的，那用<CTRL>-c 停止它
D. 安全洋葱控制台(SOC)
一、安全洋葱控制台(SOC)
一旦你运行了so-allow和允许你的IP地址，你就可以用你的web浏览器连接到安全洋葱控制台(SOC)。我们推荐chromium 或基于chromium 的浏览器，如谷歌Chrome。其他浏览器可能也能工作，但基于chrome的浏览器提供了最好的兼容性。
根据您在安装程序中选择的选项，连接到您的安全洋葱安装的IP地址或主机名。然后使用您在安装程序中指定的电子邮件地址和密码登录。
登录后，你会在左侧看到一些分析工具的链接，比如Alerts、Hunt、PCAP、Kibana、CyberChef、Playbook、TheHive和ATT&CK Navigator。虽然警报、Hunt和PCAP是SOC本身的原生工具，但是其余的工具都是外部的，并且会产生单独的浏览器标签。
SOC使您能够访问各种工具，它们都可以很好地相互补充。例如，这里有一个潜在的工作流:
（1）检查Grafana，确保你的系统是健康的。
（2）进入警报页面并查看未确认的警报。
（3）一旦发现了需要调查的警告，可能需要扩展搜索并查找与源和目标IP地址相关的其他日志，因此pivot可以搜索更多信息。如果这些附加日志中的任何一个看起来很有趣，那么您可能希望转向PCAP，以查看该流的完整包捕获。
（4）向Thehive发送警报，并记录上一步发现的任何IOC指标。
（5）去fleet和执行那些IOCs跨所有osquery端点更广泛的搜索。
（6）使用CyberChef进一步分析和解码其他主机工件。
（7）开发一个在playbook,将自动向前告警IOC和更新您的覆盖率ATT&CK导航器。
（8）最后，返回thehive和文件的整个调查和结束案件。
二、告警
安全洋葱控制台(SOC)让您访问我们新的告警界面。这个界面给你一个告警的概述，安全洋葱正在生成，并允许你快速深入细节，pivot到hunt或PCAP，并逐步升级警报到thehive。
2.1 切换toggle
页面顶部必须有确认和升级切换:
(1)启用确认切换将只显示之前已被分析师确认的警报。
(2)启用升级切换将只显示之前由分析师升级到thehive的警报。
2.2查询栏
查询栏默认为按名称分组，模块按rule.name和event.mole对警报进行分组。如果您想将您当前的告警查询发送到Hunt，您可以点击查询栏右边的十字瞄准图标。
在查询栏下，您会注意到彩色的气泡，它们表示查询的各个组件和要分组的字段。如果您想删除部分查询，您可以单击相应的气泡删除它并运行新的搜索。
您可以单击下拉框选择其他查询，这些查询将按其他字段分组。
2.3时间选择器
默认情况下，Alerts搜索最近24小时。如果您想要搜索一个不同的时间段，您可以在屏幕的右上角更改它。
2.4数据表
页面的其余部分是一个数据表，从分组视图开始，可以切换到详细视图。这两种视图有一些共同的功能:
（1）单击表标头可以按升序或降序排序。
（2）单击bell图标确认一个警报。然后，通过选择页面顶部的确认切换按钮，就可以看到该警报。在确认视图中，单击铃铛图标将删除确认。
（3）单击蓝色感叹号图标将警报升级到hive并创建一个case。这个案例可以在蜂巢界面中看到。如果您需要在警告页面中找到原来的升级警报，您可以启用升级切换(它也将自动启用确认切换)。
（4）单击表中的一个值将显示该值的操作菜单。左边的正负放大镜图标允许您(分别)在查询中包括或排除这些值。如果存在，向下箭头图标允许您钻取该值(下一节将详细介绍该值)。groupby图标允许将特定字段作为groupby添加到查询中。在狩猎中，十字准星图标开始了新的价值搜索。动作菜单右侧末端的G和VT(分别)查找谷歌和VirusTotal上的值。
（5）您可以在右下角调整每页的行设置，并使用左右箭头图标在表格中分页。
分组的视图
默认情况下，警报是根据查询栏中选择的任何条件进行分组的。单击字段值，然后单击向下箭头图标，允许您向下钻取该值，该值将切换到详细视图。
详细视图
如果单击分组视图中的一个值，然后单击快速工具条上的向下箭头图标，它将向下钻取到详细视图。这将显示所有搜索结果，并允许您根据需要钻取单个搜索结果。单击表标头可以按升序或降序排序。从每一行的左边开始，有一个箭头，它将展开结果以显示其所有字段。箭头的右边是时间戳字段。接下来，将显示几个标准字段:rule.name、event.severity_label、source.ip、source.port、destination.ip和destination.port。根据您正在查看的数据类型，可能还会有一些其他特定于数据的字段。
当您单击向下箭头以展开Events表中的一行时，它将显示该事件的所有单独字段。字段名称显示在左侧，字段值显示在右侧。在查看字段名称时，左侧有一个图标，它将把该字段添加到查询的groupby部分。您可以单击右边的值弹出动作菜单，以优化搜索或转向其他页面。
三、狩猎
安全洋葱控制台(SOC)让您访问我们的新狩猎接口。该界面允许您在Elasticsearch中搜索所有数据，并对叠加、下钻、数据扩展和数据缩减进行了高度优化。
3.1自动狩猎
页面的顶部有一个自动搜索的开关，默认是启用的。启用后，当您更改过滤器、分组或日期范围时，Hunt将自动提交您的查询。
3.2查询栏
最简单的入门方法是单击query下拉框并选择预定义的查询之一。这些预定义的查询涵盖了您在安全洋葱部署中可能看到的大多数主要数据类型:来自Suricata的NIDS警报、来自Wazuh的HIDS警报、来自Zeek或Suricata的协议元数据日志、端点日志和防火墙日志。下拉列表中的每个条目都将显示实际的查询，然后是查询功能的描述。
3.3时间选择器
默认情况下，Hunt搜索最近24小时。如果您想要搜索一个不同的时间段，您可以在屏幕的右上角更改它。您可以使用默认的相对时间或单击时钟图标更改为绝对时间。
3.4可视化
输出的第一部分包含“最多发生可视化”、“时间轴可视化”和“最少发生可视化”。柱状图是可单击的，因此您可以单击一个值来更新您的搜索条件。聚合默认为10个值，所以最多出现在前10个值，最少出现在后10个值(长尾)。聚合值的数量由Group Metrics部分中的获取限制设置控制。
3.5组指标
输出的中间部分是Group Metrics部分，它是一个数据表，允许您堆叠(聚合)任意字段。组指标由搜索栏中的groupby参数控制。单击表标头可以按升序或降序排序。
单击Group Metrics表中的一个值，将弹出针对该值的操作菜单。左边的正负放大镜图标允许您(分别)在查询中包括或排除这些值。第三个放大镜仅对值本身启动一个新的查询。动作菜单右侧末端的G和VT(分别)查找谷歌和VirusTotal上的值。
Group Metrics表的默认取值限制是10。如果需要查看前10个以上的数据，可以增加获取限制，然后使用左右箭头图标对输出进行分页，或者增加每页的行设置。
3.6事件
输出的第三部分也是最后一部分是一个数据表，其中包含所有搜索结果，并允许您根据需要钻取单个搜索结果。单击表标头可以按升序或降序排序。从每一行的左边开始，有一个箭头，它将展开结果以显示其所有字段。箭头的右边是时间戳字段。接下来，将显示几个标准字段:source.ip、source.port、destination.ip、destination.port、log.id.uid(Zeek唯一标识符)，network.community_id(社区ID)，和event.dataset。根据您正在查看的数据类型，可能还会有一些其他特定于数据的字段。
单击Events表中的一个值将显示该值的操作菜单。左边的正负放大镜图标允许您(分别)在查询中包括或排除这些值。第三个放大镜仅对值本身启动一个新的查询。第四个图标将带您进入流的pcap。第五个图标(bell)为该事件创建一个警报。动作菜单右侧末端的G和VT(分别)查找谷歌和VirusTotal上的值。
Events表的默认取值限制是100。如果需要查看超过100个事件，可以增加获取限制，然后使用左右箭头图标对输出进行分页，或者增加每页的行设置。
当您单击向下箭头以展开Events表中的一行时，它将显示该事件的所有单独字段。字段名称显示在左侧，字段值显示在右侧。在查看字段名称时，左侧有一个图标，它将把该字段添加到查询的groupby部分。您可以单击右边的值弹出动作菜单，以优化搜索或转向其他页面。
3.7统计数据
页面的左下角显示了关于当前查询的统计信息，包括后端数据获取的速度和总往返时间。
3.8OQL
洋葱查询语言(OQL)以标准的Lucene查询语法开始，然后允许你添加可选的片段来控制Hunt对查询结果做什么。groupby段告诉Hunt按(聚合)特定字段分组。因此，例如，如果希望按目的地IP地址进行分组，可以将| groupby destination- IP添加到搜索中(假设它还没有groupby语句)。groupby段支持多个聚合，因此您可以添加需要分组的更多字段，并用空格分隔这些字段。例如，要按目的地IP地址和目的地端口进行分组，可以使用| groupby destination.IP destinaion.port。
E. 星际争霸中的升级问题。
仔细,认真地记录吧~~兄弟,我找了好长时间的,要想认真学的话,就耐心看完吧,另外,自己摸索着来也是很有意思的:
(结合虫族热键给你讲)
部队变形
G - Guardian Aspect 从飞龙蜕变到守护者
部队制造
D - Drone 农民
Z - Zergling 猎犬
O - Overlord 宿主
H - Hydralisk 刺蛇
M - Mutalisk 飞龙
特殊能力/魔法
Defiler 蝎子
W - Dark Swarm 黑暗浓雾
G - Plague 鼠疫
C - Consume 魔法转化
Drone Mutation 农民变形
B - Basic Mutation 基本变形
H - Hatchery 主基地
C - Creep Colony 扩展树桩子
E - Extractor 气体提炼厂
S - Spawning Pool 血池
V - Evolution Chamber 进化室
D - Hydralisk Den 刺蛇塔
Upgrades 升级类
Spawning Pool 血池
M - Evolve Metabolic Boost
升级猎犬移动速度
A - Evolve Adrenal Glands
升级猎犬攻击速度
Queen's Nest 女皇巢
B - Evolve Spawned Broodling
开发孢子裂变能力
E - Evolve Ensnare
开发诱惑陷阱能力
G - Evolve Gamete Meiosis
女皇的MP+50
Defiler Mound 蝎子窝
G - Evolve Plague
开发鼠疫能力
C - Evolve Consume
开发魔法转换能力
M - Evolve Metasynaptic Node
蝎子的MP+50
Ultralisk Cavern 雷兽窝
A -Evolve Anabolic Synthesis
加快雷兽移动速度
C -Evolve Chitinous Plating
提高雷兽装甲级别
U - Burrow 升级地洞
D - Devourer Aspect 从飞龙蜕变到吞噬者
L - Morph to Lurker 从刺蛇蜕变到潜伏者
S - Scourge 自杀蝙蝠
Q - Queen 女皇
U - Ultralisk 雷兽
F - Defiler 蝎子
Queen 女皇
R - Parasite 寄生术
B - Broodlings 爆裂
E - Ensnare 诱惑陷阱
I - Infest C.C. 感染Terran族指挥中心
V - Advanced Mutation 高级变形
S - Spire 飞龙塔
Q - Queen's Nest 女皇塔
N - Nys Canal 传送塔
U - Ultralisk Cavern 雷兽窝
D - Defiler Mound 蝎子窝
Hatchery 主基地
L - Upgrade to Lair
升级到中级主基地
Lair/Hive 中/高级主基地
H - Upgrade to Hive
升级到高级主基地
B - Evolve Burrow
升级洞穴
V - Evolve Ventral Sacs
升级宿主的运输能力
A - Evolve Antennae
升级宿主的视野
P - Evolve Pneumatized Carapace
升级宿主的飞行速度
Hydralisk Den 刺蛇塔
M - Evolve Muscular Augments
升级刺蛇移动速度
G - Evolve Grooved Spines
升级刺蛇的攻击距离
L - Evolve Lurker Aspect
开发刺蛇变行为潜伏者的能力
Spire 龙塔
A - Upgrade Flyer Attacks
升级空中部队的攻击力
C - Upgrade Flyer Carapace
升级空中部队防御力
G - Mutate into Greater Spire
升级到大龙塔
F. 星际争霸神族各兵种升级攻防及技能的快捷键
你可以下个中文版的自抄己看啊. 地面兵升攻防的好象是BF这个建筑.包括狂战士 龙骑士 黑暗圣堂武士 光明圣堂武士 空中兵升攻防的是BY这个建筑吧. 另外还有额外的升级 在V建筑里的. 不过那里的不是升攻防的 是特殊升级. 比例航母装载的数量 以及苍蝇(就是那个一造出来隐行和反隐行的那个飞的,我们这里是这么说的)的移动速度和探测范围的.. 具体快捷键你可以在游戏里看. 你把鼠标放在技能上面 会有个白色点的字母 那个就是快捷键.