A. hadoop 集群怎麼導入和查詢數據
Hadoop集群數據導入主要採用兩種方式。一種是直接使用Hadoop提供的put命令，將本地文件系統中的數據上傳到HDFS中。這種方式簡單直接，適合少量文件的快速導入。另一種則是從資料庫中導入數據，這時我們可以使用Sqoop工具，它能夠高效地將關系型資料庫中的數據導入到HDFS中，實現數據的遷移和存儲。
數據查詢方面，Hadoop提供了多種方式。最常見的是使用Hive進行查詢。Hive是一個基於Hadoop的數據倉庫工具，可以將SQL語句轉換成MapRece任務執行，使得用戶能夠以類SQL的方式處理大規模數據集。此外，還可以編寫MapRece程序，通過Java代碼直接操作Hadoop的API進行數據處理，這種方式靈活性高，適用於復雜的數據處理邏輯。
使用Hive查詢數據時，首先需要創建表結構，然後執行SQL語句進行數據查詢。Hive支持多種數據類型和復雜的查詢操作，可以滿足多樣化的查詢需求。編寫MapRece程序進行數據處理時，則需要定義輸入輸出格式、mapper和recer函數，通過分布式計算框架實現數據的並行處理。這種方式能夠充分利用Hadoop的分布式計算能力，實現高效的數據處理。
對於不同的應用場景，我們可以根據數據量、數據處理復雜度等因素選擇合適的數據導入和查詢方式。例如，對於少量數據的快速導入，可以使用put命令；而對於復雜的數據處理需求，則可以考慮使用Hive或MapRece程序。通過合理選擇和配置，可以充分利用Hadoop的優勢，實現高效的數據管理和分析。
B. Hive分區過多有何壞處以及分區時的注意事項
1.當分區過多且數據很大時，可以使用嚴格模式，避免出發一個大的maprece任務。當分區數量過多且數據量較大時，執行寬范圍的數據掃描會觸發一個很大的maprece任務。在嚴格模式下，當where中沒有分區過濾條件時會禁止執行。
2.hive如果有過多的分區，由於底層是存儲在HDFS上，HDFS上只用於存儲大文件 而非小文件，因為過多的分區會增加namenode的負擔。
3.hive會轉化為maprece，maprece會轉化為多個task。過多小文件的話，每個文件一個task，每個task一個JVM實例，JVM的開啟與銷毀會降低系統效率。