dba轉大數據

『壹』 從dba的角度，有哪些手段進行數據安全性的保障

有人說，資料庫管理員（DBA）有三個基本任務。按照重要性大小的順序進行排列，它們分別是：保護數據、保護數據再保護數據。

雖然數據完整性顯然是DBA的首要職責（如果數據「質量」不好的話，誰在乎資料庫是不是可用的或快速的），不過除此之外，他還有很多其它工作要做。下面就列出了一個DBA日常執行的實際工作。（有些任務是所有DBA通用的，其它的則是需要在某些特殊的資料庫環境才需要完成的）。

DBA的一般任務

◆安裝、配置、升級和遷移

雖然系統管理員通常負責安裝、維護伺服器上的硬體和操作系統，不過資料庫軟體的安裝通常是由DBA負責的。要勝任這一工作需要了解什麼樣的硬體配置才能使一個資料庫伺服器發揮最大的作用，並且還要就這些硬體需求與系統管理員進行溝通。在完成了上述工作之後，DBA就著手安裝資料庫軟體，並從各種不同的產品配置選項中選擇一個與硬體匹配的並且能使資料庫效率最高的方案。當有新版本的資料庫或者補丁包發布時，決定是否要用或者用哪一個升級或補丁包也是DBA的工作之一。如果企業購買了新的資料庫伺服器，那麼DBA也要負責將數據從原有資料庫伺服器中遷移到新的伺服器上來。

◆備份和恢復

DBA負責為他們所管理的資料庫制定、實施並定期測試資料庫備份和恢復方案。即使在一個大型企業中有一個單獨的系統管理員專門負責資料庫的備份工作，不過最終的決定權還是由DBA掌握---他來確保備份工作要如期完成，並且在資料庫出現故障執行恢復工作後，能包含所需要的所有文件。當資料庫故障發生時，DBA需要知道如何使用備份使資料庫返盡快回到正常狀態，會丟失任何所完成的事務。資料庫出現故障的原因可能又很多種，當出現故障時，DBA必須能很快就能判斷出故障所在並採取有效的應對策略。從商業的角度來看，資料庫備份是有成本的，DBA需要讓企業的管理人員知道各種資料庫備份方法的成本和風險。

◆資料庫安全

因為資料庫主要負責集中存儲數據，這些數據有可能是非常機密並且非常有價值的，因此資料庫往往是黑客甚至好奇的員工最感興趣的目標。DBA必須了解所用資料庫產品的詳細安全模型、該資料庫產品的用途、以及如何使用它來有效地控制數據存取。DBA最基本的三個安全任務是驗證（設置用戶帳戶控制用戶登錄資料庫）、授權（對資料庫的各部分設置許可權，防止非法用戶訪問）、審計（跟蹤用戶執行了什麼資料庫操作）。就目前而言，因為監管法規比如Sarbanes-Oxley 和HIPAA的報告要求必須得到滿足，這使得資料庫審計工作尤為重要。

◆存儲和容量規劃

創建資料庫得一個主要目就是存儲和檢索數據，所以規劃需要多少磁碟存儲空間和監測可用的磁碟存儲空間是DBA的關鍵責任。觀察數據的增長趨勢也是非常重要的，因為只有這樣DBA才能向企業的管理層提出一個長遠的存儲容量規劃。

◆性能監控和調整

DBA負責定期監測資料庫伺服器，從而找出資料庫瓶頸（使資料庫性能降低的某些部分）並制定補救措施。對資料庫伺服器的調整工作要在多個層次上完成。資料庫伺服器硬體的性能以及操作系統的配置都可能成為造成資料庫瓶頸的因素，同樣資料庫軟體的配置也是如此。資料庫在磁碟驅動器上的物理安裝方式以及索引的選擇對於資料庫的性能也有影響。資料庫查詢的編碼方式也可能顯著改變查詢結果返回的快慢程度。DBA需要了解在上述各個層次需要用哪些監測工具，以及如何使用它們來調整系統。從應用設計一開始把性能因素考慮在內是積極主動調整的反映，而不是等待問題發生之後再去修復它們。DBA還需要與資料庫應用開發人員緊密合作，以確保應用是按照最佳方式開發出來的，並且能帶來良好的性能。

◆疑難解答

當資料庫伺服器出現某些差錯的時候，DBA需要知道如何快速確定問題所在並正確地解決問題，保證不丟失數據或使情況變得更糟。

特殊環境下DBA的任務

除了上述基本職責外，由於某些特殊的資料庫環境，一些DBA們還需要掌握一些特別的技巧。

◆高可用性

隨著互聯網時代的到來，過去那種資料庫只需要在白天正常運轉的時代已經結束了，現在資料庫必須能夠提供須提供每周7天每天24小時的全天候服務。網站也已經從靜態的、預定義的內容發展成為動態創建的內容---在頁面請求發送過來之後，使用資料庫創建頁面布局。如果網站是全天候可用的，那麼支持網站的基礎資料庫也必須能夠全天候工作。在這種環境下管理資料庫，DBA需要知道哪些類型的維護業務可以在線完成（也就是在不中斷資料庫運行的情況下），以及在資料庫有可能關閉時制定一個維護「期限」。此外，DBA還要規劃為冗餘的資料庫硬體和軟體組件，以便萬一資料庫出現故障時，冗餘系統仍然能夠繼續要用戶提供服務。DBA可以使用在線備份、集群、復制和應急資料庫等技術和工具確保更高的可用性。

◆大型資料庫（VLDB）

隨著企業發現資料庫技術的用途越來越多，他們往往用它來保存更多的數據。此外，資料庫存儲的數據類型也發生了變化，從過去行列整齊的結構化數據發展現在的非結構化數據，比如文件、圖像、聲音、甚至指紋。這兩種趨勢帶來的結果是一樣的：那就是大型資料庫（VLDB）的出現。要管理VLDB，DBA需要特殊的技能。過去被認為是非常簡單的操作比如復制一個表，所需要的時間可能是非常巨大的。為了保證資料庫擴展到非常大的規模時仍然是可管理的，DBA需要了解一些技術，比如表分割（Oracle）、聯合資料庫（SQL Server）和復制（MySQL）等等。

◆數據提取、轉化和載入（ETL）

在數據倉庫環境中，一個非常關鍵的任務是如何有效地載入數據倉庫或數據集市中的大量數據，而這些數據是從多個現有的生產系統中提取的。通常情況下，這些生產系統的格式與數據倉庫中的標准化定義是不同的，所以數據在載入之前必須要轉化（或「清洗」）。在一個特定的公司里，提取數據可能是也可能不是DBA的責任，但是DBA需要確定什麼樣的提取是有用的，它是資料庫決策團隊一個關鍵組成部分。

『貳』 請有經驗的DBA進來回答一下，sqlserver大批量數據遷移問題

1 不需要的數據當然刪除最好 減輕壓力。
1） 刪除前先刪除索引。因內為刪除的同時也容需要對索引進行維護。我們先刪除索引再刪除數據效率會有一點提高
2） 刪除完數據後，再重新創建索引。為數據轉換做准備。

2 數據轉換過程
1）不知道你是如何實現的。我推薦的方法是將數據導出來成一個或者一系列的文件。
2）再將導出的文件導入到oracle中。可能需要進行數據類型等的轉換。
我的想法就是將你的所有動作分解，一個個完成。這樣出問題也能及時解決，而且互不影響。如果從sqlserver導出數據的同時還需要往sqlserver中插入數據，那麼我推薦插入的數據放入一個新表中，最後將這個新表的數據也導出來再導入。

3 導入到oracle資料庫中。
1）做好詳細規劃。刪除不必要的數據大概還有接近4億行。oracle中的表是否要做分區等？
2）數據導入後再在表上建索引。

『叄』 大數據相關的職位都有哪些啊DBA屬於大數據行業嗎

資料庫管理員（Database
Administrator，簡稱DBA），是從事管理和維護資料庫管理系統(DBMS)的相關工作人員的統稱，屬於運維工程師的一個分支，主要負責業務資料庫從設計、測試到部署交付的全生命周期管理。
DBA的核心目標是保證資料庫管理系統的穩定性、安全性、完整性和高性能。
大數據相關的應該叫數據挖掘師=
=你連這個都分不清還咋找工作

『肆』 大數據時代下,DBA該何去何從

大數據時代下,DBA該何去何從
資料庫管理員（DBA）的職能已擴展到數據管理、基礎架構管理以及工作負載和SLA管理上。作為大數據戰略的一部分，DBA的角色又是如何變化的呢？
數據管理
* 為成為數據管理專家而努力。雖然SQL資料庫可以擴展以處理大數據，但資料庫並不是最優解決方案。DBA正在預算方面做努力，在預算范圍內，以最低的成本滿足SLA。
* 出現數據ops概念。數據管理和數據治理。數據操作是團隊的一部分，在收集和創建數據時共享目標、協作工作。使用自動化來擠壓延遲、採取最合適的敏捷方案以提高提高效率。
* 管理、治理和軟體交付。維護資料庫模型和模式。在大數據中，從定義明確的轉換到應用程序和工程師之間的協同工作，一切都是具有探索性的。

* 雖然開發人員認為不需要數據管理，但為了後續的分析數據，DBA們仍需要進行數據管理。
* DBA從管理資料庫轉變為跨多個系統的數據工程師。他們關注的是數據如何從一個資料庫轉移到另一個資料庫、數據的消耗、數據的調整以及數據流程的管理，對於數據自動分配和執行來說這些都至關重要。
* DBA已經不再是單單只關注像SQLServer和Oracle這樣的個人產品，而是必須要處理好企業大數據實施方案的執行問題。
基礎架構和平台
DBA的角色已經被推到第一線上。對IT棧的演變負責。基礎設施和平台的認定范圍變的更大。
*這是一個不容忽視的大挑戰，應用程序所使用的資料庫技術不再歸於DBA的控制范圍內。遷移到雲上的比重越大，DBA的控制范圍就越小。數據越來越多，同時也在不斷推出新的資料庫。管理數據基礎設施、提出大數據的解決喝整合方案、掌握如何歸檔和處理災難恢復的技能。AWS似乎將雲中的資料庫選項綁定到了DBA上。DBA仍然需要在備份、災難恢復和海量存儲上多費心思。值得在備份和存儲方面進行更具戰略性的思考。
DBA比以往更重要，因此他們也需要學習：如何有效地集成存儲在RDBMS系統中的遺留數據，同時大數據技術也是必不可少的。
* 由於大數據改變了數據架構，DBA的存在可能需要不是立竿見影的，但確實是實實在在的。新技術為數據管理提供了新的契機，使DBA和數據模式打開了一個新時代。
* 事實上，沒有數據模式和Hadoop的NoSQL平台，以及支持它的一系列工具，會越來越多地部署在企業中。現在開發人員在數據本身的設計上有更多的影響力。
* 這在擴大DBA的專業范圍上起到了推動作用：必須學習NoSQL系統的機制和操作；掌握管理Hadoop集群的能力；實施「無需存儲數據存儲數據」的方法。
* 而且，NoSQL的靈活性是以數據完整性為代價，這種模型的難度更高。目前，許多公司的網路應用程序的數據完整性已經給靈活性讓位了。
* DBA必須適應設計和開發的風格變化。DBA也需要運行幾個關系系統，並且認真學習NoSQL技術，對指導公司做出的部署負責。將來可能會劃分出幾種類型的DBA：局限於技術的；傳統的管理員；努力學習並適應管理大數據的新技術和工具的。
* DBA始終是整個軟體開發流程的一部分。在目前的環境中，更是需要所有的DBA都參與到整個開發過程中，尤其是規劃、范圍界定和原型設計部分。DBA能為企業提供有關數據基礎設施功能、所需變更成本、潛在性能影響以及總體容量規劃等項目的具體信息。
*鑒於對數據的使用要求，更多特定數據平台范圍之外的技術正被用於實施解決方案。DBA不僅僅要專注於SQL、DDL等，還要掌握javaScript、Java、.NET等技術。DBA會越來越精通應用容器化和系統容器化（Docker、Rkt、Linux容器等）。DBA壓力會越來越大，一旦與其他角色聯繫到一起，數據及其管理都是穿插著多條生命線，因此需要掌握的技術就不斷增加。
成功採用大數據策略的企業，早已經把DBA轉變為新型數據基礎管理員，包括NoSQL資料庫和Hadoop在內。與開發數據管理邏輯的數據開發人員、處理和准備數據的數據科學家以及業務線上的數據分析人員相結合，DBA是操作大數據戰略的重要部分。現在，DBA依賴於更智能的工具，這些工具可以管理並報告各種資料庫和技術框架的數據基礎架構和流程。
工作負載和SLA
* 工作結構消失了。有類型更為廣泛的問題需要解決。要實現混合的環境在流和批處理中交付新的工作負載，同時又能跟得上變化。
* 現在，有許多不在資料庫中管理數據，而是將數據組織成超級管理數據的數據生態系統一部分的做法。了解通信、鏈接的速度、安全性以及如何將來源匯集在一起。
* 比起以往，現在有更多的技術管理。理解並管理一個數據倉庫的技術方法有10到20種。為了能給問題選擇出正確的技術，便於管理，規模較大的企業正在考慮將搜索、NoSQL、Hadoop和GPU技術標准化。
* 從一個擁有資料庫領域知識的系統管理員，到現在需要掌握處理數據集成、非結構化數據、自然語言處理、文檔存儲和統計。工具集可以能夠簡化工作。關系資料庫不會有大的進展，但大數據存儲會有新變化。
1. 大數據時代，DBA的角色發生了重大變化。在很長一段時間里，DBA僅僅只是一個系統管理員。他們的確有SQL知識、知道該如何優化SQL，以及對構建資料庫的理解，但他們並沒有主動參與到資料庫系統里數據的特定用途上。
2. 大數據DBA對數據和非關系數據模型的應用程序有更深入的了解，並且必須具備執行數據集成的知識，這些數據集超出了用於商業智能（BI）應用的傳統提取——轉換——載入過程（ETL）。

『伍』 關於JAVA開發人員轉行 到底該選DBA還是SAP實施顧問

我是覺得做JAVA的話，如果不在大公司做，很難有發展，如果做了4，5年，其實可以考慮往項目經理方面轉，當然，DBA是一個非常不錯的職業，目前大數據需要非常強大的DBA實力來架設，目前在一家大公司任職，以上是我的個人看法。

『陸』 傳統Oracle dba是否有轉大數據學習hadoop等的必要

.如果轉型還是搞技術的話，學大數據產品是必然的，還需要學習一些開發相關東西，例如java。

『柒』 雲計算時代 對oracle資料庫DBA的影響,是否今後也不需要太多資料庫管理員

雲計算，理論上來說，資料庫也可以放在雲上，但是資料庫的管理還是需要有人來做的，
就是雲服務商可以幫你做一部分資料庫的備份工作，但是資料庫的調優，維護還是需要DBA來做，畢竟誰也不可能把自家數據讓別人去維護。
其次現在資料庫還是很少有放到公有雲上的，最多是放在企業的私有雲上，那麼DBA還是不會失業！

最後說一點現在雲計算一樣火的就會大數據，大數據時代最重要的是什麼--數據。
數據多了，必定需要更多的專業的人員來維護，來分析。

所有說對DBA來說，大數據和雲計算更多的是機遇而不是挑戰！

『捌』 php程序員資料庫 大數據DBA這兩個哪個方向好

不要想的太寬，建議從PHP先學起，試想哪個公司會讓新人一上去就去設計資料庫呢。資料庫在工作中自然能慢慢鍛煉，並且由於硬體和實踐的原因，在工作中學到的資料庫方面的知識絕對是在學校拚命看書所不能比的

『玖』 DBA應該做些什麼

資料庫管理員應該做:
（1）決定資料庫中的信息內容和結構
資料庫中要存放哪些信息，DBA要參與決策。因此DBA必須參加資料庫設計的全過程，並於用戶、應用程序員、系統分析員密切合作共同協商，搞好資料庫設計。
（2）決定資料庫的存儲結構和存取策略
DBA要綜合各用戶的應用要求，和資料庫設計人員共同決定數據的存儲結構和存取策略以求獲得較高的存取效率和存儲空間利用率。
（3）定義數據的安全性要求和完整性約束條件
DBA的重要職責是保證資料庫的安全性和完整性。因此DBA負責確定各個用戶對資料庫的存取許可權、數據的保密級別和完整性約束條件。
（4）監控資料庫的使用和運行
DBA還有一個重要的職責就是監視資料庫系統的運行情況，及時處理運行過程中出現的問題。比如系統發生各種故障時，資料庫會因此遭到不同程度的破壞，DBA必須在最短時間內將資料庫恢復到正確狀態，並盡可能不影響或少影響計算機系統其他部分的正常運行。因此，DBA要定義和實施適當的後備和恢復策略。如周期性的轉儲數據、維護日誌文件等。
（5）資料庫的改進和重組重構
DBA還負責在系統運行期間監視系統的空間利用率、處理效率等性能指標，對運行情況進行記錄、統計分析，依靠工作實踐並根據實際應用環境，不斷改進資料庫設計。不少資料庫產品都提供了對資料庫運行狀況進行監視和分析的實用程序，DBA可以使用這些實用程序完成這項工作。
另外，在資料庫運行過程中，大量數據不斷插入、刪除、修改，時間一長，會影響系統的性能。因此，DBA要定期對資料庫進行重組織，以提高系統的性能。
當用戶的需求增加和改變時，DBA還要對資料庫進行較大的改造，包括修改部分設計，即資料庫的重構造。
一般小型資料庫的資料庫管理員和資料庫設計者是同一個人，中型或大型資料庫有多個資料庫設計者，要按照DBA制定的規范進行設計。

『拾』 大數據開發和DBA哪個發展前景好

應該是大數據開發比較好的，畢竟大數據，雲計算和物聯網是未來發展的三大趨版勢。大數據權現在雖然沒有發展到成熟的階段。但是在以後的5到10年裡，會漸漸的走向成熟的階段的。以後我們的生活中時時都會出現大數據的影子的。