統計大資料庫設計

Ⅰ 大型資料庫設計原則

一個好的資料庫產品不等於就有一個好的應用系統 如果不能設計一個合理的資料庫模型 不僅會增加客戶端和伺服器段程序的編程和維護的難度 而且將會影響系統實際運行的性能 一般來講 在一個MIS系統分析 設計 測試和試運行階段 因為數據量較小 設計人員和測試人員往往只注意到功能的實現 而很難注意到性能的薄弱之處 等到系統投入實際運行一段時間後 才發現系統的性能在降低 這時再來考慮提高系統性能則要花費更多的人力物力 而整個系統也不可避免的形成了一個打補丁工程 筆者依據多年來設計和使用資料庫的經驗 提出以下一些設計准則 供同仁們參考

命名的規范

不同的資料庫產品對對象的命名有不同的要求 因此 資料庫中的各種對象的命名 後台程序的代碼編寫應採用大小寫敏感的形式 各種對象命名長度不要超過 個字元 這樣便於應用系統適應不同的資料庫

游標（Cursor）的慎用

游標提供了對特定集合中逐行掃描的手段 一般使用游標逐行遍歷數據 根據取出的數據不同條件進行不同的操作 尤其對多表和大表定義的游標（大的數據集合）循環很容易使程序進入一個漫長的等特甚至死機 筆者在某市《住房公積金管理系統》進行日終帳戶滾積數計息處理時 對一個 萬個帳戶的游標處理導致程序進入了一個無限期的等特（後經測算需 個小時才能完成）(硬體環境 Alpha/ Mram Sco Unix Sybase ) 後根據不同的條件改成用不同的UPDATE語句得以在二十分鍾之內完成 示例如下

Declare Mycursor cursor for select count_no from COUNT

Open Mycursor

Fetch Mycursor into @vcount_no

While (@@sqlstatus= )

Begin

If @vcount_no= 條件

操作

If @vcount_no= 條件

操作

Fetch Mycursor into @vcount_no

End

改為

Update COUNT set 操作 for 條件

Update COUNT set 操作 for 條件

在有些場合 有時也非得使用游標 此時也可考慮將符合條件的數據行轉入臨時表中 再對臨時表定義游標進行操作 可時性能得到明顯提高 筆者在某地市〈電信收費系統〉資料庫後台程序設計中 對一個表（ 萬行中符合條件的 多行數據）進行游標操作(硬體環境 PC伺服器 PII Mram NT Ms Sqlserver ) 示例如下

Create #tmp /* 定義臨時表 */

(欄位

欄位

)

Insert into #tmp select * from TOTAL where

條件 /* TOTAL中 萬行 符合條件只有幾十行 */

Declare Mycursor cursor for select * from #tmp

/*對臨時表定義游標*/

索引(Index)的使用原則

創建索引一般有以下兩個目的 維護被索引列的唯一性和提供快速訪問表中數據的策略 大型資料庫有兩種索引即簇索引和非簇索引 一個沒有簇索引的表是按堆結構存儲數據 所有的數據均添加在表的尾部 而建立了簇索引的表 其數據在物理上會按照簇索引鍵的順序存儲 一個表只允許有一個簇索引 因此 根據B樹結構 可以理解添加任何一種索引均能提高按索引列查詢的速度 但會降低插入 更新 刪除操作的性能 尤其是當填充因子（Fill Factor）較大時 所以對索引較多的表進行頻繁的插入 更新 刪除操作 建表和索引時因設置較小的填充因子 以便在各數據頁中留下較多的自由空間 減少頁分割及重新組織的工作

數據的一致性和完整性

為了保證資料庫的一致性和完整性 設計人員往往會設計過多的表間關聯（Relation） 盡可能的降低數據的冗餘 表間關聯是一種強制性措施 建立後 對父表（Parent Table）和子表(Child Table)的插入 更新 刪除操作均要佔用系統的開銷 另外 最好不要用Identify 屬性欄位作為主鍵與子表關聯 如果數據冗餘低 數據的完整性容易得到保證 但增加了表間連接查詢的操作 為了提高系統的響應時間 合理的數據冗餘也是必要的 使用規則（Rule）和約束（Check）來防止系統操作人員誤輸入造成數據的錯誤是設計人員的另一種常用手段 但是 不必要的規則和約束也會佔用系統的不必要開銷 需要注意的是 約束對數據的有效性驗證要比規則快 所有這些 設計人員在設計階段應根據系統操作的類型 頻度加以均衡考慮

事務的陷阱

事務是在一次性完成的一組操作 雖然這些操作是單個的操作 SQL Server能夠保證這組操作要麼全部都完成 要麼一點都不做 正是大型資料庫的這一特性 使得數據的完整性得到了極大的保證

眾所周知 SQL Server為每個獨立的SQL語句都提供了隱含的事務控制 使得每個DML的數據操作得以完整提交或回滾 但是SQL Server還提供了顯式事務控制語句

BEGIN TRANSACTION 開始一個事務

MIT TRANSACTION 提交一個事務

ROLLBACK TRANSACTION 回滾一個事務

事務可以嵌套 可以通過全局變數@@trancount檢索到連接的事務處理嵌套層次 需要加以特別注意並且極容易使編程人員犯錯誤的是 每個顯示或隱含的事物開始都使得該變數加 每個事務的提交使該變數減 每個事務的回滾都會使得該變數置 而只有當該變數為 時的事務提交（最後一個提交語句時） 這時才把物理數據寫入磁碟

資料庫性能調整

在計算機硬體配置和網路設計確定的情況下 影響到應用系統性能的因素不外乎為資料庫性能和客戶端程序設計 而大多數資料庫設計員採用兩步法進行資料庫設計 首先進行邏輯設計 而後進行物理設計 資料庫邏輯設計去除了所有冗餘數據 提高了數據吞吐速度 保證了數據的完整性 清楚地表達數據元素之間的關系 而對於多表之間的關聯查詢（尤其是大數據表）時 其性能將會降低 同時也提高了客 戶端程序的編程難度 因此 物理設計需折衷考慮 根據業務規則 確定對關聯表的數據量大小 數據項的訪問頻度 對此類數據表頻繁的關聯查詢應適當提高數據冗餘設計

數據類型的選擇

數據類型的合理選擇對於資料庫的性能和操作具有很大的影響 有關這方面的書籍也有不少的闡述 這里主要介紹幾點經驗

Identify欄位不要作為表的主鍵與其它表關聯 這將會影響到該表的數據遷移

Text 和Image欄位屬指針型數據 主要用來存放二進制大型對象（BLOB） 這類數據的操作相比其它數據類型較慢 因此要避開使用

日期型欄位的優點是有眾多的日期函數支持 因此 在日期的大小比較 加減操作上非常簡單 但是 在按照日期作為條件的查詢操作也要用函數 相比其它數據類型速度上就慢許多 因為用函數作為查詢的條件時 伺服器無法用先進的性能策略來優化查詢而只能進行表掃描遍歷每行

例如 要從DATA_TAB 中（其中有一個名為DATE的日期欄位）查詢 年的所有記錄

Ⅱ 怎樣建立一個大型資料庫

建立一個資料庫當你想建立一個表時，你必須按照以下的步驟先建立一個資料庫：在SQL Enterprise Manager中，選擇你的資料庫的名字。從Manage菜單中選擇Databases選項。管理資料庫的窗口就出現了。在工具條上點擊新建資料庫的按鈕，就會出現新建資料庫的對話框（如圖3.5所示）。注意</B>現在版本的SQL Server(version 6.5)最多能有32,767個資料庫。每個資料庫的最小容量是1MB，最大容量是ITB。在SQL Enterprise Manager對話框中的新建資料庫對話框。 填寫你的資料庫所要使用的名字（不能有空格）。 然後，填寫你要建立的資料庫所在的資料庫設備（例如，他就是你在前面一步建立的資料庫設備）。 這個新建資料庫的對話框會以圖形的方式顯示所有資料庫設備的已經使用和沒有使用的空間。 當你建立一個資料庫時，你可以選擇去建立事務日誌。為了建立事務日誌，你需要指定一個log device（日誌資料庫設備）。在新建資料庫對話框中，打開標有LogDevice的下拉式框，然後選擇一個資料庫設備和用於日誌的空間大小。注意</B>每個資料庫都有它自己的事務處理日誌，它記錄了對資料庫每一個請求（modify,insert,delete）。日誌文件是對資料庫的內部處理過程的一種監視。它允許你對資料庫執行updates, inserts, deletes等操作。所以在需要的時候，你也可以取消這些操作的結果。在系統沒有正確地關閉，而只是停機或重新啟動時，這些事務處理的日誌是很有用的－在重新啟動時，SQL Server會根據事務處理日誌來恢復數據。注意</B>當你把事務處理日誌向一個mp 資料庫傾倒時，你的事務處理日誌會被截短。你也可以強制地使你的事務日誌縮短。如果你想知道有關事務日誌的更多的信息，請查詢SQL 在線幫助文件，用關鍵字transaction log查找。6當你完成在新建資料庫的對話框中的這些問題的回答，點擊Create Now 按鈕。你的資料庫就會在Databases文件夾下顯示出來。

Ⅲ 說明在設計資料庫表時你是如何考慮的

資料庫是整個軟體應用的根基，是軟體設計的起點，它起著決定性的質變作用，因此我們必須對資料庫設計高度重視起來，培養設計良好資料庫的習慣，是一個優秀的軟體設計師所必須具備的基本素質條件！ 那麼我們要做到什麼程度才是對的呢？下面就說說資料庫設計的原則： （1）、資料庫設計最起碼要佔用整個項目開發的40%以上的時間

資料庫是需求的直觀反應和表現，因此設計時必須要切實符合用戶的需求，要多次與用戶溝通交流來細化需求，將需求中的要求和每一次的變化都要一一體現在資料庫的設計當中。如果需求不明確，就要分析不確定的因素，設計表時就要事先預留出可變通的欄位，正所謂「有備無患」。 （2）、資料庫設計不僅僅停留於頁面demo的表面 頁面內容所需要的欄位，在資料庫設計中只是一部分，還有系統運轉、模塊交互、中轉數據、表之間的聯系等等所需要的欄位，因此資料庫設計絕對不是簡單的基本數據存儲，還有邏輯數據存儲。 （3）、資料庫設計完成後，項目80%的設計開發在你腦海中就已經完成了 每個欄位的設計都是有他必要的意義的，你在設計每一個欄位的同時，就應該已經想清楚程序中如何去運用這些欄位，多張表的聯系在程序中是如何體現的。換句話說，你完成資料庫設計後，程序中所有的實現思路和實現方式在你的腦海中就已經考慮過了。如果達不到這種程度，那當進入編碼階段後，才發現要運用的技術或實現的方式資料庫無法支持，這時再改動資料庫就會很麻煩，會造成一系列不可預測的問題。 （4）、資料庫設計時就要考慮到效率和優化問題 一開始就要分析哪些表會存儲較多的數據量，對於數據量較大的表的設計往往是粗粒度的，也會冗餘一些必要的欄位，已達到盡量用最少的表、最弱的表關系去存儲海量的數據。並且在設計表時，一般都會對主鍵建立聚集索引，含有大數據量的表更是要建立索引以提供查詢性能。對於含有計算、數據交互、統計這類需求時，還要考慮是否有必要採用存儲過程。 （5）、添加必要的（冗餘）欄位 像「創建時間」、「修改時間」、「備注」、「操作用戶IP」和一些用於其他需求（如統計）的欄位等，在每張表中必須都要有，不是說只有系統中用到的數據才會存到資料庫中，一些冗餘欄位是為了便於日後維護、分析、拓展而添加的，這點是非常重要的，比如黑客攻擊，篡改了數據，我們便就可以根據修改時間和操作用戶IP來查找定位。 （6）、設計合理的表關聯 若多張表之間的關系復雜，建議採用第三張映射表來關聯維護兩張表之間的關系，以降低表之間的直接耦合度。若多張表涉及到大數據量的問題，表結構盡量簡單，關聯也要盡可能避免。 （7）、設計表時不加主外鍵等約束性關聯，系統編碼階段完成後再添加約束性關聯 這樣做的目的是有利於團隊並行開發，減少編碼時所遇到的問題，表之間的關系靠程序來控制。編碼完成後再加關聯並進行測試。不過也有一些公司的做法是乾脆就不加表關聯。 （8）、選擇合適的主鍵生成策略

Ⅳ 大型資料庫的設計原則與開發技巧

隨著計算機技術越來越廣泛地應用於國民經濟的各個領域 在計算機硬體不斷微型化的同時 應用系統向著復雜化 大型化的方向發展 資料庫是整個系統的核心 它的設計直接關系系統執行的效率和系統的穩定性 因此在軟體系統開發中 資料庫設計應遵循必要的資料庫範式理論 以減少冗餘 保證數據的完整性與正確性 只有在合適的資料庫產品上設計出合理的資料庫模型 才能降低整個系統的編程和維護難度 提高系統的實際運行效率 雖然對於小項目或中等規模的項目開發人員可以很容易地利用範式理論設計出一套符合要求的資料庫 但對於一個包含大型資料庫的軟體項目 就必須有一套完整的設計原則與技巧

一 成立數據小組

大型資料庫數據元素多 在設計上有必要成立專門的數據小組 由於資料庫設計者不一定是使用者 對系統設計中的數據元素不可能考慮周全 資料庫設計出來後 往往難以找到所需的庫表 因此數據小組最好由熟悉業務的項目骨幹組成

數據小組的職能並非是設計資料庫 而是通過需求分析 在參考其他相似系統的基礎上 提取系統的基本數據元素 擔負對資料庫的審核 審核內容包括審核新的資料庫元素是否完全 能否實現全部業務需求 對舊資料庫（如果存在舊系統）的分析及數據轉換 資料庫設計的審核 控制及必要調整

二 設計原則

規范命名 所有的庫名 表名 域名必須遵循統一的命名規則 並進行必要說明 以方便設計 維護 查詢

控制欄位的引用 在設計時 可以選擇適當的資料庫設計管理工具 以方便開發人員的分布式設計和數據小組的集中審核管理 採用統一的命名規則 如果設計的欄位已經存在 可直接引用 否則 應重新設計

庫表重復控制 在設計過程中 如果發現大部分欄位都已存在 開發人員應懷疑所設計的庫表是否已存在 通過對欄位所在庫表及相應設計人員的查詢 可以確認庫表是否確實重復

並發控制 設計中應進行並發控制 即對於同一個庫表 在同一時間只有一個人有控制權 其他人只能進行查詢

必要的討論 資料庫設計完成後 數據小組應與相關人員進行討論 通過討論來熟悉資料庫 從而對設計中存在的問題進行控制或從中獲取資料庫設計的必要信息

數據小組的審核 庫表的定版 修改最終都要通過數據小組的審核 以保證符合必要的要求

頭文件處理 每次數據修改後 數據小組要對相應的頭文件進行修改（可由管理軟體自動完成） 並通知相關的開發人員 以便進行相應的程序修改

三 設計技巧

分類拆分數據量大的表 對於經常使用的表（如某些參數表或代碼對照表） 由於其使用頻率很高 要盡量減少表中的記錄數量 例如 銀行的戶主賬表原來設計成一張表 雖然可以方便程序的設計與維護 但經過分析發現 由於數據量太大 會影響數據的迅速定位 如果將戶主賬表分別設計為活期戶主賬 定期戶主賬及對公戶主賬等 則可以大大提高查詢效率

索引設計 對於大的資料庫表 合理的索引能夠提高整個資料庫的操作效率 在索引設計中 索引欄位應挑選重復值較少的欄位 在對建有復合索引的欄位進行檢索時 應注意按照復合索引欄位建立的順序進行 例如 如果對一個 萬多條記錄的流水表以日期和流水號為序建立復合索引 由於在該表中日期的重復值接近整個表的記錄數 用流水號進行查詢所用的時間接近 秒 而如果以流水號為索引欄位建立索引進行相同的查詢 所用時間不到 秒 因此在大型資料庫設計中 只有進行合理的索引欄位選擇 才能有效提高整個資料庫的操作效率

數據操作的優化 在大型資料庫中 如何提高數據操作效率值得關注 例如 每在資料庫流水表中增加一筆業務 就必須從流水控製表中取出流水號 並將其流水號的數值加一 正常情況下 單筆操作的反應速度尚屬正常 但當用它進行批量業務處理時 速度會明顯減慢 經過分析發現 每次對流水控製表中的流水號數值加一時都要鎖定該表 而該表卻是整個系統操作的核心 有可能在操作時被其他進程鎖定 因而使整個事務操作速度變慢 對這一問題的解決的辦法是 根據批量業務的總筆數批量申請流水號 並對流水控製表進行一次更新 即可提高批量業務處理的速度 另一個例子是對插表的優化 對於大批量的業務處理 如果在插入資料庫表時用普通的Insert語句 速度會很慢 其原因在於 每次插表都要進行一次I/O操作 花費較長的時間 改進後 可以用Put語句等緩沖區形式等滿頁後再進行I/O操作 從而提高效率 對大的資料庫表進行刪除時 一般會直接用Delete語句 這個語句雖然可以進行小表操作 但對大表卻會因帶來大事務而導致刪除速度很慢甚至失敗 解決的方法是去掉事務 但更有效的辦法是先進行Drop操作再進行重建

資料庫參數的調整 資料庫參數的調整是一個經驗不斷積累的過程 應由有經驗的系統管理員完成 以Informix資料庫為例 記錄鎖的數目太少會造成鎖表的失敗 邏輯日誌的文件數目太少會造成插入大表失敗等 這些問題都應根據實際情況進行必要的調整

必要的工具 在整個資料庫的開發與設計過程中 可以先開發一些小的應用工具 如自動生成庫表的頭文件 插入數據的初始化 數據插入的函數封裝 錯誤跟蹤或自動顯示等 以此提高資料庫的設計與開發效率

避免長事務 對單個大表的刪除或插入操作會帶來大事務 解決的辦法是對參數進行調整 也可以在插入時對文件進行分割 對於一個由一系列小事務順序操作共同構成的長事務（如銀行交易系統的日終交易） 可以由一系列操作完成整個事務 但其缺點是有可能因整個事務太大而使不能完成 或者 由於偶然的意外而使事務重做所需的時間太長 較好的解決方法是 把整個事務分解成幾個較小的事務 再由應用程序控制整個系統的流程 這樣 如果其中某個事務不成功 則只需重做該事務 因而既可節約時間 又可避免長事務

適當超前 計算機技術發展日新月異 資料庫的設計必須具有一定前瞻性 不但要滿足當前的應用要求 還要考慮未來的業務發展 同時必須有利於擴展或增加應用系統的處理功能

Ⅳ 請大夥給我解釋一下資料庫設計的基本原則！

資料庫設計的三範式所謂範式，是關系型資料庫關系模式規范化的標准，從規范化的寬松到嚴格，分別為不同的範式，通常使用的有第一範式、第二範式、第三範式及BC範式等。範式是建立在函數依賴基礎上的。

函數依賴

定義：設有關系模式R(U)，X和Y是屬性集U的子集，函數依賴是形為X→Y的一個命題，對任意R中兩個元組t和s，都有t[X]=s[X]蘊涵t[Y]=s[Y]，那麼FD X→Y在關系模式R(U)中成立。X→Y讀作『X函數決定Y』，或『Y函數依賴於X』。通俗的講，如果一個表中某一個欄位Y的值是由另外一個欄位或一組欄位X的值來確定的，就稱為Y函數依賴於X。函數依賴應該是通過理解數據項和企業的規則來決定的，根據表的內容得出的函數依賴可能是不正確的。

第一範式（1NF）

定義：如果關系模式R的每個關系r的屬性都是不可分的數據項，那麼就稱R是第一範式的模式。
簡單的說，每一個屬性都是原子項，不可分割。1NF是關系模式應具備的最起碼的條件，如果資料庫設計不能滿足第一範式，就不稱為關系型資料庫。關系資料庫設計研究的關系規范化是在1NF之上進行的。

第二範式（2NF）

定義：如果關系模式R是1NF，且每個非主屬性完全函數依賴於候選鍵，那麼就稱R是第二範式。
簡單的說，第二範式要滿足以下的條件：首先要滿足第一範式，其次每個非主屬性要完全函數依賴與候選鍵，或者是主鍵。也就是說，每個非主屬性是由整個主鍵函數決定的，而不能由主鍵的一部分來決定。舉個例子：
有股票日行情表的主鍵是股 票代碼和交易日期組成。非主屬性中有收盤價和成交量等，都是由主鍵，即股票代碼和交易日期函數決定的，單獨的股票代碼或者交易日期都不能函數決定這些非主 屬性。如果這個表中有非主屬性股票簡稱，則股票簡稱是可以由股票代碼來函數決定的，這樣股票簡稱這個非主屬性就不是完全函數依賴於候選鍵，這樣的設計就不 滿足第二範式。

第三範式（3NF）
定義：如果關系模式R是2NF，且關系模式R（U，F）中的所有非主屬性對任何候選關鍵字都不存在傳遞依賴，則稱關系R是屬於第三範式。
簡單的說，第三範式要滿足以下的條件：首先要滿足第二範式，其次非主屬性之間不存在函數依賴。由於滿足了第二範式，表示每個非主屬性都函數依賴於主鍵。如果非主屬性之間存在了函數依賴，就會存在傳遞依賴，這樣就不滿足第三範式。
舉 個例子：在股票基本情況表中，主鍵是股票代碼，有非主屬性所屬一級行業和所屬二級行業。根據業務規則，所屬二級行業能夠函數決定所屬一級行業，這就表示存 在這樣一種關系：股票代碼函數決定所屬二級行業，所屬二級行業函數決定所屬一級行業，這就形成了傳遞依賴，這樣的設計就不符合第三範式。不過在實際運用 中，為查詢和使用的方便，有時也會違反第三範式。如上例，如果沒有所屬一級行業的屬性，需要查詢所屬一級行業的相關股票，需要查詢時使用函數來從二級行業 中函數生成所屬一級行業，使用性能上會受影響。所以通常會加上所屬一級行業的屬性。

BC範式（BCNF）

BC範式是第三範式的增強版，不過也有人說是直接從1NF發展過來的，即每個屬性，包括主屬性或非主屬性，都完全依賴於候選鍵，並且不存在傳遞依賴情況。

Ⅵ 關於「每天」的數據，資料庫怎麼設計

所謂項目是指數據類型？前提：如果沒有相同的表結構，那麼就要每個項目單獨建表。那沒辦法實現你說的。那麼，只有所有項目統計表結構。數據分類：每日數據，固定數據。可以認為是日誌表和資料表。分開建就是了。主要問題：每日資料庫數據表的存儲方式。之所以有這個問題，就是大數據量的處理。而不斷增加的大數據量處理，必然涉及到分表或者歷史數據清理了。:)而有較好查詢支持的自然是分表。so，接下來就是討論使用什麼樣的分表方式了。hash值分表，時間段分表，數據量閥值分表等。針對你這種情況，如果數據量不那麼太大，採用數據量閥值分表可能會好。當然，變種、復合方案很多。那要像2樓說的那樣，拿出的詳細問題來。問題都沒搞清楚，那就誰也幫不上你了。