淘寶的資料庫結構

㈠ 淘寶網站分析

1、淘寶結構

阿里旺旺：一種即時通訊軟體供網上注冊的用戶之間通訊，阿里旺旺是淘寶網官方推薦的溝通工具。

淘寶店鋪：指所有淘寶賣家在淘寶所使用的旺鋪或者店鋪，淘寶旺鋪是相對普通店鋪而誕生的，每個在淘寶新開店的都是系統默認產生的店鋪界面，就是常說的普通店鋪。而淘寶旺鋪（個性化店鋪）服務是由淘寶提供給淘寶賣家，允許賣家使用淘寶提供的計算機和網路技術，實現區別於淘寶一般店鋪展現形式的個性化店鋪頁面展現功能的服務。

淘寶指數：是一款基於淘寶的免費數據查詢平台，可通過輸入關鍵詞搜索的方式，查看淘寶市場搜索熱點、成交走勢、定位消費人群在細分市場的趨勢變化的工具。

快樂淘寶：2009年12月，淘寶和湖南衛視合作組建「快樂淘寶」公司，聯手拓展電視網購新市場，不僅於2010年4月在湖南衛視推出「快樂淘寶」節目，還在淘寶網上開辟「快樂淘寶」子頻道專區和外部獨立網站，創建電子商務結合電視傳媒的全新商業模式。

淘寶基金：2013年11月1日中午，淘寶基金理財頻道上線，泰達瑞利、國泰、鵬華、富國等多隻基金也將成為首批上線的基金淘寶店。

淘點點：淘寶推出「淘點點」，希望重新定義「吃」。2013年12月20日，淘寶宣布正式推出移動餐飲服務平台――淘點點。通過淘點點，消費者可以隨時隨地自助下單、付款，留下送貨地址和電話，十幾分鍾後，外賣商戶就把新鮮出爐的美食送上門。

2、淘寶功能

亞洲最大、最安全的網上交易平台，提供各類服飾、美容、家居、數碼、話費/點卡充值==. 2億優質特價商品，同時提供擔保交易(先收貨後付款)、先行賠付、假一賠三、七天無理由退換貨、數碼免費維修等安全交易保障服務。

3、淘寶技術運用

(1)網站界面設計。淘寶網不斷地改進和創新，使得網站的畫面更加簡潔。

(2) 客服中心。一旦用戶有什麼不明白的問題，就可以到客服中心的頁面下尋求解決，客服中心包括：幫助中心、淘友互助吧、淘寶大學和買/ 賣安全四大版塊。

(3) 虛擬社區。淘寶的虛擬社區建立的成功，促進了消費者的信任。虛擬社區下設建議廳、詢問處、支付寶學堂、淘寶里的故事、經驗暢談居等版塊。

(4)淘寶網的實名認證。一旦淘寶發現用戶注冊資料中主要內容是虛假的，淘寶可以隨時終止與該用戶的服務協議

(5)交易平台。為了解決C2C 網站支付的難題，淘寶打造了「支付寶服務」技術平台。

(1)淘寶的資料庫結構擴展閱讀 ：

安全制度

淘寶網也注重誠信安全方面的建設，引入了實名認證制，並區分了個人用戶與商家用戶認證，兩種認證需要提交的資料不一樣，個人用戶認證只需提供身份證明，商家認證還需提供營業執照，且，一個人不能同時申請兩種認證。淘寶同樣引入了信用評價體系，點擊還可查看該賣家以往所得到的信用評價。

對於買賣雙方在支付環節上的交易安全問題，淘寶推出了名為"支付寶"的付款發貨方式，以此來降低交易的風險。支付寶特別適用於電腦、手機、首飾及其它單價較高的物品交易或者一切希望對安全更有保障的交易。在淘寶使用支付寶目前是免費的。當用戶用支付商品貨款的時候，通過淘寶的工行介面付款，用戶不用負擔匯費。

購物尤其在購買大件商品的時候，注意看賣家是否同意使用支付寶，如果同意支付寶，那麼保險系數更大一些。如果賣家在商品上沒有同意使用支付寶的承諾，你可以和賣家聯系。

參考資料來源：網路-淘寶網

㈡ 淘寶服裝類資料庫如何製作

我們也了解到，現在淘寶的整個的資料庫團隊在逐漸的把一些資料庫從Oracle遷移到MySQL，然後呢，把一些伺服器由小型機轉到PC server，笑爛瞎那你們整個轉變的動機是什麼?

主要是因為業務壓力給了我們最大的動力。07年我來到淘寶的時候，當時只有三個主要的資料庫，全部在小型機和存儲上面。以當時的壓力來看，它跑起來是非常順利的，而且大家也知道小型機它從Unix操作系統到硬體，穩定性都會比PC server其實要高很多，當時的情況下淘寶用小型機是一個非常自然的選擇。

從07年開始淘寶的業務量保持每年自然翻一番的增長，資料庫質量感覺到非常大的壓力。那麼前端業務量增長一倍，在資料庫上有可能增長是好幾倍，它有一個放大效應在里邊。當時我們第一步能夠想到很自然的架構，就是把三個資料庫拆成更多的資料庫，或每一個資料庫支持一個比較單一的業務。比如用戶、商品和交易，都會分成獨立的資料庫，然後放到獨立的小型計算中去，這是我們08年做的很大的事情就是垂直拆分，然後08年的業務我們就頂住了。

當時我們就預估09年、10年會有更大的壓力增長，這個時候我們應該怎麼辦？當時我們從業界能看到很多的經驗分享，包括eBay、亞馬遜這些國外的大公司，他們的經驗分享裡面，水平拆分是我們資料庫漲到一定程度後的架構選擇。我們從Oracle到MySQL轉移，主要是用水平拆分，這是我們未來的一個弱點，那水平拆分後機器、資料庫的數量都會多很多，那Oracle它本身的成本也是我們考慮的一個重要因素，所以當時從成本考慮的話，那個時候我們自然會選擇用MySQL資料庫。

給我們再簡單總結一下這幾年，碰空淘寶整個資料庫的演變過程?

剛才說到08年我們做完垂直拆分以後，09年到今年我們主要做的工作其實就是水平拆分。今年在十月份之前我們全部完成了淘寶最核心的三個系統：交易資料庫、商品資料庫和用戶資料庫的水平拆分。所以到「雙十一」之前，在我們內部采訪中，我一直跟采訪人員說，當時資料庫情緒穩定。基本上我們沒有做什麼事情，只是在不停的看報表，看數據，然後很開心的看到交易曲線以超過45度的趨勢往上漲。

那前期還是做了非常完善的准備。據我們了解在整個從小型機到PC server的遷移，包括從Oracle到MySQL資料庫的遷移，你們在做這個事情的時候，都做過好幾個月的壓力測試。你講講這個背景和故事。

是這樣的，今年我們年初決定，我們商品庫從小型機遷到PC server上面去，這是淘寶壓力最大的一個資料庫，當時是用四台小型機加兩個歷扮高端存儲來支撐的。要把這么大一個資料庫進行遷移，我們心裏面也是沒有底的，因為不知道要多少台PC server能夠支撐，需要什麼樣的配置來支撐這個壓力？當時我們能夠想到一個很直觀的想法就是模擬線上完全一樣的壓力，甚至加上幾倍的壓力來測它的極限值。

我們和開發團隊、我們的性能測試團隊，加上DBA團隊和ops團隊，成立了一個非常大的項目組，然後做了接近兩個月的性能測試，在整個測試過程中發現了非常多的問題，包括我們給Oracle、MySQL等廠商都提交了很多Bug，有些Bug也得到廠商回應，進行修復。

那整體的轉變的過程到現在進行到了什麼樣的程度？包括你在整個轉變的過程中遇到哪些問題?

我們現在最核心的用戶資料庫今年已經徹底完成了從小型機、存儲和Oracle切入到PC server加MySQL的架構。

我們內部有一個提法叫做去O、去I、去E，其實就是我們要從高端硬體Scale up模式到低端硬體的Scal out水平擴展的模式，這是淘寶內部最大最核心的系統，今年已經順利完成了全部區的水平擴展。其他幾個系統，比如說交易和商品已經完成了一部分，完成了水平拆分的一部分，但是沒有達到我們希望的進度，這可能是明年我們需要做的事情。

在轉型過程中主要遇到哪些問題?

讓我們覺得比較大的問題就是我們從可靠的小型機遷移到大規模，大數據量的PC server上來，從架構上就對我們就是一個非常大的挑戰。大家都知道，每一個PC server的穩定性肯定和單台小型機會有一定的差距，再加上我們一個機群有可能是32台或者64台PC server。每一台PC server即使有四個9的可用性，但如果我們整個系統合在一起，可能它最後的兩個9的可用性都達不到。這就需要我們從軟體層、架構層要做非常多的改進，能夠要讓單點的一些失效對整體的系統不造成任何影響，因為我們和架構部門、開發部門一起做了很多事情，才能保證我們的集群穩定上線。

其實「雙十一」這個時間應該說是對過去的技術轉變的檢驗，現在回頭來看，這個檢驗的結果怎麼樣?

當時是有點提心吊膽的，之後又覺得相對來說今年我們做的很多事情還是非常成功的。但是現在再回頭仔細想想還是有點後怕，「雙十一」那天的凌晨零點不是有一次Ipad的秒殺嗎，當天晚上我們都在線上觀察數據，在零點的一瞬間，就看到所有資料庫指標已經達到了以前正常時候最高峰的指標，有些甚至還超過了。

當天晚上睡覺的時候心裡就有點在打鼓：才零點就這個樣子了，明天下午明天晚上最高峰的時候我們應該怎麼渡過？所以第二天早上八點多的時候我們一進到指揮部裡面就看到所有的指標， 包括CDN的指標、各個業務線的指標、資料庫的指標都是噌噌的往上漲，這時心裏面其實是很忐忑不安的。

但是我們比較放心的是這三大核心系統，商品、用戶和交易，在我們今年所有的水平擴展項目做完了以後，比如說商品功能做完了以後，從我們的機械壓測裡面它是有十倍的流量的，所以當天百分之一百，百分之兩百的流量基本上對資料庫沒有造成太大的影響，所以當時還是很開心的看到這個指標快速的往上漲，希望交易能夠通過10個億、20個億，我覺得都是能夠承受的。

那對於整個資料庫架構的演進下一步有什麼打算?

下一步其實就是剛剛說的我們有幾個核心系統還沒有完全的做到這個水平擴展，加上「雙十一」那天我們還是有一個小驚險：我們有一個資料庫，跟交易核心有一點點聯系的，但它還是放在小型機上面，當時已經提前為它准備了百分之一百的餘量，就是說它可以承擔平時最高壓力的兩倍。

但是那天已經達到平時最高壓力的1.8倍左右的時候，把我們嚇出了一身冷汗。如果當時淘寶的交易最高峰的流量再增長20%的話，有可能資料庫就會到瓶頸了。所以我們明年是要把更多這種Scale up能夠看到天花板的資料庫全部要拆分成水平庫存這種資料庫。

那你剛才所提到的去Oracle，去小型機，去高端存儲，這個「三去」的整體思路給淘寶網帶來了哪些經濟上的效應?

當時我們知道小型機和存儲的價格是非常昂貴的，還是拿我們剛才說壓力最大的商品資料庫舉個例子，當初我們資料庫是用了四台高端的小型機，兩套高端的存儲，成本加起來起碼都是三千萬以上。那目前我們用的是32台PC server來搭建的一個機群，價格也就是300萬~500萬的級別。相對來說我們做完這個事情以後，解決了兩三千萬的硬體成本。

這樣來講，整體的經濟效益還是非常不錯的。但是其實剛才我們在前期溝通的時候也提到，你要從Oracle轉到MySQL，包括從小型機轉到PC server，其實裡面還是會遇到蠻多問題的，包括它的不穩定性等等，那對於這一方面你有沒有什麼經驗可談?

在這一方面，我覺得有兩個很重要的因素。第一個是我們需要和我們的開發前端應用架構部門能夠緊密的合作，能夠讓我們的應用融入剛才說的整個機群的單點失效和容災的問題。都需要我們和架構部門一起來考慮的；第二個比較大的經驗就是目前我們在做的，深入研究MySQL的源代碼。我們從研究和壓力測試的過程中，發現MySQL它本身代碼的一些缺陷，可能在高並發大壓力下會有很多隱藏的Bug。

在我們最近的這次測試當中，我們還發現了Facebook發布的FlashCache二級緩存的軟體，當時我們是測出它一個非常大的Bug：並發壓力非常大的情況下，它會導致MySQL成為一個僵屍進程。我們發現了以後，很快反饋給Face book，然後Face book很快就修復了這個問題，這也是我們對使用開源軟體帶來更大的一個信心，就是開源能夠在全球得到更多的支持，大家都能夠從原代碼層面來解決更深層次的一個問題。

我想這也可能是淘寶技術團隊現在那麼開放，那麼注重開源的動力之一。那如果說想對MySQL的一些核心代碼做編譯，就需要對人才的儲備，包括各方面資源整合的要求還是蠻大的，那你在這方面有沒有什麼感觸?

說到人才這個話題，08年的時候，淘寶當時准備大規模的往MySQL方向上轉，我們內部也是有一些置疑的聲音。他們說淘寶DDA團隊以前都是在Oracle方面比較專精，在業界來說，淘寶的DDA團隊在Oracle方面更加有名氣一些。所以我們內部有置疑的聲音。就是說你們有MySQL專家嗎，MySQL出問題了以後能很快的解決嗎？所以從08年到現在，我們慢慢的一路走過來，內部培養了很多的MySQL的人才，包括這幾年我們的應屆生的成長，再加上我們從外部招到一些專家，我們對MySQL的理解已經越來越深。

剛才說到，我們已經能夠給MySQL打Patch，已經能夠給MySQL report這些Bug。到現在為止，我覺得MySQL的成長已經達到了非常高的一個程度，我們對MySQL已經越來越有信心，但是未來淘寶的MySQL肯定是要做得越來越大的，淘寶還有很多小型機上面擴展不太容易的系統需要遷移到可擴展的機群上面來，但我們也希望業界能夠有更多的MySQL夥伴加入我們，和我們一起來做這么一件非常有意義的事情。

我想能夠加入到淘寶的技術團隊，去經歷那麼多有大交易量的技術實踐還是非常寶貴的。另外一個問題就是雖然說現在我們用的越來越多的是MySQL，但是現在大家也知道MySQL已經被Oracle收購了，那對像淘寶這樣的團隊有什麼影響呢?

大家都知道MySQL其實是基於GPL的協議來開源的軟體，那淘寶在使用過程中，前期是已經考慮到一些風險。所以我們所有的MySQL都是自己來做編譯做優化的，而且我想MySQL被Oracle收購了以後，現在看起來Oracle應該是給MySQL在開發這方面是提供了更大的幫助，像之前在Sun的時候，MySQL的版本相對來說是比較混亂的，包括我們現在在用的5.0和5.1的正式版本，最近還有包括開發方面就還有兩個，一個6.0，一個5.4，這些特性會互相交織在一起，讓我們選擇的時候也有點不知道到底選哪個版本會更好一點。但現在Oracle收購MySQL以後，他把5.4跟6.0這些版本已經合成了一個比較規范的5.5的版本，並且為它制訂了很好的一個milestone15：31，未來要怎麼發展這個里程碑，M1、M2、M3、M4這種發展方向，而到現在為止這個5.5已經發展到5.6、5.7的版本，而且已經是IC版本了，很快就要GA了，那我想這對於MySQL來說應該是一個好消息。我們可以用到更多更穩定的新特性， 5.5版本里有幾個新的特性是我們非常關注的，比如Google已經達到英文15：57這個pach，所以我們覺得對我們未來的這個MySQL這個系統非常有用的一個功能。那我們也等著Oracle的5.5這個版本能夠盡快的GA出來。

㈢ 求類似淘寶、5173網站的資料庫設計文檔

你做的是C-C的網站，也就是客戶對客戶的，資料庫的設計相對也就麻煩一些。專不過你們既是學屬生，也不用過於嚴謹，一般符合資料庫三大範式前兩個就行了。
首先你要明確自己要做什麼，接著就是畫出E-R圖（實體關系圖），E-R圖畫出來，資料庫基本上就出來了。以我自己多年的開發經驗，你們的項目最少需要十來張表，用戶的信息（登陸、注冊）就要兩張，還有訂單表也要兩張，其他的用戶發布的交易信息表就更不用說了。在這里一時半刻說不清也不好說，這樣吧，我加你QQ，具體咱們再細聊。

㈣ 什麼是網站的三層結構：數據層、業務層、表現層

您好，
一般講到網站的三層架構，其實就是將整個業務應用劃分為表示層、業務邏輯層、數據訪問層等。 三層體系結構，是在客戶端與資料庫之間加入了一個「中間層」，也叫組件層。這里所說的三層體系，不是指物理上的三層，不是簡單地放置三台機器就是三層體系結構：數據層、業務層、表現層，就是MVC模式，這是一種軟體的設計模式，通過層次的劃分，把各自不同的邏輯隔離開來。

詳細了解的話，建議你在網上搜下MVC。
另外，網站不一定都要是MVC的，有些雖然說的很強大，其實根本不是那麼回事。如果只是個很小的網站，確實沒必要一定要去實現MVC，成本上不劃算。就跟你如果去買菜，沒必要一定要開法拉利一樣。

至於VS2005，對於網站你可以這么開，它是把前台界面的顯示和後台業務邏輯分開來的，你可以這么理解前台界面部分是V，後台業務邏輯類是C，資料庫部分是M。

㈤ 大數據存儲與應用特點及技術路線分析

大數據存儲與應用特點及技術路線分析

大數據時代，數據呈爆炸式增長。從存儲服務的發展趨勢來看，一方面，對數據的存儲量的需求越來越大；另一方面，對數據的有效管理提出了更高的要求。大數據對存儲設備的容量、讀寫性能、可靠性、擴展性等都提出了更高的要求，需要充分考慮功能集成度、數據安全性、數據穩定性，系統可擴展性、性能及成本各方面因素。

大數據存儲與應用的特點分析

「大數據」是由數量巨大、結構復雜、類型眾多數據構成的數據集合，是基於雲計算的數據處理與應用模式，通過數據的整合共享，交叉復用形成的智力資源和知識服務能力。其常見特點可以概括為3V:Volume、Velocity、Variety(規模大、速度快、多樣性)。

大數據具有數據規模大(Volume)且增長速度快的特性，其數據規模已經從PB級別增長到EB級別，並且仍在不斷地根據實際應用的需求和企業的再發展繼續擴容，飛速向著ZB(ZETA-BYTE)的規模進軍。以國內最大的電子商務企業淘寶為例，根據淘寶網的數據顯示，至2011年底，淘寶網最高單日獨立用戶訪問量超過1.2億人，比2010年同期增長120%,注冊用戶數量超過4億，在線商品數量達到8億，頁面瀏覽量達到20億規模，淘寶網每天產生4億條產品信息，每天活躍數據量已經超過50TB.所以大數據的存儲或者處理系統不僅能夠滿足當前數據規模需求，更需要有很強的可擴展性以滿足快速增長的需求。

(1)大數據的存儲及處理不僅在於規模之大，更加要求其傳輸及處理的響應速度快(Velocity)。

相對於以往較小規模的數據處理，在數據中心處理大規模數據時，需要服務集群有很高的吞吐量才能夠讓巨量的數據在應用開發人員「可接受」的時間內完成任務。這不僅是對於各種應用層面的計算性能要求，更加是對大數據存儲管理系統的讀寫吞吐量的要求。例如個人用戶在網站選購自己感興趣的貨物，網站則根據用戶的購買或者瀏覽網頁行為實時進行相關廣告的推薦，這需要應用的實時反饋;又例如電子商務網站的數據分析師根據購物者在當季搜索較為熱門的關鍵詞，為商家提供推薦的貨物關鍵字，面對每日上億的訪問記錄要求機器學習演算法在幾天內給出較為准確的推薦，否則就丟失了其失效性；更或者是計程車行駛在城市的道路上，通過GPS反饋的信息及監控設備實時路況信息，大數據處理系統需要不斷地給出較為便捷路徑的選擇。這些都要求大數據的應用層可以最快的速度，最高的帶寬從存儲介質中獲得相關海量的數據。另外一方面，海量數據存儲管理系統與傳統的資料庫管理系統，或者基於磁帶的備份系統之間也在發生數據交換，雖然這種交換實時性不高可以離線完成，但是由於數據規模的龐大，較低的數據傳輸帶寬也會降低數據傳輸的效率，而造成數據遷移瓶頸。因此大數據的存儲與處理的速度或是帶寬是其性能上的重要指標。

(2)大數據由於其來源的不同，具有數據多樣性的特點。

所謂多樣性，一是指數據結構化程度，二是指存儲格式，三是存儲介質多樣性。對於傳統的資料庫，其存儲的數據都是結構化數據，格式規整，相反大數據來源於日誌、歷史數據、用戶行為記錄等等，有的是結構化數據，而更多的是半結構化或者非結構化數據，這也正是傳統資料庫存儲技術無法適應大數據存儲的重要原因之一。所謂存儲格式，也正是由於其數據來源不同，應用演算法繁多，數據結構化程度不同，其格式也多種多樣。例如有的是以文本文件格式存儲，有的則是網頁文件，有的是一些被序列化後的比特流文件等等。所謂存儲介質多樣性是指硬體的兼容，大數據應用需要滿足不同的響應速度需求，因此其數據管理提倡分層管理機制，例如較為實時或者流數據的響應可以直接從內存或者Flash(SSD)中存取，而離線的批處理可以建立在帶有多塊磁碟的存儲伺服器上，有的可以存放在傳統的SAN或者NAS網路存儲設備上，而備份數據甚至可以存放在磁帶機上。因而大數據的存儲或者處理系統必須對多種數據及軟硬體平台有較好的兼容性來適應各種應用演算法或者數據提取轉換與載入(ETL)。

大數據存儲技術路線最典型的共有三種：

第一種是採用MPP架構的新型資料庫集群，重點面向行業大數據，採用Shared Nothing架構，通過列存儲、粗粒度索引等多項大數據處理技術，再結合MPP架構高效的分布式計算模式，完成對分析類應用的支撐，運行環境多為低成本 PC Server，具有高性能和高擴展性的特點，在企業分析類應用領域獲得極其廣泛的應用。

這類MPP產品可以有效支撐PB級別的結構化數據分析，這是傳統資料庫技術無法勝任的。對於企業新一代的數據倉庫和結構化數據分析，目前最佳選擇是MPP資料庫。

第二種是基於Hadoop的技術擴展和封裝，圍繞Hadoop衍生出相關的大數據技術，應對傳統關系型資料庫較難處理的數據和場景，例如針對非結構化數據的存儲和計算等，充分利用Hadoop開源的優勢，伴隨相關技術的不斷進步，其應用場景也將逐步擴大，目前最為典型的應用場景就是通過擴展和封裝 Hadoop來實現對互聯網大數據存儲、分析的支撐。這裡面有幾十種NoSQL技術，也在進一步的細分。對於非結構、半結構化數據處理、復雜的ETL流程、復雜的數據挖掘和計算模型，Hadoop平台更擅長。

第三種是大數據一體機，這是一種專為大數據的分析處理而設計的軟、硬體結合的產品，由一組集成的伺服器、存儲設備、操作系統、資料庫管理系統以及為數據查詢、處理、分析用途而特別預先安裝及優化的軟體組成，高性能大數據一體機具有良好的穩定性和縱向擴展性。

以上是小編為大家分享的關於大數據存儲與應用特點及技術路線分析的相關內容，更多信息可以關注環球青藤分享更多干貨

㈥ 淘寶的資料庫怎麼搭建

淘寶的整個的資料庫團隊在逐漸的把一些資料庫從Oracle遷移到MySQL，然後呢，把一些伺服器由小內型機轉容到PC server，MySQL其實是基於GPL的協議來開源的軟體，那淘寶在使用過程中，前期是已經考慮到一些風險。
MySQL的版本相對來說是比較混亂的，包括我們現在在用的5.0和5.1的正式版本，最近還有包括開發方面就還有兩個，一個6.0，一個5.4，這些特性會互相交織在一起，讓我們選擇的時候也有點不知道到底選哪個版本會更好一點。
做網站的時候要找出性價比更高的合作夥伴,從價格,服務,技術等多方面考慮,而不是為做網站而做網站,不懂網站SEM的或只懂技術的最好別用，SEO的目的。