Ⅰ (問題解決再追加100分)sql server存儲過程實現查詢數據條數過大,分頁查詢怎麼實現
按說5-8w這樣數量級的數據沒有問題,寫入Excel是布比較耗性能,主要還是要通過優化寫入Excel的代碼效率上去考慮。你可以考慮利用分批查詢寫入的方式來避免一次寫太多的數據到Excel:將你的查詢結果分段,比方你的語句中能不能用時間來認為分段,每次返回部分結果。
回到你的問題,對大數據量查詢的解決方案有以下兩種:
(1)、將全部數據先查詢到內存中,然後在內存中進行分頁,這種方式對內存佔用較大,必須限制一次查詢的數據量。
(2)、採用存儲過程在資料庫中進行分頁,這種方式對資料庫的依賴較大,不同的資料庫實現機制不通,並且查詢效率不夠理想。以上兩種方式對用戶來說都不夠友好。
2.解決思路
通過在待查詢的資料庫表上增加一個用於查詢的自增長欄位,然後採用該欄位進行分頁查詢,可以很好地解決這個問題。下面舉例說明這種分頁查詢方案。
(1)、在待查詢的表格上增加一個long型的自增長列,取名為「queryId」,mssql、sybase直接支持自增長欄位,oracle可以用sequence和trigger來實現。然後在該列上加上一個索引。
添加queryId列的語句如下:
Mssql: [QUERYID] [bigint] IDENTITY (1, 1)
Sybase: QUERYID numeric(19) identity
Oracle:
CREATE SEQUENCE queryId_S
INCREMENT BY 1
START WITH 1
MAXVALUE 999999999999999 MINVALUE 1
CYCLE
CACHE 20
ORDER;
CREATE OR REPLACE TRIGGER queryId_T BEFORE INSERT
ON "test_table"
FOR EACH ROW
BEGIN
select queryId_S.nextval into :new.queryId from al;
END;
(2)、在查詢第一頁時,先按照大小順序的倒序查出所有的queryId,
語句如下:select queryId from test_table where + 查詢條件 +order by queryId desc 。
因為只是查詢queryId欄位,即使表格中的數據量很大,該查詢也會很快得到結果。然後將得到的queryId保存在應用伺服器的一個數組中。
(3)、用戶在客戶端進行翻頁操作時,客戶端將待查詢的頁號作為參數傳遞給應用伺服器,伺服器通過頁號和queyId數組算出待查詢的queyId最大和最小值,然後進行查詢。
算出queyId最大和最小值的演算法如下,其中page為待查詢的頁號,pageSize為每頁的大小,queryIds為第二步生成的queryId數組:
int startRow = (page - 1) * pageSize
int endRow = page * pageSize - 1;
if (endRow >=queryIds.length)
{
endRow = this.queryIds.length - 1;
}
long startId =queryIds[startRow];
long endId =queryIds[endRow];
查詢語句如下:
String sql = "select * from test_table" + 查詢條件 + "(queryId <= " + startId + " and queryId >= " + endId + ")";
3.效果評價
該分頁查詢方法對所有資料庫都適用,對應用伺服器、資料庫伺服器、查詢客戶端的cpu和內存佔用都較低,查詢速度較快,是一個較為理想的分頁查詢實現方案。經過測試,查詢4百萬條數據,可以在3分鍾內顯示出首頁數據,以後每一次翻頁操作基本在2秒以內。內存和cpu佔用無明顯增長。
以上也僅僅是分頁查詢結果查看的問題,你需要寫入到Excel的話還需要考慮Excel寫入代碼的執行效率,這部分是很值得研究的。
Ⅱ oracle資料庫怎麼實現分頁,且每頁三條數據
您好:oracle查詢分頁可分為兩種情況,一種使用的是rownum ,另外一種則是使用 row_number() over(order by column_name desc)。
1.使用rownum分頁查詢,可用以下方式:
select t2.* from (select t1.*,rownum as rn from table_name t1 where 1=1 and rownum <= page * page_size) t2 where t2.rn > (page - 1) * page_size;
2.使用 row_number() over() 分頁查詢
select t2.* from (select t1.*,row_number() over(order by column_name desc) as rn from table_name t1 where 1=1 )t2 where t2.rn > (page-1)* page_size and t2.rn <= page * page_size;
這種方式,也是可以分頁的。
希望能幫助您!
Ⅲ 查詢資料庫時,如何有效實現分頁
針對查詢抄語句做處理,同時襲對請求頁面地址做分析
list.aspx?pageid=5 //表示訪問第五頁
後台語言里,先對查詢條件做預處理
pagepre=pagesize*4 //pagesize 用於表示分頁大小,例如10,則前4頁共有40條記錄
查詢語句
sqlcmd="select top "+pagesize+" from tabelname where id not in (select top "+pagepre+" from tablename order by id desc)"
操作原理為將當前頁前顯示的所有記錄從數據查詢結果中排除,也就是not in 後面的部分,然後從剩餘的結果沖,讀取pagesize大小的記錄值。篩選條件、排序條件放在子查詢中
Ⅳ 結合MySQL資料庫,如何實現分頁功能
第一步:我們可以利用$_GET方法獲取某一個參數的值,在用戶點擊上一頁、下一頁、首頁或者末頁時獲取不同的動態參數
第二培顫步:根據MySQL的limit關鍵字,對動態參數進行SQL語句拼接
將定義每頁顯示的數據條數,在limit第一個參數的位置中,根據地址欄參數的動態變化從毀含而配余敗實現指定從第幾條數據開始顯示數據
Ⅳ 怎樣實現資料庫的分頁查詢
針對查詢語句做處理,同時對請求頁面地址做分析
list.aspx?pageid=5 //表示訪問第五頁
後台語言里,先對查詢條內件做預處理
pagepre=pagesize*4 //pagesize 用於表示分頁容大小,例如10,則前4頁共有40條記錄
查詢語句
sqlcmd="select top "+pagesize+" from tabelname where id not in (select top "+pagepre+" from tablename order by id desc)"
操作原理為將當前頁前顯示的所有記錄從數據查詢結果中排除,也就是not in 後面的部分,然後從剩餘的結果沖,讀取pagesize大小的記錄值。篩選條件、排序條件放在子查詢中
Ⅵ ASP基礎入門:ADO存取資料庫時如何分頁顯示
《動態網站設計十八般武藝 --ASP 篇》一文從第一期至今已和朋友們一起度過了大半個年頭,相信通過在這一段時間中的學習、實踐到再學習、再實踐,大家已經能夠熟練運用 ASP 的內建對象、 ActiveX 組件去編寫一些基本的 ASP 應用程序。從我收到的朋友們的來信中可以明顯的感覺到,大家的 ASP 功力正不斷地提升。最近很多朋友來信希望我寫一些 ASP 在現實運用中的實例。因此,從本期開始我決定將《動態網站設計十八般武藝 --ASP 篇》的定位從介紹和學習 ASP 基礎知識轉向到 ASP 實際運行的探討和深化。應朋友們的要求,在本期中我將給大家著重談一談「ADO 存取資料庫時如何分頁顯示」的問題。
什麼是 ADO 存取資料庫時的分頁顯示?如果你使用過目前眾多網站上的電子公告板程序的話,那你應該會知道電子公告板程序為了提高頁面的讀取速度,一般不會將所有的帖子全部在一頁中羅列出來,而是將其分成多頁顯示,每頁顯示一定數目的帖子數,譬如 20 條。這就是資料庫查詢的分頁顯示,如果你還不明白,去看看 yahoo 等搜索引擎的查詢結果就會明白了。
那麼究竟如何才能做到將資料庫的查詢結果分頁顯示呢?其實方法有很多,但主要有兩種:
一、將資料庫中所有符合查詢條件的記錄一次性的都讀入 recordset 中,存放在內存中,然後通過 ADO Recordset 對象所提供的幾個專門支持分頁處理的屬性: PageSize( 頁大小 )、 PageCount( 頁數目 ) 以及 AbsolutePage( 絕對頁 ) 來管理分頁處理。
二、根據客戶的指示,每次分別從符合查詢條件的記錄中將規定數目的記錄數讀取出來並顯示。
兩者的主要差別在於前者是一次性將所有記錄都讀入內存然後再根據指示來依次做判斷分析從而達到分頁顯示的效果,而後者是先根據指示做出判斷並將規定數目的符合查詢條件的記錄讀入內存,從而直接達到分頁顯示的功能。
我們可以很明顯的感覺到,當資料庫中的記錄數達到上萬或更多時,第一種方法的執行效率將明顯低於第二種方法,因為當每一個客戶查詢頁面時都要將所有符合條件的記錄存放在伺服器內存中,然後塵李在進行分頁等處理,如果同時有超過 100 個的客戶在線查詢,那麼 ASP 應用程序的執行效率將大受影響。但是,當伺服器上資料庫的記錄數以及同時在線的人數並不是很多時,兩者在執行效率上是相差無幾的,此時一般就採用第一種方法,因為第一種方法的 ASP 程序編寫相對第二種方法要簡單明了得多。
在這里作者就以我們常見的 ASP BBS 程序為例,來給大家分析一下如何在 BBS 程序里實現分頁顯示功能,由於我們一般使用的 BBS 程序的資料庫記錄數和同時訪問的人數都不會太多,所以以下程序實例是使用的先前所介紹的第一種分頁顯示方法。
進行 ADO 存取資料庫時的分頁顯示,其實就是對 Recordset 的記錄進行操作。所以我們首先必須了解 Reordset 對象的屬性和方法:
BOF 屬性:目前指標指到 RecordSet 的第一筆。
EOF 屬性:目前指標指到 RecordSet 的最後一筆。
Move 方法:移動指標到 RecordSet 中的某一條記錄。
AbsolutePage 屬性:設定當前記錄的位置是位於哪一頁 AbsolutePosition 屬性:目前指標在 RecordSet 中的位置。
PageCount 屬性:顯示 Recordset 對象包括多少「頁」的數據。
PageSize 屬性:顯示 Recordset 對象每一頁顯示的記錄數。
RecordCount 屬性:顯示 Recordset 對象記錄的總數。
下面讓我們來詳細認識一下這些重要的屬性和方法
一、 BOF 與 EOF 屬性
通常我們在 ASP 程序中編寫代碼來蘆或檢驗 BOF 與 EOF 屬性,從而得知目前指標所指向的 RecordSet 的位置,使用 BOF 與 EOF 屬性,可以得知一個 Recordset 對象是否包含有記錄或者得知移動記錄行是否已經超出該 Recordset 對象的范圍。
如:
% if not rs.eof then ... %
% if not (rs.bof and rs.eof) %
若當前記錄的位置是派嘩遲在一個 Recordset 對象第一行記錄之前時, BOF 屬性返回 true,反之則返回 false。
若當前記錄的位置是在一個 Recordset 對象最後一行記錄之後時, EOF 屬性返回 true,反之則返回 false。
BOF 與 EOF 都為 False:表示指標位於 RecordSet 的當中。
BOF 為 True:目前指標指到 RecordSet 的第一筆記錄。 EOF 為 True:目前指標指到 RecordSet 的最後一筆記錄。
BOF 與 EOF 都為 True:在 RecordSet 里沒有任何記錄。
二、 Move 方法
您可以用 Move 方法移動指標到 RecordSet 中的某一筆記錄,語法如下:
rs.Move NumRecords,Start
這里的「rs」為一個對象變數,表示一個想要移動當當前記錄位置的 Recordset 對象;「NumRecords」是一個正負數運算式,設定當前記錄位置的移動數目;「start」是一個可選的項目,用來指定記錄起始的標簽。
所有的 Recordset 對象都支持 Move 方法,如果 NumRecords 參數大於零,當前記錄位置向末尾的方向移動;如果其小於零,則當前記錄位置向開頭的方向移動;如果一個空的 Recordset 對象調用 Move 方法,將會產生一個錯誤。
MoveFirst 方法:將當前記錄位置移至第一筆記錄。
MoveLast 方法:將當前記錄位置移至最後一筆記錄。
MoveNext 方法:將當前記錄位置移至下一筆記錄。 MovePrevious 方法:將當前記錄位置移至上一筆記錄。
Move [n] 方法:移動指標到第 n 筆記錄, n 由 0 算起。
三、 AbsolutePage 屬性
AbsolutePage 屬性設定當前記錄的位置是位於哪一頁的頁數編號;使用 PageSize 屬性將 Recordset 對象分割為邏輯上的頁數,每一頁的記錄數為 PageSize( 除了最後一頁可能會有少於 PageSize 的記錄數 )。這里必須注意並不是所有的數據提供者都支持此項屬性,因此使用時要小心。
與 AbsolutePosition 屬性相同, AbsolutePage 屬性是以 1 為起始的,若當前記錄為 Recordset 的第一行記錄, AbsolutePage 為 1。可以設定 AbsolutePage 屬性,以移動到一個指定頁的第一行記錄位置。
四、 AbsolutePosition 屬性
若您需要確定目前指標在 RecordSet 中的位置,您可以用 AbsolutePosition 屬性。
AbsolutePosition 屬性的數值為目前指標相對於第一筆的位置,由 1 算起,即第一筆的 AbsolutePosition 為 1。
注意 , 在存取 RecordSet 時,無法保證 RecordSet 每次都以同樣的順序出現。
若要啟用 AbsolutePosition,必須先設定為使用用戶端 cursor( 指針 ), asp 碼如下:
rs2.CursorLocation = 3
五、 PageCount 屬性
使用 PageCount 屬性,決定 Recordset 對象包括多少「頁」的數據。這里的「頁」是數據記錄的集合,大小等於 PageSize 屬性的設定,即使最後一頁的記錄數比 PageSize 的值少,最後一頁也算是 PageCount 的一頁。必須注意也並不是所有的數據提供者都支持此項屬性。
六、 PageSize 屬性
PageSize 屬性是決定 ADO 存取資料庫時如何分頁顯示的關鍵,使用它就可以決定多少記錄組成一個邏輯上的「一頁」。設定並建立一個頁的大小,從而允許使用 AbsolutePage 屬性移到其它邏輯頁的第一條記錄。 PageSize 屬性能隨時被設定。
七、 RecordCount 屬性
這也是一個非常常用和重要的屬性,我們常用 RecordCount 屬性來找出一個 Recordset 對象包括多少條記錄。如:
% totle=RS.RecordCount %
在了解了 Recordset 對象的以上屬性和方法後,我們來考慮一下,如何運用它們來達到我們分頁顯示的目的。首先,我們可以為 PageSize 屬性設置一個值,從而指定從記錄組中取出的構成一個頁的行數;然後通過 RecordCount 屬性來確定記錄的總數;再用記錄總數除以 PageSize 就可得到所顯示的頁面總數;最後通過 AbsolutePage 屬性就能完成對指定頁的訪問。好象很並不復雜呀,下面讓我們來看看程序該如何實現呢?
我們建立這樣一個簡單的 BBS 應用程序,它的資料庫中分別有以下五個欄位:「ID」,每個帖子的自動編號;「subject」,每個帖子的主題;「name」,加帖用戶的姓名; 「email」,用戶的電子郵件地址;「postdate」,加帖的時間。資料庫的 DSN 為「bbs」。我們將顯示帖子分頁的所有步驟放在一個名為「ShowList()」的過程中,方便調用。程序如下:
'----BBS 顯示帖子分頁----
% Sub ShowList() %
%
PgSz=20 '設定開關,指定每一頁所顯示的帖子數目,默認為20帖一頁
Set Conn = Server.CreateObject("ADODB.Connection")
Set RS = Server.CreateObject("ADODB.RecordSet")
sql = "SELECT * FROM message order by ID DESC"
'查詢所有帖子,並按帖子的ID倒序排列
Conn.Open "bbs"
RS.open sql,Conn,1,1
If RS.RecordCount=0 then
response.write " P center對不起,資料庫中沒有相關信息! /center /P"
else
RS.PageSize = Cint(PgSz) '設定PageSize屬性的值
Total=INT(RS.recordcount / PgSz * -1)*-1 '計算可顯示頁面的總數
PageNo=Request("pageno")
if PageNo="" Then
PageNo = 1
else
#p#副標題#e#
PageNo=PageNo+1
PageNo=PageNo-1
end if
ScrollAction = Request("ScrollAction")
if ScrollAction = " 上一頁 " Then
PageNo=PageNo-1
end if
if ScrollAction = " 下一頁 " Then
PageNo=PageNo+1
end if
if PageNo
1 Then
PageNo = 1
end if
n=1
RS.AbsolutePage = PageNo
Response.Write " CENTER"
position=RS.PageSize*PageNo
pagebegin=position-RS.PageSize+1
if position
RS.RecordCount then
pagend=position
else
pagend= RS.RecordCount
end if
Response.Write " P font color='Navy' B資料庫查詢結果: /B"
Response.Write "(共有"RS.RecordCount "條符合條件的信息,顯示"pagebegin"-"pagend") /font /p"
Response.Write " TABLE WIDTH=600 BORDER=1 CELLPADDING=4 CELLSPACING=0 BGCOLOR=#FFFFFF"
Response.Write " TR BGCOLOR=#5FB5E2 FONT SIZE=2 TD B主題 /B /TD TD B用戶 /B /TD TD BEmail /B /TD TD B發布日期 /B /TD /FONT TR BGCOLOR=#FFFFFF"
Do while not (RS is nothing)
RowCount = RS.PageSize
Do While Not RS.EOF and rowcount 0
If n=1 then
Response.Write " TR BGCOLOR=#FFFFFF"
ELSE
Response.Write " TR BGCOLOR=#EEEEEE"
End If
n=1-n %
TD span style="font-size:9pt" A href='view.asp?key= % =RS("ID")%' % =RS("subject")% /A /span /td
TD span style="font-size:9pt" % =RS("name")% /A /span /td
TD span style="font-size:9pt" a href="mailto: % =RS("email")%" % =RS("email")% /a /span /TD
TD span style="font-size:9pt" % =RS("postdate")% /span /td
/TR
%
RowCount = RowCount - 1
RS.MoveNext
Loop
set RS = RS.NextRecordSet
Loop
Conn.Close
set rs = nothing
set Conn = nothing
%
/TABLE
FORM METHOD=GET ACTION="list.asp"
INPUT TYPE="HIDDEN" NAME="pageno" VALUE=" % =PageNo %"
%
if PageNo 1 Then
response.write " INPUT TYPE=SUBMIT NAME='ScrollAction' VALUE=' 上一頁 '"
end if
if RowCount = 0 and PageNo
Total then
response.write " INPUT TYPE=SUBMIT NAME='ScrollAction' VALUE=' 下一頁 '"
end if
response.write " /FORM"
End if
%
% End Sub %
相信大家都應該能完全讀懂上面的程序,因此作者就不在此詳細解釋了。值得注意的是在這段程序中運用了一個小技巧
INPUT TYPE="HIDDEN" NAME="pageno" VALUE=" % =PageNo %"
,這是用來在每次調用該 ASP 文件時傳遞數據的「暗道」,由於我們需要在每次調用程序時傳遞代表當前頁碼的參數,可能大家會想到使用 session,但是從節省系統資源和通用性來講,用這樣一個隱藏的 form 來傳遞數據將會達到更好的效果。#p#副標題#e#