xqueryjs_Java培训机构哪家好

❶ j2ee的关键技术是什么

J2EE里禅友陪我在达内学习时告扰，

主要的技术有：

1Corejava就不说了

2Servlet

3jsP

4JDBC

5框架类

SSH——SpringStruts2(WebWork内核)Hibernate

EJB

6OraclePLSQL

7贺蠢JsXML等....

❷ C# 判断MP3格式（除扩展名）

MP3格式前3个字节一定494433即ASCII的ID3，用stream读前3个字节判断即可。

❸ PHP如何用header设置文件下载头！感谢~

$path="http://*****/wlyz/1.txt";
header("Content-Type:application/force-download");
header("Content-Disposition:attachment;filename=".basename($path));
readfile($path);

这段代码可以新建一个PHP文件,放入以上代码，然后用一个<a>标签链接到这版个php文件，带上参权数，传入需要下载的文件的路径。

❹ php 一个页面有好几个radio按钮，怎么实现radio按钮切换，检索条件部分跟在动态切换。

这个是需要用JS来实现的，就类似tap选项卡的效果。下面是找的一个例子，和你想要的效果一样

<!DOCTYPEhtmlPUBLIC"-//W3C//DTDXHTML1.0Transitional//EN"
"http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<htmlxmlns="http://www.w3.org/1999/xhtml">

<head>
<metahttp-equiv="Content-Type"content="text/html;charset=utf-8"/>
<title>Radio切换效果</title>
<style>
*{margin:0;padding:0;}
body{margin:50px;font-size:12px;color:#666;}
li{list-style:none;}
div{width:210px;}#tab1,#tab2{width:398px;height:34px;border:1px#cfedffsolid;border-bottom:0;background:url(images/title.gif)repeat-x;}#tab1ul,#tab2ul{margin:0;padding:0;}#tab1li,#tab2li{float:left;padding:030px;height:34px;line-height:34px;text-align:center;border-right:1px#ebf7ffsolid;cursor:pointer;}#tab1li.now,#tab2li.now{color:#5299c4;background:#fff;font-weight:bold;}.tablist{width:378px;height:100px;padding:10px;font-size:14px;line-height:24px;border:1px#cfedffsolid;border-top:0;display:none;}.block{display:block;}
fieldset{width:378px;border:1px#B0C0D1solid;padding:10px;}
legend{background:#B0C0D1;padding:4px10px;color:#fff;}#c{margin-top:10px;}.c1,.c2{width:378px;line-height:20px;}.c1{color:#014CC9;}.c2{color:#7E6095;}
h3{font-size:16px;padding:5px0;}.red{color:#BD0A01;}
</style>
</head>

<body>
<h1>Radio切换</h1>
<scripttype="text/javascript">
functionradioShow(){
varmyradio=document.getElementsByName("myradio");
vardiv=document.getElementById("c").getElementsByTagName("div");
for(i=0;i<div.length;i++){
if(myradio[i].checked){
div[i].style.display="block";
}else{
div[i].style.display="none";
}
}
}
</script>
<formname="ck">
<fieldset>
<legend>I'mRadio</legend>
<h3>请选择：</h3>
<labelfor="r1"class="red">
<inputname="myradio"id="r1"type="radio"value=""checked="checked"onclick="radioShow();"/>XML教程</label>
<labelfor="r2"class="red">
<inputname="myradio"id="r2"type="radio"value=""onclick="radioShow();"/>浏览器脚本</label>
<divid="c">
<divclass="c1">
<labelfor="xml">
<inputname="c2"type="checkbox"id="xml"value=""/>XML</label>
<labelfor="dtd">
<inputname="c2"id="dtd"type="checkbox"value=""/>DTD</label>
<labelfor="xmldom">
<inputname="c2"id="xmldom"type="checkbox"value=""/>XMLDOM</label>
<labelfor="xsl">
<inputname="c2"id="xsl"type="checkbox"value=""/>XSL</label>
<labelfor="xslt">
<inputname="c2"id="xslt"type="checkbox"value=""/>XSLT</label>
<labelfor="xslfo">
<inputname="c2"id="xslfo"type="checkbox"value=""/>XSL-FO</label>
<labelfor="xpath">
<inputname="c2"id="xpath"type="checkbox"value=""/>XPath</label>
<labelfor="xquery">
<inputname="c2"id="xquery"type="checkbox"value=""/>XQuery</label>
<labelfor="xlink">
<inputname="c2"id="xlink"type="checkbox"value=""/>XLink</label>
<labelfor="xpointer">
<inputname="c2"id="xpointer"type="checkbox"value=""/>XPointer</label>
<labelfor="schema">
<inputname="c2"id="schema"type="checkbox"value=""/>Schema</label>
<labelfor="xforms">
<inputname="c2"id="xforms"type="checkbox"value=""/>XForms</label>
</div>
<divclass="c2"style="display:none;">
<labelfor="js">
<inputname="c3"id="js"type="checkbox"value=""/>JavaScript</label>
<labelfor="hd">
<inputname="c3"id="hd"type="checkbox"value=""/>HTMLDOM</label>
<labelfor="dhtml">
<inputname="c3"id="dhtml"type="checkbox"value=""/>DHTML</label>
<labelfor="vbs">
<inputname="c3"id="vbs"type="checkbox"value=""/>VBScript</label>
<labelfor="ajax">
<inputname="c3"id="ajax"type="checkbox"value=""/>AJAX</label>
<labelfor="e4x">
<inputname="c3"id="e4x"type="checkbox"value=""/>E4X</label>
<labelfor="wml">
<inputname="c3"id="wml"type="checkbox"value=""/>WMLScript</label>
</div>
</div>
</fieldset>
</form>
</body>

</html>

❺ xquery和jquery的区别

myeclipse或eclipse，安装有SVN插件档宏，右键项目，选择Team,选择显示资源历史记录，可以看到修订版本号，日期，作者，注迅蠢和释。然后凭借自己的判断，找到起始的版亩盯本号。

❻ JSLT：JSON查询和转换处理语言

JSLT 是一种面岁腊向JSON的查询转换语言。作者是基于 jq , XPath , and XQuery 启发设计JSLT语言。

JSLT能被用来：

这里有简基一个示例：

（提供输入&JSLT表达式，计算输出）
链接乎咐滑

在你的项目中，引入依赖

在运行时，JSLT只依赖于Jackson。
为了转换一个“JsonNode”到另一个钟，需要：

其他更多可选方式, 参考 the
javadoc .

To run transforms on the command-line, first build with ./gradlew clean shadowJar . Then you can run with:

The result is written to standard out.

❼ FileUpload怎么获取文件的类型

if (FileUp.PostedFile.ContentType == "image/pjpeg" || FileUp.PostedFile.ContentType == "image/gif" || FileUp.PostedFile.ContentType == "image/bmp") //设置上传文件类型

加上
FileUp.PostedFile.ContentType=="application/x-shockwave-flash"
----------------------
备注其它类型的ContentType

".*"="application/octet-stream"
".001"="application/x-001"
".301"="application/x-301"
".323"="text/h323"
".906"="application/x-906"
".907"="drawing/907"
".a11"="application/x-a11"
".acp"="audio/x-mei-aac"
".ai"="application/postscript"
".aif"="audio/aiff"
".aifc"="audio/aiff"
".aiff"="audio/aiff"
".anv"="application/x-anv"
".asa"="text/asa"
".asf"="video/x-ms-asf"
".asp"="text/asp"
".asx"="video/x-ms-asf"
".au"="audio/basic"
".avi"="video/avi"
".awf"="application/vnd.adobe.workflow"
".biz"="text/xml"
".bmp"="application/x-bmp"
".bot"="application/x-bot"
".c4t"="application/x-c4t"
".c90"="application/x-c90"
".cal"="application/x-cals"
".cat"="application/vnd.ms-pki.seccat"
".cdf"="application/x-netcdf"
".cdr"="application/x-cdr"
".cel"="application/x-cel"
".cer"="application/x-x509-ca-cert"
".cg4"="application/x-g4"
".cgm"="application/x-cgm"
".cit"="application/x-cit"
".class"="java/*"
".cml"="text/xml"
".cmp"="application/x-cmp"
".cmx"="application/x-cmx"
".cot"="application/x-cot"
".crl"="application/pkix-crl"
".crt"="application/x-x509-ca-cert"
".csi"="application/x-csi"
".css"="text/css"
".cut"="application/x-cut"
".dbf"="application/x-dbf"
".dbm"="application/x-dbm"
".dbx"="application/x-dbx"
".dcd"="text/xml"
".dcx"="application/x-dcx"
".der"="application/x-x509-ca-cert"
".dgn"="application/x-dgn"
".dib"="application/x-dib"
".dll"="application/x-msdownload"
".doc"="application/msword"
".dot"="application/msword"
".drw"="application/x-drw"
".dtd"="text/xml"
".dwf"="Model/vnd.dwf"
".dwf"="application/x-dwf"
".dwg"="application/x-dwg"
".dxb"="application/x-dxb"
".dxf"="application/x-dxf"
".edn"="application/vnd.adobe.edn"
".emf"="application/x-emf"
".eml"="message/rfc822"
".ent"="text/xml"
".epi"="application/x-epi"
".eps"="application/x-ps"
".eps"="application/postscript"
".etd"="application/x-ebx"
".exe"="application/x-msdownload"
".fax"="image/fax"
".fdf"="application/vnd.fdf"
".fif"="application/fractals"
".fo"="text/xml"
".frm"="application/x-frm"
".g4"="application/x-g4"
".gbr"="application/x-gbr"
".gcd"="application/x-gcd"
".gif"="image/gif"
".gl2"="application/x-gl2"
".gp4"="application/x-gp4"
".hgl"="application/x-hgl"
".hmr"="application/x-hmr"
".hpg"="application/x-hpgl"
".hpl"="application/x-hpl"
".hqx"="application/mac-binhex40"
".hrf"="application/x-hrf"
".hta"="application/hta"
".htc"="text/x-component"
".htm"="text/html"
".html"="text/html"
".htt"="text/webviewhtml"
".htx"="text/html"
".icb"="application/x-icb"
".ico"="image/x-icon"
".ico"="application/x-ico"
".iff"="application/x-iff"
".ig4"="application/x-g4"
".igs"="application/x-igs"
".iii"="application/x-iphone"
".img"="application/x-img"
".ins"="application/x-internet-signup"
".isp"="application/x-internet-signup"
".IVF"="video/x-ivf"
".java"="java/*"
".jfif"="image/jpeg"
".jpe"="image/jpeg"
".jpe"="application/x-jpe"
".jpeg"="image/jpeg"
".jpg"="image/jpeg"
".jpg"="application/x-jpg"
".js"="application/x-javascript"
".jsp"="text/html"
".la1"="audio/x-liquid-file"
".lar"="application/x-laplayer-reg"
".latex"="application/x-latex"
".lavs"="audio/x-liquid-secure"
".lbm"="application/x-lbm"
".lmsff"="audio/x-la-lms"
".ls"="application/x-javascript"
".ltr"="application/x-ltr"
".m1v"="video/x-mpeg"
".m2v"="video/x-mpeg"
".m3u"="audio/mpegurl"
".m4e"="video/mpeg4"
".mac"="application/x-mac"
".man"="application/x-troff-man"
".math"="text/xml"
".mdb"="application/msaccess"
".mdb"="application/x-mdb"
".mfp"="application/x-shockwave-flash"
".mht"="message/rfc822"
".mhtml"="message/rfc822"
".mi"="application/x-mi"
".mid"="audio/mid"
".midi"="audio/mid"
".mil"="application/x-mil"
".mml"="text/xml"
".mnd"="audio/x-musicnet-download"
".mns"="audio/x-musicnet-stream"
".mocha"="application/x-javascript"
".movie"="video/x-sgi-movie"
".mp1"="audio/mp1"
".mp2"="audio/mp2"
".mp2v"="video/mpeg"
".mp3"="audio/mp3"
".mp4"="video/mpeg4"
".mpa"="video/x-mpg"
".mpd"="application/vnd.ms-project"
".mpe"="video/x-mpeg"
".mpeg"="video/mpg"
".mpg"="video/mpg"
".mpga"="audio/rn-mpeg"
".mpp"="application/vnd.ms-project"
".mps"="video/x-mpeg"
".mpt"="application/vnd.ms-project"
".mpv"="video/mpg"
".mpv2"="video/mpeg"
".mpw"="application/vnd.ms-project"
".mpx"="application/vnd.ms-project"
".mtx"="text/xml"
".mxp"="application/x-mmxp"
".net"="image/pnetvue"
".nrf"="application/x-nrf"
".nws"="message/rfc822"
".odc"="text/x-ms-odc"
".out"="application/x-out"
".p10"="application/pkcs10"
".p12"="application/x-pkcs12"
".p7b"="application/x-pkcs7-certificates"
".p7c"="application/pkcs7-mime"
".p7m"="application/pkcs7-mime"
".p7r"="application/x-pkcs7-certreqresp"
".p7s"="application/pkcs7-signature"
".pc5"="application/x-pc5"
".pci"="application/x-pci"
".pcl"="application/x-pcl"
".pcx"="application/x-pcx"
".pdf"="application/pdf"
".pdf"="application/pdf"
".pdx"="application/vnd.adobe.pdx"
".pfx"="application/x-pkcs12"
".pgl"="application/x-pgl"
".pic"="application/x-pic"
".pko"="application/vnd.ms-pki.pko"
".pl"="application/x-perl"
".plg"="text/html"
".pls"="audio/scpls"
".plt"="application/x-plt"
".png"="image/png"
".png"="application/x-png"
".pot"="application/vnd.ms-powerpoint"
".ppa"="application/vnd.ms-powerpoint"
".ppm"="application/x-ppm"
".pps"="application/vnd.ms-powerpoint"
".ppt"="application/vnd.ms-powerpoint"
".ppt"="application/x-ppt"
".pr"="application/x-pr"
".prf"="application/pics-rules"
".prn"="application/x-prn"
".prt"="application/x-prt"
".ps"="application/x-ps"
".ps"="application/postscript"
".ptn"="application/x-ptn"
".pwz"="application/vnd.ms-powerpoint"
".r3t"="text/vnd.rn-realtext3d"
".ra"="audio/vnd.rn-realaudio"
".ram"="audio/x-pn-realaudio"
".ras"="application/x-ras"
".rat"="application/rat-file"
".rdf"="text/xml"
".rec"="application/vnd.rn-recording"
".red"="application/x-red"
".rgb"="application/x-rgb"
".rjs"="application/vnd.rn-realsystem-rjs"
".rjt"="application/vnd.rn-realsystem-rjt"
".rlc"="application/x-rlc"
".rle"="application/x-rle"
".rm"="application/vnd.rn-realmedia"
".rmf"="application/vnd.adobe.rmf"
".rmi"="audio/mid"
".rmj"="application/vnd.rn-realsystem-rmj"
".rmm"="audio/x-pn-realaudio"
".rmp"="application/vnd.rn-rn_music_package"
".rms"="application/vnd.rn-realmedia-secure"
".rmvb"="application/vnd.rn-realmedia-vbr"
".rmx"="application/vnd.rn-realsystem-rmx"
".rnx"="application/vnd.rn-realplayer"
".rp"="image/vnd.rn-realpix"
".rpm"="audio/x-pn-realaudio-plugin"
".rsml"="application/vnd.rn-rsml"
".rt"="text/vnd.rn-realtext"
".rtf"="application/msword"
".rtf"="application/x-rtf"
".rv"="video/vnd.rn-realvideo"
".sam"="application/x-sam"
".sat"="application/x-sat"
".sdp"="application/sdp"
".sdw"="application/x-sdw"
".sit"="application/x-stuffit"
".slb"="application/x-slb"
".sld"="application/x-sld"
".slk"="drawing/x-slk"
".smi"="application/smil"
".smil"="application/smil"
".smk"="application/x-smk"
".snd"="audio/basic"
".sol"="text/plain"
".sor"="text/plain"
".spc"="application/x-pkcs7-certificates"
".spl"="application/futuresplash"
".spp"="text/xml"
".ssm"="application/streamingmedia"
".sst"="application/vnd.ms-pki.certstore"
".stl"="application/vnd.ms-pki.stl"
".stm"="text/html"
".sty"="application/x-sty"
".svg"="text/xml"
".swf"="application/x-shockwave-flash"
".tdf"="application/x-tdf"
".tg4"="application/x-tg4"
".tga"="application/x-tga"
".tif"="image/tiff"
".tif"="application/x-tif"
".tiff"="image/tiff"
".tld"="text/xml"
".top"="drawing/x-top"
".torrent"="application/x-bittorrent"
".tsd"="text/xml"
".txt"="text/plain"
".uin"="application/x-icq"
".uls"="text/iuls"
".vcf"="text/x-vcard"
".vda"="application/x-vda"
".vdx"="application/vnd.visio"
".vml"="text/xml"
".vpg"="application/x-vpeg005"
".vsd"="application/vnd.visio"
".vsd"="application/x-vsd"
".vss"="application/vnd.visio"
".vst"="application/vnd.visio"
".vst"="application/x-vst"
".vsw"="application/vnd.visio"
".vsx"="application/vnd.visio"
".vtx"="application/vnd.visio"
".vxml"="text/xml"
".wav"="audio/wav"
".wax"="audio/x-ms-wax"
".wb1"="application/x-wb1"
".wb2"="application/x-wb2"
".wb3"="application/x-wb3"
".wbmp"="image/vnd.wap.wbmp"
".wiz"="application/msword"
".wk3"="application/x-wk3"
".wk4"="application/x-wk4"
".wkq"="application/x-wkq"
".wks"="application/x-wks"
".wm"="video/x-ms-wm"
".wma"="audio/x-ms-wma"
".wmd"="application/x-ms-wmd"
".wmf"="application/x-wmf"
".wml"="text/vnd.wap.wml"
".wmv"="video/x-ms-wmv"
".wmx"="video/x-ms-wmx"
".wmz"="application/x-ms-wmz"
".wp6"="application/x-wp6"
".wpd"="application/x-wpd"
".wpg"="application/x-wpg"
".wpl"="application/vnd.ms-wpl"
".wq1"="application/x-wq1"
".wr1"="application/x-wr1"
".wri"="application/x-wri"
".wrk"="application/x-wrk"
".ws"="application/x-ws"
".ws2"="application/x-ws"
".wsc"="text/scriptlet"
".wsdl"="text/xml"
".wvx"="video/x-ms-wvx"
".xdp"="application/vnd.adobe.xdp"
".xdr"="text/xml"
".xfd"="application/vnd.adobe.xfd"
".xfdf"="application/vnd.adobe.xfdf"
".xhtml"="text/html"
".xls"="application/vnd.ms-excel"
".xls"="application/x-xls"
".xlw"="application/x-xlw"
".xml"="text/xml"
".xpl"="audio/scpls"
".xq"="text/xml"
".xql"="text/xml"
".xquery"="text/xml"
".xsd"="text/xml"
".xsl"="text/xml"
".xslt"="text/xml"
".xwd"="application/x-xwd"
".x_b"="application/x-x_b"
".x_t"="application/x-x_t"

❽ python 新浪微博爬虫，求助

0x00. 起因
因为参加学校大学生创新竞赛，研究有关微博博文表达的情绪，需要大量微博博文，而网上无论是国内的某度、csdn，还是国外谷歌、gayhub、codeproject等都找不到想要的程序，没办法只能自己写一个程序了。
ps.在爬盟找到类似的程序，但是是windows下的，并且闭源，而且最终爬取保存的文件用notepad++打开有很多奇怪的问题，所以放弃了。
0x01. 基础知识
本程序由Python写成，所以基本的python知识是必须的。另外，如果你有一定的计算机网络基础，在前期准备时会有少走很多弯路。
对于爬虫，需要明确几点：
1. 对爬取对象分类，可以分为以下几种：第一种是不需要登录的，比如博主以前练手时爬的中国天气网，这种网页爬取难度较低，建议爬虫新手爬这类网页；第二种是需要登录的，如豆瓣、新浪微博，这些网页爬取难度较高；第三种独立于前两种，你想要的信息一般是动态刷新的，如AJAX或内嵌资源，这种爬虫难度最大，博主也没研究过，在此不细举（据同学说淘宝的商品评论就属于这类）。
2. 如果同一个数据源有多种形式（比如电脑版、手机版、客户端等），优先选取较为“纯净的”展现。比如新浪微博，有网页版，也有手机版，而且手机版可以用电脑浏览器访问，这时我优先选手机版新浪微博。
3. 爬虫一般是将网页下载到本地，再通过某些方式提取出感兴趣的信息。也就是说，爬取网页只完成了一半，你还要将你感兴趣的信息从下载下来的html文件中提取出来。这时就需要一些xml的知识了，在这个项目中，博主用的是XPath提取信息，另外可以使用XQuery等等其他技术，详情请访问w3cschool。
4. 爬虫应该尽量模仿人类，现在网站反爬机制已经比较发达，从验证码到禁IP，爬虫技术和反爬技术可谓不断博弈。
0x02. 开始
决定了爬虫的目标之后，首先应该访问目标网页，明确目标网页属于上述几种爬虫的哪种，另外，记录为了得到感兴趣的信息你需要进行的步骤，如是否需要登录，如果需要登录，是否需要验证码；你要进行哪些操作才能获得希望得到的信息，是否需要提交某些表单；你希望得到的信息所在页面的url有什么规律等等。
以下博文以博主项目为例，该项目爬取特定新浪微博用户从注册至今的所有微博博文和根据关键词爬取100页微博博文（大约1000条）。
0x03. 收集必要信息
首先访问目标网页，发现需要登录，进入登录页面如下新浪微博手机版登录页面
注意url后半段有很多形如”%xx”的转义字符，本文后面将会讲到。
从这个页面可以看到，登录新浪微博手机版需要填写账号、密码和验证码。
这个验证码是近期（本文创作于2016.3.11）才需要提供的，如果不需要提供验证码的话，将有两种方法进行登录。
第一种是填写账号密码之后执行js模拟点击“登录”按钮，博主之前写过一个Java爬虫就是利用这个方法，但是现在找不到工程了，在此不再赘述。
第二种需要一定HTTP基础，提交包含所需信息的HTTP POST请求。我们需要Wireshark 工具来抓取登录微博时我们发出和接收的数据包。如下图我抓取了在登录时发出和接收的数据包Wireshark抓取结果1
在搜索栏提供搜索条件”http”可得到所有http协议数据包，右侧info显示该数据包的缩略信息。图中蓝色一行是POST请求，并且info中有”login”，可以初步判断这个请求是登录时发出的第一个数据包，并且这个180.149.153.4应该是新浪微博手机版登录认证的服务器IP地址，此时我们并没有任何的cookie。
在序号为30是数据包中有一个从该IP发出的HTTP数据包，里面有四个Set-Cookie字段，这些cookie将是我们爬虫的基础。
Wireshark抓取结果2
早在新浪微博服务器反爬机制升级之前，登录是不需要验证码的，通过提交POST请求，可以拿到这些cookie，在项目源码中的TestCookie.py中有示例代码。
ps.如果没有wireshark或者不想这么麻烦的话，可以用浏览器的开发者工具，以chrome为例，在登录前打开开发者工具，转到Network，登录，可以看到发出和接收的数据，登录完成后可以看到cookies，如下图chrome开发者工具
接下来访问所需页面，查看页面url是否有某种规律。由于本项目目标之一是获取某用户的全部微博，所以直接访问该用户的微博页面，以央视新闻为例。
央视新闻1
图为央视新闻微博第一页，观察该页面的url可以发现，新浪微博手机版的微博页面url组成是 “weibo.cn/(displayID)?page=(pagenum)” 。这将成为我们爬虫拼接url的依据。
接下来查看网页源码，找到我们希望得到的信息的位置。打开浏览器开发者工具，直接定位某条微博，可以发现它的位置，如下所示。
xpath
观察html代码发现，所有的微博都在<div>标签里，并且这个标签里有两个属性，其中class属性为”c”，和一个唯一的id属性值。得到这个信息有助于将所需信息提取出来。
另外，还有一些需要特别注意的因素
* 微博分为原创微博和转发微博
* 按照发布时间至当前时间的差距，在页面上有”MM分钟前”、”今天HH:MM”、”mm月dd日 HH:MM”、”yyyy-mm-dd HH:MM:SS”等多种显示时间的方式* 手机版新浪微博一个页面大约显示10条微博，所以要注意对总共页数进行记录以上几点都是细节，在爬虫和提取的时候需要仔细考虑。
0x04. 编码
1.爬取用户微博
本项目开发语言是Python 2.7，项目中用了一些第三方库，第三方库可以用pip的方法添加。
既然程序自动登录的想法被验证码挡住了，想要访问特定用户微博页面，只能使用者提供cookies了。
首先用到的是Python的request模块，它提供了带cookies的url请求。
import request
print request.get(url, cookies=cookies).content使用这段代码就可以打印带cookies的url请求页面结果。
首先取得该用户微博页面数，通过检查网页源码，查找到表示页数的元素，通过XPath等技术提取出页数。
页数
项目使用lxml模块对html进行XPath提取。
首先导入lxml模块，在项目里只用到了etree，所以from lxml import etree
然后利用下面的方法返回页数
def getpagenum(self):
url = self.geturl(pagenum=1)
html = requests.get(url, cookies=self.cook).content # Visit the first page to get the page number.
selector = etree.HTML(html)
pagenum = selector.xpath('//input[@name="mp"]/@value')[0]
return int(pagenum)
接下来就是不断地拼接url->访问url->下载网页。
需要注意的是，由于新浪反爬机制的存在，同一cookies访问页面过于“频繁”的话会进入类似于“冷却期”，即返回一个无用页面，通过分析该无用页面发现，这个页面在特定的地方会出现特定的信息，通过XPath技术来检查这个特定地方是否出现了特定信息即可判断该页面是否对我们有用。
def ispageneeded(html):
selector = etree.HTML(html)
try:
title = selector.xpath('//title')[0]
except:
return False
return title.text != '微博广场' and title.text != '微博'
如果出现了无用页面，只需简单地重新访问即可，但是通过后期的实验发现，如果长期处于过频访问，返回的页面将全是无用页面，程序也将陷入死循环。为了避免程序陷入死循环，博主设置了尝试次数阈值trycount，超过这个阈值之后方法自动返回。
下面代码片展示了单线程爬虫的方法。
def startcrawling(self, startpage=1, trycount=20):
attempt = 0
try:
os.mkdir(sys.path[0] + '/Weibo_raw/' + self.wanted)except Exception, e:
print str(e)
isdone = False
while not isdone and attempt < trycount:
try:
pagenum = self.getpagenum()
isdone = True
except Exception, e:
attempt += 1
if attempt == trycount:
return False
i = startpage
while i <= pagenum:
attempt = 0
isneeded = False
html = ''
while not isneeded and attempt < trycount:
html = self.getpage(self.geturl(i))
isneeded = self.ispageneeded(html)
if not isneeded:
attempt += 1
if attempt == trycount:
return False
self.savehtml(sys.path[0] + '/Weibo_raw/' + self.wanted + '/' + str(i) + '.txt', html)print str(i) + '/' + str(pagenum - 1)
i += 1
return True
考虑到程序的时间效率，在写好单线程爬虫之后，博主也写了多线程爬虫版本，基本思想是将微博页数除以线程数，如一个微博用户有100页微博，程序开10个线程，那么每个线程只负责10个页面的爬取，其他基本思想跟单线程类似，只需仔细处理边界值即可，在此不再赘述，感兴趣的同学可以直接看代码。另外，由于多线程的效率比较高，并发量特别大，所以服务器很容易就返回无效页面，此时trycount的设置就显得更重要了。博主在写这篇微博的时候，用一个新的cookies，多线程爬取现场测试了一下爬取北京邮电大学的微博，3976条微博全部爬取成功并提取博文，用时仅15s，实际可能跟cookies的新旧程度和网络环境有关，命令行设置如下，命令行意义在项目网址里有说明python main.py _T_WM=xxx; SUHB=xxx; SUB=xxx; gsid_CTandWM=xxx u bupt m 20 20爬取的工作以上基本介绍结束，接下来就是爬虫的第二部分，解析了。由于项目中提供了多线程爬取方法，而多线程一般是无序的，但微博博文是依靠时间排序的，所以项目采用了一种折衷的办法，将下载完成的页面保存在本地文件系统，每个页面以其页号为文件名，待爬取的工作结束后，再遍历文件夹内所有文件并解析。
通过前面的观察，我们已经了解到微博博文存在的标签有什么特点了，利用XPath技术，将这个页面里所有有这个特点的标签全部提取出来已经不是难事了。
在这再次提醒，微博分为转发微博和原创微博、时间表示方式。另外，由于我们的研究课题仅对微博文本感兴趣，所以配图不考虑。
def startparsing(self, parsingtime=datetime.datetime.now()):
basepath = sys.path[0] + '/Weibo_raw/' + self.uidfor filename in os.listdir(basepath):
if filename.startswith('.'):
continue
path = basepath + '/' + filename
f = open(path, 'r')
html = f.read()
selector = etree.HTML(html)
weiboitems = selector.xpath('//div[@class="c"][@id]')for item in weiboitems:
weibo = Weibo()
weibo.id = item.xpath('./@id')[0]
cmt = item.xpath('./div/span[@class="cmt"]')if len(cmt) != 0:
weibo.isrepost = True
weibo.content = cmt[0].text
else:
weibo.isrepost = False
ctt = item.xpath('./div/span[@class="ctt"]')[0]
if ctt.text is not None:
weibo.content += ctt.text
for a in ctt.xpath('./a'):
if a.text is not None:
weibo.content += a.text
if a.tail is not None:
weibo.content += a.tail
if len(cmt) != 0:
reason = cmt[1].text.split(u'\xa0')
if len(reason) != 1:
weibo.repostreason = reason[0]
ct = item.xpath('./div/span[@class="ct"]')[0]
time = ct.text.split(u'\xa0')[0]
weibo.time = self.gettime(self, time, parsingtime)self.weibos.append(weibo.__dict__)
f.close()
方法传递的参数parsingtime的设置初衷是，开发前期爬取和解析可能不是同时进行的（并不是严格的“同时”），微博时间显示是基于访问时间的，比如爬取时间是10:00，这时爬取到一条微博显示是5分钟前发布的，但如果解析时间是10:30，那么解析时间将错误，所以应该讲解析时间设置为10:00。到后期爬虫基本开发完毕，爬取工作和解析工作开始时间差距降低，时间差将是爬取过程时长，基本可以忽略。
解析结果保存在一个列表里，最后将这个列表以json格式保存到文件系统里，删除过渡文件夹，完成。
def save(self):
f = open(sys.path[0] + '/Weibo_parsed/' + self.uid + '.txt', 'w')jsonstr = json.mps(self.weibos, indent=4, ensure_ascii=False)f.write(jsonstr)
f.close()
2.爬取关键词
同样的，收集必要的信息。在微博手机版搜索页面敲入”python”，观察url，研究其规律。虽然第一页并无规律，但是第二页我们发现了规律，而且这个规律可以返回应用于第一页第一页
第二页
应用后第一页
观察url可以发现，对于关键词的搜索，url中的变量只有keyword和page（事实上，hideSearchFrame对我们的搜索结果和爬虫都没有影响），所以在代码中我们就可以对这两个变量进行控制。
另外，如果关键词是中文，那么url就需要对中文字符进行转换，如我们在搜索框敲入”开心”并搜索，发现url如下显示搜索开心
但复制出来却为
http://weibo.cn/search/mblog?hideSearchFrame=&keyword=%E5%BC%80%E5%BF%83&page=1幸好，python的urllib库有qoute方法处理中文转换的功能（如果是英文则不做转换），所以在拼接url前使用这个方法处理一下参数。
另外，考虑到关键词搜索属于数据收集阶段使用的方法，所以在此只提供单线程下载网页，如有多线程需要，大家可以按照多线程爬取用户微博的方法自己改写。最后，对下载下来的网页进行提取并保存（我知道这样的模块设计有点奇怪，打算重(xin)构(qing)时(hao)时再改，就先这样吧）。
def keywordcrawling(self, keyword):
realkeyword = urllib.quote(keyword) # Handle the keyword in Chinese.
try:
os.mkdir(sys.path[0] + '/keywords')
except Exception, e:
print str(e)
weibos = []
try:
highpoints = re.compile(u'[\U00010000-\U0010ffff]') # Handle emoji, but it seems doesn't work.
except re.error:
highpoints = re.compile(u'[\uD800-\uDBFF][\uDC00-\uDFFF]')pagenum = 0
isneeded = False
while not isneeded:
html = self.getpage('http://weibo.cn/search/mblog?keyword=%s&page=1' % realkeyword)isneeded = self.ispageneeded(html)
if isneeded:
selector = etree.HTML(html)
try:
pagenum = int(selector.xpath('//input[@name="mp"]/@value')[0])except:
pagenum = 1
for i in range(1, pagenum + 1):
try:
isneeded = False
while not isneeded:
html = self.getpage('http://weibo.cn/search/mblog?keyword=%s&page=%s' % (realkeyword, str(i)))isneeded = self.ispageneeded(html)
selector = etree.HTML(html)
weiboitems = selector.xpath('//div[@class="c"][@id]')for item in weiboitems:
cmt = item.xpath('./div/span[@class="cmt"]')if (len(cmt)) == 0:
ctt = item.xpath('./div/span[@class="ctt"]')[0]
if ctt.text is not None:
text = etree.tostring(ctt, method='text', encoding="unicode")tail = ctt.tail
if text.endswith(tail):
index = -len(tail)
text = text[1:index]
text = highpoints.sub(u'\u25FD', text) # Emoji handling, seems doesn't work.
weibotext = text
weibos.append(weibotext)
print str(i) + '/' + str(pagenum)
except Exception, e:
print str(e)
f = open(sys.path[0] + '/keywords/' + keyword + '.txt', 'w')try:
f.write(json.mps(weibos,indent=4,ensure_ascii=False))except Exception,ex:
print str(ex)
finally:
f.close()
博主之前从未写过任何爬虫程序，为了获取新浪微博博文，博主先后写了3个不同的爬虫程序，有Python，有Java，爬虫不能用了是很正常的，不要气馁，爬虫程序和反爬机制一直都在不断博弈中，道高一尺魔高一丈。
另. 转载请告知博主，如果觉得博主帅的话就可以不用告知了

❾ Java学习路线是怎样的

第一阶段，Java SE基础：

Java环境搭建、流程控制语句-for循环、switch选择判断、循环嵌套、数组拷贝、多维数组、final关键字、构造函数的调用、类的访问权限和路径、面向对象高级特性、Java异常处理、Set，Map，List接口及接口实现类、Java线程、同步阻塞、JavaIO流、文件的操作，复制，读写，删除等。

第二阶段，JavaWeb：

MySQL安装、管理、创建数据库、MySQLUPDATE
查询、Mysql高级操作、JDBC、JDBC数据库连接操作，JDBC动态Sql处理、Servlet3.0 网页重定向、Servlet3.0
新增的注解支持、AJAX、responseText属性详解等。

第三阶段，Java高级框架-SSH：

Struts2异常处理、Struts2+Log4j集成、Struts2和JSON实例、Hibernate5、Hibernate集合映射、Hibernate组件映射、Spring4.0、SpringAOP+
AspectJ框架、Spring 与其它Web框架集成、Spring Hibernate支持等。

第四阶段，Java高级框架-SSM：

SpringMVC、Spring MVC生成JSON数据、MyBatis、MyBatis 环境配置及入门、Mybatis set标签、Mybatis trim标签、Shiro、Shiro快速入门教程、Shiro Web应用等。

第五阶段，SpringBoot+VUE全栈框架：

SpringBoot、全局异常处理、过滤器监听器、EHCache缓存、SpringBoot Quartz定时任务、Vue、Vue.js 安装、模板语法、计算属性、事件处理器、Vue.js 自定义指令、Vue.js 路由等

第六阶段，特色课程：

ActiveM环境搭建、生产者和消费者、消息持久化操作、RSA数字加密算法、Codebar条形码生成器、zxing二维码生成器、HighCharts统计图、Echarts统计图、网络播放器ckplayer、嵌入式网络播放器，可以浏览器和移动端随意使用

第七阶段，互联网框架的高级应用1：

分布式服务框架的理解，Dubbo架构设计详解及其核心要点，框架运行原理分析、SpringData数据访问、Lucene搜索引擎、Lucene的全文搜索服务器介绍、索引建立方式、Solr海量数据搜索引擎、Socket网络通信、实现RMI远程对象通讯、使用JMS消息服务、Kafka分布式消息系统、WebService与RestfulWS等

第八阶段，互联网框架的高级应用2：

Spring Security安全框架、实现Web应用安全控制、缓存应用与EhCache框架、OSCache与JBossCache框架、MyBatis与Hibernate缓存机制、NoSQL应用与SQL调优、MongoDB
NoSQL数据库、Redis内存数据库、实现RedisSession共享、SQL语句的优化、实现数据库读写分离、WEB应用集群及性能优化、Maven项目管理工具、Web服务器负载均衡、实现Nginx与Tomcat集群、使用LoadRunner测试工具、性能优化之内存调优、代码优化与重构的方法等。

对java有兴趣的小伙伴们，不妨先从java入门开始！B站上有很多的java教学视频，从基础到高级的都有，还挺不错的，知识点讲的很细致，还有完整版的学习路线图。也可以自己去看看，下载学习试试。

❿ Java培训机构哪家好

Java是一门面向对象编程语言，具有功能强大和简单易用两大特征。随着JSP技术的发展，Java语言版的网络应权用更为实际化、更高效快捷。想要学好Java，一定要从基础开始、一点一点慢慢深入进阶。
Java初学者在开始的时候需要认识什么是Java标识符、注释、Java关键字和什么是常量和变量等知识点，还要重点掌握面向对象三大特性、数据类型、关键字、抽象类和接口、异常、反射、枚举、系列化等。
综合来说，Java的知识点非常多，有些知识点比较难以理解，有时候我们自以为理解了某些内容，其实可能只是停留在表面上，没有理解其底层实现原理。因此我们一定要多记忆、多练习，有较多的项目练习不仅可以帮你理解和巩固理论知识，还可以帮你积累较多项目开发经验。

导航:首页 > 编程语言 > xqueryjs

xqueryjs