導航:首頁 > 編程語言 > java抓取js

java抓取js

發布時間:2023-03-18 08:27:01

① 在jsp頁面中java代碼獲取js裡面var變數的值

jsp頁面中在java語句裡面要想獲取js的變數的值,你可以試試使用request對象

② java爬蟲怎麼抓取js動態生成的內容

我用Jsoup寫爬蟲,一般遇到html返回沒有的內容。但是瀏覽器顯示有的內容。都是專分析頁面的http請求日誌。分屬析頁面JS代碼來解決。
1、有些頁面元素被隱藏起來了->換selector解決
2、有些數據保存在js/json對象中->截取對應的串,分析解決
3、通過api介面調用->偽造請求獲得數據
還有一個終極方法
4、使用phantomjs或者casperjs這種headless瀏覽器

③ java怎麼用webcollector爬取js動態頁面工程

使用WebCollector來爬取網路搜索引擎按照關鍵字搜索的結果頁面,解析規則可能會隨網路搜索的改版而失效。

* 我們希望繼續爬取每條搜索結果指向的網頁,這里統稱為外鏈。
* 我們希望在訪問外鏈時仍然能夠知道外鏈處於搜索引擎的第幾頁、第幾條,
* 所以將頁號和排序信息放入後續的CrawlDatum中,為了能夠區分外鏈和
* 搜索引擎結果頁面,我們將其pageType設置為outlink,這里的值完全由 用戶定義,可以設置一個任意的值
* 在經典爬蟲中,每個網頁都有一個refer信息,表示當前網頁的鏈接來源。
* 例如我們首先訪問新浪首頁,然後從新浪首頁中解析出了新的新聞鏈接,
* 則這些網頁的refer值都是新浪首頁。WebCollector不直接保存refer值,
* 但我們可以通過下面的方式,將refer信息保存在metaData中,達到同樣的效果。
* 經典爬蟲中錨文本的存儲也可以通過下面方式實現。
* 在一些需求中,希望得到當前頁面在遍歷樹中的深度,利用metaData很容易實現
* 這個功能,在將CrawlDatum添加到next中時,將其depth設置為當前訪問頁面 的depth+1即可。

④ 如何用java執行爬到網頁中的js

如果只是單純的抓取網站數據(包括登錄以後),似乎都不需要解析內,執行js。如果是容ajax直接加一段httpGet,httpPost的頭new BasicHeader("X-Requested-With", "XMLHttpRequest"),如果 如你問題所示必須執行js,試試htmlunit,它是jsoup + httpclient以及帶有js解析器的結合體,本來是web測試用的框架

⑤ 如何在java類中獲取js變數的值

在java類中獲取js變數的值,可以使用如下方式:

將js變數放到form中的一個;在後台從form中取出變數放到隱藏域中;然後提交表單給要調用變數的頁面。這個頁面可以就是本身。示例如下:

bb.jsp頁面:

<%Stringtest5=(String)request.getAttribute("test4");%>
<scripttype="text/javascript">
vartest1='111';//定義js變數
document.form.test2.value=test1;
//將js變數的值放到form中的一個隱藏域中
varformObj=document.getElementById('passForm');
formObj.submit();
</script>
<formmethod="post"action="aa.jsp"id="passForm">
<inputid='test2'type='hidden'name="test2">
</form>
aa.jsp頁面中的Java代碼:
<%
request.setCharacterEncoding("utf-8");
StringtxtMsg=request.getParameter("test2");
out.println(txtMsg);
%>

⑥ 如何在java類中獲取js變數的值

在java類中獲取js變數的值,可以使用如下方式:將js變數放到form中的一個;在後台從form中取出變數放到隱藏域中;然後提交表單給要調用變數的頁面。這個頁面可以就是本身。示例如下:bb.jsp頁面:

<pre t="code" l="java"><% String test5 = (String)request.getAttribute("test4"); %>
<script type="text/javascript">
var test1 = '111'; //定義js變數
document.form.test2.value = test1;
//將js變數的值放到form中的一個隱藏域中
var formObj = document.getElementById('passForm');
formObj.submit();
</script>
<form method="post" action="aa.jsp" id ="passForm">
<input id = 'test2' type = 'hidden' name="test2">
</form>
aa.jsp頁面中的Java代碼:
<%
request.setCharacterEncoding("utf-8");
String txtMsg = request.getParameter("test2");
out.println(txtMsg);
%>

⑦ Java_爬蟲,如何抓取Js動態生成數據的頁面

HttpClient
怎麼不行,都是請求,搞清楚地址,就有參數,都是一次訪問,能抓到肯定行

⑧ java獲取javascript的內容

這個問題實現起來可不簡單。
如果只是簡單的鏈接替換還好說,如果是頁面內容是動態的,也就是說 HTML 是通過 javascipt 動態生成,那就得用 java 解析 HTML 並執行其中的 javascript,執行結束後才是你要的 HTML。

可以看看這個
http://lobobrowser.org/

⑨ 怎樣用java代碼從網頁中獲取js文件,可以實現嗎

當你請求 http://news.qq.com/a/20120807/000413.htm#p=1 在這個頁面會從資料庫得到第一張圖片的地址 在這個頁面用腳本為<IMG/>這個標簽加上 src 的屬性
這時候屬性變為<IMG src="http://news.qq.com/a/20120807/000413.hdBigPic.js ">
就可以載入圖片了

另外:js代碼可以和調用後台的java代碼 在頁面局部刷新 這就是所謂的ajax
java代碼是不能在後台調用js代碼的 可以在html或jsp頁面調用 如下
XXX.jsp java調用js例子
<%
if("a".equals("a")){
%>
<script>
alert('a==a');
</script>
<%}%>

閱讀全文

與java抓取js相關的資料

熱點內容
雕刻機編程去哪裡學 瀏覽:436
編程怎麼與steam教育融合 瀏覽:697
js製作滑鼠拖拽小塊 瀏覽:310
將圖紙拆分為多個CAD文件 瀏覽:779
如何鑒別dsd文件 瀏覽:902
thinkphp不能用js 瀏覽:664
蘋果11粘膩app是什麼意思 瀏覽:670
安卓手機中木馬了怎麼辦 瀏覽:964
java組建模型 瀏覽:53
wifi萬能密碼安全嗎 瀏覽:785
紅色系圓圈是什麼app 瀏覽:714
迷你編程開始的教程怎麼過 瀏覽:216
上海國衡網站有什麼用 瀏覽:29
掃描文件如何全選 瀏覽:363
directx一鍵修復工具 瀏覽:620
如何恢復谷歌同步中刪除的文件夾 瀏覽:215
安卓51轉換為系統應用 瀏覽:789
哪裡看雙11數據 瀏覽:783
文件變成exe如何恢復 瀏覽:49
為什麼逆戰會缺少文件 瀏覽:180

友情鏈接