导航:首页 > 编程语言 > java抓取js

java抓取js

发布时间:2023-03-18 08:27:01

① 在jsp页面中java代码获取js里面var变量的值

jsp页面中在java语句里面要想获取js的变量的值,你可以试试使用request对象

② java爬虫怎么抓取js动态生成的内容

我用Jsoup写爬虫,一般遇到html返回没有的内容。但是浏览器显示有的内容。都是专分析页面的http请求日志。分属析页面JS代码来解决。
1、有些页面元素被隐藏起来了->换selector解决
2、有些数据保存在js/json对象中->截取对应的串,分析解决
3、通过api接口调用->伪造请求获得数据
还有一个终极方法
4、使用phantomjs或者casperjs这种headless浏览器

③ java怎么用webcollector爬取js动态页面工程

使用WebCollector来爬取网络搜索引擎按照关键字搜索的结果页面,解析规则可能会随网络搜索的改版而失效。

* 我们希望继续爬取每条搜索结果指向的网页,这里统称为外链。
* 我们希望在访问外链时仍然能够知道外链处于搜索引擎的第几页、第几条,
* 所以将页号和排序信息放入后续的CrawlDatum中,为了能够区分外链和
* 搜索引擎结果页面,我们将其pageType设置为outlink,这里的值完全由 用户定义,可以设置一个任意的值
* 在经典爬虫中,每个网页都有一个refer信息,表示当前网页的链接来源。
* 例如我们首先访问新浪首页,然后从新浪首页中解析出了新的新闻链接,
* 则这些网页的refer值都是新浪首页。WebCollector不直接保存refer值,
* 但我们可以通过下面的方式,将refer信息保存在metaData中,达到同样的效果。
* 经典爬虫中锚文本的存储也可以通过下面方式实现。
* 在一些需求中,希望得到当前页面在遍历树中的深度,利用metaData很容易实现
* 这个功能,在将CrawlDatum添加到next中时,将其depth设置为当前访问页面 的depth+1即可。

④ 如何用java执行爬到网页中的js

如果只是单纯的抓取网站数据(包括登录以后),似乎都不需要解析内,执行js。如果是容ajax直接加一段httpGet,httpPost的头new BasicHeader("X-Requested-With", "XMLHttpRequest"),如果 如你问题所示必须执行js,试试htmlunit,它是jsoup + httpclient以及带有js解析器的结合体,本来是web测试用的框架

⑤ 如何在java类中获取js变量的值

在java类中获取js变量的值,可以使用如下方式:

将js变量放到form中的一个;在后台从form中取出变量放到隐藏域中;然后提交表单给要调用变量的页面。这个页面可以就是本身。示例如下:

bb.jsp页面:

<%Stringtest5=(String)request.getAttribute("test4");%>
<scripttype="text/javascript">
vartest1='111';//定义js变量
document.form.test2.value=test1;
//将js变量的值放到form中的一个隐藏域中
varformObj=document.getElementById('passForm');
formObj.submit();
</script>
<formmethod="post"action="aa.jsp"id="passForm">
<inputid='test2'type='hidden'name="test2">
</form>
aa.jsp页面中的Java代码:
<%
request.setCharacterEncoding("utf-8");
StringtxtMsg=request.getParameter("test2");
out.println(txtMsg);
%>

⑥ 如何在java类中获取js变量的值

在java类中获取js变量的值,可以使用如下方式:将js变量放到form中的一个;在后台从form中取出变量放到隐藏域中;然后提交表单给要调用变量的页面。这个页面可以就是本身。示例如下:bb.jsp页面:

<pre t="code" l="java"><% String test5 = (String)request.getAttribute("test4"); %>
<script type="text/javascript">
var test1 = '111'; //定义js变量
document.form.test2.value = test1;
//将js变量的值放到form中的一个隐藏域中
var formObj = document.getElementById('passForm');
formObj.submit();
</script>
<form method="post" action="aa.jsp" id ="passForm">
<input id = 'test2' type = 'hidden' name="test2">
</form>
aa.jsp页面中的Java代码:
<%
request.setCharacterEncoding("utf-8");
String txtMsg = request.getParameter("test2");
out.println(txtMsg);
%>

⑦ Java_爬虫,如何抓取Js动态生成数据的页面

HttpClient
怎么不行,都是请求,搞清楚地址,就有参数,都是一次访问,能抓到肯定行

⑧ java获取javascript的内容

这个问题实现起来可不简单。
如果只是简单的链接替换还好说,如果是页面内容是动态的,也就是说 HTML 是通过 javascipt 动态生成,那就得用 java 解析 HTML 并执行其中的 javascript,执行结束后才是你要的 HTML。

可以看看这个
http://lobobrowser.org/

⑨ 怎样用java代码从网页中获取js文件,可以实现吗

当你请求 http://news.qq.com/a/20120807/000413.htm#p=1 在这个页面会从数据库得到第一张图片的地址 在这个页面用脚本为<IMG/>这个标签加上 src 的属性
这时候属性变为<IMG src="http://news.qq.com/a/20120807/000413.hdBigPic.js ">
就可以加载图片了

另外:js代码可以和调用后台的java代码 在页面局部刷新 这就是所谓的ajax
java代码是不能在后台调用js代码的 可以在html或jsp页面调用 如下
XXX.jsp java调用js例子
<%
if("a".equals("a")){
%>
<script>
alert('a==a');
</script>
<%}%>

阅读全文

与java抓取js相关的资料

热点内容
ps怎么剪贴到别的文件 浏览:352
如何导出文件 浏览:595
apk中的xml文件 浏览:239
umeng打包工具 浏览:765
g76锥度牙怎么编程 浏览:430
win10企业版关机很慢 浏览:163
微信短视频是保存在哪个文件夹 浏览:985
win10打印机设置纸张大小设置 浏览:427
卫星测控数据有哪些 浏览:451
格式工厂330教程 浏览:421
童美编程课怎么样 浏览:40
网页代码调试器 浏览:54
读取文件string 浏览:500
ug自动编程软件怎么画数控图 浏览:920
什么网站可以介绍主机 浏览:340
移动短信查询代码 浏览:192
怎么看公司网络是什么时候开通 浏览:960
cad2015文件参照怎么关闭 浏览:678
最小二乘逼近程序 浏览:610
铁路12306密码找不回 浏览:352

友情链接