导航:首页 > 编程语言 > java抓取商品信息

java抓取商品信息

 发布时间：2023-02-02 23:16:14

⑴ 关于java中arraylist的使用问题——数据覆盖

GoodsBean gBean;这句改为GoodsBean gBean=new GoodBean(); 因为你没有为这个对象开辟一个新的内存空间，所以每次循环的时候都是把之前的那个对象引用重新指向到当前对象。到最后所有的对象都引用最后一次循环中对象的地址，所以list里面的对象都是最后一次循环的内容。希望对你有所帮助

⑵ 如何用java实现抓取商城商品信息到自己的页面上来！！！ 求解啊，大神们！！

对于加密的网站还没去研究，不知道能不能抓取，现在只是对一些没有加密的网站进行网页数据抓取。刚刚开始写的时候以为很多网站都能抓取，但是发现很多都加密了，本来以为一些地址可以通过网页数据检测工具测出他的数据变化，但是只能监测到一些通过js显示的数据，依然不能抓取到加密的网站。嗨，这个问题以后再说吧。
[java]
import java.net.* ;
import java.io.* ;
import java.util.regex.* ;
public class Capture{
public static void main(String args[])throws Exception{
System.out.println("*************************手机号查询************************") ;
System.out.println("我的位置是：" + new GrabMobile().grabMobileLocation("15023141745")) ;
System.out.println("手机卡类型是：" + new GrabMobile().grabMobileType("15023141745")) ;
System.out.println("我的邮编是：" + new GrabMobile().grabMobilePost("15023141745")) ;
System.out.println("*************************身份证查询************************") ;
System.out.println("我的性别是：" + new GrabIdentity().grabIdentitySex("362203199208243575")) ;
System.out.println("我的生日是：" + new GrabIdentity().grabIdentityBirth("362203199208243575")) ;
System.out.println("我的家乡是：" + new GrabIdentity().grabIdentityHome("362203199208243575")) ;
}
}
class GrabMobile{
public String grabMobileLocation(String m)throws Exception{
String strUrl = "http://www.ip138.com:8080/search.asp?action=mobile&mobile=" + m;
URL url = new URL(strUrl) ;
HttpURLConnection httpUrlCon = (HttpURLConnection)url.openConnection() ;
InputStreamReader inRead = new InputStreamReader(httpUrlCon.getInputStream(),"GBK") ;
BufferedReader bufRead = new BufferedReader(inRead) ;
StringBuffer strBuf = new StringBuffer() ;
String line = "" ;
while ((line = bufRead.readLine()) != null) {
strBuf.append(line);
}
String strStart = "卡号归属地" ;
String strEnd = "卡 类 型";
String strAll = strBuf.toString() ;

int start = strAll.indexOf(strStart) ;

int end = strAll.indexOf(strEnd) ;

String result = strAll.substring(start+42,end-33) ;
result = drawChMob(result) ;
return result ;
}
public String grabMobileType(String m)throws Exception{
String strUrl = "http://www.ip138.com:8080/search.asp?action=mobile&mobile=" + m;
URL url = new URL(strUrl) ;
HttpURLConnection httpUrlCon = (HttpURLConnection)url.openConnection() ;
InputStreamReader inRead = new InputStreamReader(httpUrlCon.getInputStream(),"GBK") ;
BufferedReader bufRead = new BufferedReader(inRead) ;
StringBuffer strBuf = new StringBuffer() ;
String line = "" ;
while ((line = bufRead.readLine()) != null) {
strBuf.append(line);
}
String strStart = "卡 类 型" ;
String strEnd = "<TD align=\"center\">区 号</TD>";
String strAll = strBuf.toString() ;

int start = strAll.indexOf(strStart) ;

int end = strAll.indexOf(strEnd) ;

String result = strAll.substring(start+12,end) ;
result = drawChMob(result) ;
result = result.substring(1) ;
return result ;
}
public String grabMobilePost(String m)throws Exception{
String strUrl = "http://www.ip138.com:8080/search.asp?action=mobile&mobile=" + m;
URL url = new URL(strUrl) ;
HttpURLConnection httpUrlCon = (HttpURLConnection)url.openConnection() ;
InputStreamReader inRead = new InputStreamReader(httpUrlCon.getInputStream(),"GBK") ;
BufferedReader bufRead = new BufferedReader(inRead) ;
StringBuffer strBuf = new StringBuffer() ;
String line = "" ;
while ((line = bufRead.readLine()) != null) {
strBuf.append(line);
}
String strStart = "邮 编" ;
String strEnd = "更详细的..";
String strAll = strBuf.toString() ;

int start = strAll.indexOf(strStart) ;

int end = strAll.indexOf(strEnd) ;

String result = strAll.substring(start+40,end-55) ;
return result ;
}
public String drawChMob(String str){
StringBuffer strBuf = new StringBuffer() ;
String regex="([\u4e00-\u9fa5]+)";
Matcher matcher = Pattern.compile(regex).matcher(str);
while(matcher.find()){
strBuf.append(matcher.group(0)).toString() ;
}
return strBuf.toString() ;
}
}
class GrabIdentity{
public String grabIdentitySex(String userid)throws Exception{
String strUrl = "http://qq.ip138.com/idsearch/index.asp?action=idcard&userid=" + userid + "&B1=%B2%E9+%D1%AF";
URL url = new URL(strUrl) ;
HttpURLConnection httpUrlCon = (HttpURLConnection)url.openConnection() ;
InputStreamReader inRead = new InputStreamReader(httpUrlCon.getInputStream(),"GBK") ;
BufferedReader bufRead = new BufferedReader(inRead) ;
StringBuffer strBuf = new StringBuffer() ;
String line = "" ;
while ((line = bufRead.readLine()) != null) {
strBuf.append(line);
}
String strStart = " 别" ;
String strEnd = "出生日期";
String strAll = strBuf.toString() ;

int start = strAll.indexOf(strStart) ;

int end = strAll.indexOf(strEnd) ;

String result = strAll.substring(start+7,end) ;
result = drawCh(result) ;
return result ;
}
public String grabIdentityBirth(String userid)throws Exception{
String strUrl = "http://qq.ip138.com/idsearch/index.asp?action=idcard&userid=" + userid + "&B1=%B2%E9+%D1%AF";
URL url = new URL(strUrl) ;
HttpURLConnection httpUrlCon = (HttpURLConnection)url.openConnection() ;
InputStreamReader inRead = new InputStreamReader(httpUrlCon.getInputStream(),"GBK") ;
BufferedReader bufRead = new BufferedReader(inRead) ;
StringBuffer strBuf = new StringBuffer() ;
String line = "" ;
while ((line = bufRead.readLine()) != null) {
strBuf.append(line);
}
String strStart = "出生日期：</td><td class=\"tdc2\">" ;
String strEnd = "</td><tr><tr><td class=";
String strAll = strBuf.toString() ;

int start = strAll.indexOf(strStart) ;
int end = strAll.indexOf(strEnd) ;

String result = strAll.substring(start+27,end) ;
return result ;
}
public String grabIdentityHome(String userid)throws Exception{
String strUrl = "http://qq.ip138.com/idsearch/index.asp?action=idcard&userid=" + userid + "&B1=%B2%E9+%D1%AF";
URL url = new URL(strUrl) ;
HttpURLConnection httpUrlCon = (HttpURLConnection)url.openConnection() ;
InputStreamReader inRead = new InputStreamReader(httpUrlCon.getInputStream(),"GBK") ;
BufferedReader bufRead = new BufferedReader(inRead) ;
StringBuffer strBuf = new StringBuffer() ;
String line = "" ;
while ((line = bufRead.readLine()) != null) {
strBuf.append(line);
}
String strStart = "证 地：</td><td class=\"tdc2\">" ;
String strEnd = "<br/></td></tr><tr><td class=\"tdc3\" valign=\"top\" align=\"right\">部分或" ;
String strAll = strBuf.toString() ;

int start = strAll.indexOf(strStart) ;
int end = strAll.indexOf(strEnd) ;

String result = strAll.substring(start+31,end) ;
return result ;
}
public String drawCh(String str){
StringBuffer strBuf = new StringBuffer() ;
String regex="([\u4e00-\u9fa5]+)";
Matcher matcher = Pattern.compile(regex).matcher(str);
if(matcher.find()){
str = strBuf.append(matcher.group(0)).toString() ;
}
return str ;
}
}

待会传上改装成的android小程序，可以手机号查询和身份证查询。

⑶ 怎么用java调用淘宝开发平台获得淘宝的所有的类目，要详细的接口

淘宝的API有些是开放的，我查了一下所有类目的API是收费的，需要申请APIKey，然后调用对应查询接口，就能返回XML或JSON数据进行自己的处理了。

如果真是开发需要，就可以买淘宝的服务啊。

调用很简单，比如taobao.itemcats.get 接口（获取后台供卖家发布商品的标准商品类目），如下Java代码就返回结果了（前提是提供APIKey，需要申请审核）

TaobaoClientclient=newDefaultTaobaoClient(url,appkey,secret);
ItemcatsGetRequestreq=newItemcatsGetRequest();
req.setFields("cid,parent_cid,name,is_parent");
req.setParentCid(50011999L);
req.setCids("18957,19562,");
ItemcatsGetResponseresponse=client.execute(req);



另外，变通的方法是自己开发爬虫，在淘宝页面上抓取，但问题是得不到淘宝技术支持，比如淘宝改版后也得跟着改动爬虫代码。

⑷ JAVA中，定义了一个物品集合，如何通过一个商品的编号得到该商品的所有信息。

首先你自己创建一个商品类，比如 class Goods{}，然后在这个类里边定义这些属性，比如你的name,price等，然后分别实现他们的get、set方法，完了之后定义一个list。
比如：list<Goods> glist = new ArrayList<Goods>();
现在你可以创建商品并将其放入这个list集合中了。
比如：Goods good = new Goods();
good.setGoodsId("goodsId"); good.setName("goodsName"); ...
然后将good存入list中，glist.add(good);
然后我们再定义第二件商品，比如是一个键盘
good = new Goods(); good.setName("键盘");.....
同样我们再将其放入list中，glist.add(good)；
此时glist中有两件商品，假设我们现在输出第二件商品的所有信息
System.out.println(glist.get(1).getGoodsId());
System.out.println(glist.get(1).getName);
.......
注意，第一件商品为get(0)，下标和数组类似

⑸ 使用java语言爬取自己的淘宝订单看看买了哪些东西

Java爬虫框架WebMagic简介及使用

一、介绍

webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。




二、概览

WebMagic项目代码分为核心和扩展两部分。核心部分(webmagic-core)是一个精简的、模块化的爬虫实现，而扩展部分则包括一些便利的、实用性的功能（例如注解模式编写爬虫等）。
WebMagic的结构分为Downloader、PageProcessor、Scheler、Pipeline四大组件，并由Spider将它们彼此组织起来。这四大组件对应爬虫生命周期中的下载、处理、管理和持久化等功能。而Spider则将这几个组件组织起来，让它们可以互相交互，流程化的执行，可以认为Spider是一个大的容器，它也是WebMagic逻辑的核心。

2.1 WebMagic的四个组件

⑹ java查询商品信息

是很抽象

首先连库(数据库)

执行查询语句

数值返回java界面(或jsp调用界面)

⑺ java抓取京东商城商品信息，根据网页源文件如何写抓取如下信息：

听说过jsoup吗。很简单，抄两句话搞定。

Document document = Jsoup
.connect("这个页面的url例如：http://www..com")
.method(Connection.Method.GET)
.followRedirects(false)
.timeout(100000)
.get();
Element el=document.getElementById("zzh_jd")//div 开始的id 。
//然后这个element你想怎么用就怎么用了。
//jsoup的使用类似于javascript很方便。

⑻ 用java怎么获取淘宝商品链接中的商品id。。。你去淘宝随便搜索一个商品

这个只能复制截取
有时候链接长的也很麻烦
如果自己在开店在电脑上操作会方便很多

阅读全文

与java抓取商品信息相关的资料

热点内容
微信动态表情包搞笑 浏览：436
可以去哪里找编程老师问问题 浏览：608
win10lol全屏 浏览：25
qq图片动态动漫少女 浏览：122
sai绘图教程视频 浏览：519
如何分析加载减速法数据 浏览：672
手机怎么免费转换pdf文件格式 浏览：668
在哪个网站可以驾照年检 浏览：89
iphone可以播放ape吗 浏览：991
matlabp文件能破解吗 浏览：817
四川省高三大数据考试是什么 浏览：457
导出打开java文件 浏览：671
win10蓝屏是硬盘坏了么 浏览：46
沈阳哪里适合学编程 浏览：811
django19常用版本 浏览：521
三国志11保存在哪个文件夹 浏览：88
iphone4s加速 浏览：108
编程内存和显卡哪个重要 浏览：672
android连接网络打印机 浏览：195
linuxsftp如何上传文件 浏览：603

友情链接