❶ 怎么样从网络上获取所需要的数据
关于从网页上获取数据
网页上常包含适合在 Microsoft Excel 中进行分析的信息。例如,可以在 Excel 中使用直接从网页上获取的信息分析股票报价。根据需要,可以检索可刷新的数据(即可以借助网页上的最新信息在 Excel 中更新数据),或者可以从网页上获取数据并将其静态保存在工作表中。
1.使用 Web 查询获取可刷新的数据
借助 Web 查询,可以检索网页上的数据,如单个表格、多个表格或全部文本,然后利用 Excel 中的工具和功能对这些数据进行分析。只需单击一下按钮,即可方便地借助网页上的最新信息刷新数据。例如,可以从公共网页上检索和更新股票报价,或者从公司的网页上检索和更新销售信息表格。
Web 查询可检索网页上的数据并将其返回到 Excel 中进行分析。
2.复制和粘贴静态数据或可刷新的查询
可以使用熟悉的复制和粘贴命令将网页上的数据复制到 Excel 工作表。将网页上的数据粘贴到 Excel 中时,通过单击“粘贴选项” 可静态保存数据或者使其可以刷新。
3.从 Microsoft Office Web Components 中导出数据
在浏览器中,可以使用“导出到 Microsoft Excel”工具栏按钮从交互式电子表格和数据透视表列表中导出数据。有关详细信息,请参阅数据透视表列表或电子表格的“Microsoft Office Web Component 帮助”。
4.打开 HTML、MHTML 或 XML 文件
在 Excel 中,使用“文件”菜单上的“打开”命令可打开任意一个 HTML 文件、MTHML 文件或格式更完善的 XML 文件。
当打开一个 HTML 或 MHTML 文件时,将获得整个网页,但可能丢失一些格式、脚本、.gif 图像文件(只在 HTML 中)或单个单元格中的数据列表。
当打开一个 XML 文件时,可以选择应用一个还是多个引用样式表。
❷ 如何获取并分析一个网站的相关信息
随着很多网站的做大做细,网站数据分析变得更为重要。通过网站数据分析可以充分了解一个网站的运作情况,并加以改进。这些数据会告诉你,你的网站流量是否有效?流量在哪里流失?目标受众是否精准?如何改善网站产品格局和网站运营?等等一系列问题。但在这之前的第一步就是需要获取网站的数据。本文主要介绍如何获取网站数据以及需要获取哪些关键数据。
1,网站内部数据
网站内部数据是网站最容易获取到的数据,它们往往就存放在网站的文件系统或数据库中,也是与网站本身最为密切相关的数据,是网站分析最常见的数据来源,我们需要好好利用这部分数据。
服务器日志
网站分析不再局限于网页浏览的PV、UV,转化流失等,基于Events的分析将会越来越普遍,将会更多的关注用户在接受网站服务的整个流程的情况。
随着网站应用的不断扩张,以及前端技术的不断升华。网站日志不再局限于点击流的日志数据,如果你的网站提供上传下载、视频音乐、网页游戏等服务,那么很明显,你的网站服务器产生的绝不仅有用户浏览点击网页的日志,也不只有标准的apache日志格式日志,更多的W3C、JSON或自定义格式的输出日志也给网站分析提供了新的方向。
网站分析工具
通过网站分析工具获得数据是一个最为简便快捷的方式,通过网站分析工具获得的数据一般都已经经过特殊计算,较为规范,如PV、UV、Exit Rate、Bounce Rate等,再配上一些趋势图或比例图,通过细分、排序等方法让结果更为直观。
但通过网站分析工具得到数据也远不止这些,上面的这些数据也一样可以通过统计网站日志获得,但网站分析工具的优势在于其能通过一些嵌入页面的JS代码获得一些有趣的结果,如一些网站分析工具提供的点击热图,甚至鼠标移动轨迹图。这些分析结果往往对网站优化和用户行为分析更为有效。
数据库数据
对于一般的网站来说,存放于数据库中的数据可以大致分为3个部分:
网站用户信息,一般提供注册服务的网站都会将用户的注册账号和填写的基本信息存放在数据库里面;
网站应用或产品数据,就像电子商务的商品详细信息,如商品信息会包含商品名称、特征描述、产品属性等;
用户在应用服务或购买产品时产生的数据,最简单的例子就是电商网站的用户购买(购买单、报价单、询盘)数据——购买时间、购买的用户、购买的商品、购买数量、支付的金额等。
当然,这一部分数据的具体形式会根据网站的运营模式存在较大差异,一些业务范围很广,提供多样服务的网站其数据库中数据的组合会相当复杂。
其它
其它一切网站运营过程中产生的数据,有可能是用户创造,也有可能是网站内部创造,其中有一大部分我们可以称其为“线下数据”。
2,外部数据
网站分析除了可以从网站内部获取数据以外,通过互联网这个开放的环境,从网站外部获取一些数据可以让分析的结果更加全面。
互联网环境数据
可以去一些网络数据分析平台查一下互联网中顶级网站的访问量趋势。
竞争对手数据
时刻关注竞争对手的情况可以让你的网站不至于在竞争中落伍。除了一些网站数据查询平台以外,直接从竞争对手网站上获取数据也是另外一条有效的途径,也有网站会出于某些原因(信息透明、数据展示等)将自己的部分统计信息展现在网站上,看看那些数据对于掌握你的竞争对手的情况是否有帮助。
在获取上述几类数据的同时,也许我们还可以从其他方面获取一些更为丰富的数据。
合作伙伴数据
如果你有合作的网站或者你经营的是一个电子商务网站,也许你会有相关的产品提供商、物流供应商等合作伙伴,看看他们能为你提供些什么数据。
用户数据
如果你的网站已经小有名气,那么尝试在搜索引擎看看用户是怎么评价你的网站,或者通过SNS网站等看看用户正在上面发表什么关于你的网站的言论。
当然通过用户调研获取数据是另外一个不错的途径,通过网站上的调查问卷或者线下的用户回访,电话、IM调查,可用性实验测试等方式可以获取一些用户对网站的直观感受和真实评价,这些数据往往是十分有价值的,也是普通的网站分析工具所获取不到的。
在分析网站的外部数据的时候,需要注意的是不要过于相信数据,外部数据相比内部数据不确定性会比较高。网站内部数据即使也不准确,但我们至少能知道数据的误差大概会有多大,是什么原因造成了数据存在误差。而外部数据一般都是有其他网站或机构公布的,每个公司,无论是数据平台、咨询公司还是合作伙伴都可能会为了某些利益而使其公布的数据更加可信或更具一定的偏向性,所以我们在分析外部数据是需要更加严格的验证和深入的分析。而对于用户调研中获取的数据,我们一般会通过统计学的方法检验数据是否可以被接受,或者是否满足一定的置信区间,这是进行数据分析前必须完成的一步。
❸ 怎么从网站上面获取数据
IE浏览器有OLE对象,可以通过这个功能,提取所有元素的信息,还有就是有些软件应该可以。。。
如果想白手起家,那就直接正则匹配文本,写一个提取元素的小程序,也行。。。
❹ 如何 用java语言获得网页数据
你这个是不是A系统想了解B系统的页面信息?
如果是这样存在一个问题比较难解决,版就是数据源问题,权你A系统并不知道B系统的数据。
如果要获取招聘信息的公司名称,有几个思路
1、A系统做一个iframe,这个iframe里面嵌入你要访问的URL,然后你通过JS,获取这个iframe标签里面的所有内容,这样数据源就解决了
2、你可以做一个浏览器插件,这个插件的功能就是获取当前访问页面的所有字符数据,获取到数据后将数据发送到A系统
3、对网页进行截图,然后通过OCR软件获取图片中的文字,并将文字保存成文本,A系统读取这个文本信息,数据源问题也可以解决
以上上个只是我临时想到的,可能还可以运用JAVA的全文检索框架试试看,因为没有用过这个框架所以不知道是否能够实现
获取到数据源后,接下来就是业务处理了,业务处理就看具体业务进行处理就行了,技术方面就是一个文字处理的功能,技术好实现,业务比较复杂
❺ EXCEL VBA获取某个需要登录的网站上的数据
可以通过WebBrowser控件的使用实现该功能
以下实例打开网络,在输入框输入“aaa”
Public Sub useie()
'引用Microsoft Internet Controls
Dim IE
On Error Resume Next
Set IE = CreateObject("InternetExplorer.application")
IE.Visible = True
IE.Navigate URL:=""
timeie = DateAdd("s", 20, Now()) '等待20s
Do While IE.Busy And Not IE.ReadyState = READYSTATE_COMPLETE
DoEvents
If timeie < Now() Then
MsgBox “无法连接重新执行”
IE.Quit
Exit Sub
End If
Loop
IE.Document.getElementById("kw").Value = "aaa"
Set IE = Nothing
Set ID = Nothing
End Sub
WebBrowser控件的使用
0、常用方法
Navigate(string urlString):浏览urlString表示的网址
Navigate(System.Uri url):浏览url表示的网址
Navigate(string urlString, string targetFrameName, byte[] postData, string additionalHeaders): 浏览urlString表示的网址,并发送postData中的消息
//(通常我们登录一个网站的时候就会把用户名和密码作为postData发送出去)
GoBack():后退
GoForward():前进
Refresh():刷新
Stop():停止
GoHome():浏览主页
WebBrowser控件的常用属性:
Document:获取当前正在浏览的文档
DocumentTitle:获取当前正在浏览的网页标题
StatusText:获取当前状态栏的文本
Url:获取当前正在浏览的网址的Uri
ReadyState:获取浏览的状态
WebBrowser控件的常用事件:
DocumentTitleChanged,
CanGoBackChanged,
CanGoForwardChanged,
DocumentTitleChanged,
ProgressChanged,
ProgressChanged
1、获取非input控件的值:
webBrowser1.Document.All["控件ID"].InnerText;
或webBrowser1.Document.GetElementById("控件ID").InnerText;
或webBrowser1.Document.GetElementById("控件ID").GetAttribute("value");
2、获取input控件的值:
webBrowser1.Document.All["控件ID"].GetAttribute("value");;
或webBrowser1.Document.GetElementById("控件ID").GetAttribute("value");
3、给输入框赋值:
//输入框
user.InnerText = "myname";
password.InnerText = "123456";
webBrowser1.Document.GetElementById("password").SetAttribute("value", "Welcome123");
4、下拉、复选、多选:
//下拉框:
secret.SetAttribute("value", "question1");
//复选框
rememberme.SetAttribute("Checked", "True");
//多选框
cookietime.SetAttribute("checked", "checked");
5、根据已知有ID的元素操作没有ID的元素:
HtmlElement btnDelete = webBrowser1.Document.GetElementById(passengerId).Parent.Parent.Parent.Parent.FirstChild.FirstChild.Children[1].FirstChild.FirstChild;
根据Parent,FirstChild,Children[1]数组,多少层级的元素都能找到。
6、获取Div或其他元素的样式:
webBrowser1.Document.GetElementById("addDiv").Style;
7、直接执行页面中的脚本函数,带动态参数或不带参数都行:
Object[] objArray = new Object[1];
objArray[0] = (Object)this.labFlightNumber.Text;
webBrowser1.Document.InvokeScript("ticketbook", objArray);
webBrowser1.Document.InvokeScript("return false");
8、自动点击、自动提交:
HtmlElement btnAdd = doc.GetElementById("addDiv").FirstChild;
btnAdd.InvokeMember("Click");
9、自动赋值,然后点击提交按钮的时候如果出现脚本错误或一直加载的问题,一般都是点击事件执行过快,这时需要借助Timer控件延迟执行提交按钮事件:
this.timer1.Enabled = true;
this.timer1.Interval = 1000 * 2;
private void timer1_Tick(object sender, EventArgs e)
{
this.timer1.Enabled = false;
ClickBtn.InvokeMember("Click");//执行按扭操作
}
10、屏蔽脚本错误:
将WebBrowser控件ScriptErrorsSuppressed设置为True即可
11、自动点击弹出提示框:
private void webBrowser1_Navigated(object sender, WebBrowserNavigatedEventArgs e)
{
//自动点击弹出确认或弹出提示
IHTMLDocument2 vDocument = (IHTMLDocument2)webBrowser1.Document.DomDocument;
vDocument.parentWindow.execScript("function confirm(str){return true;} ", "javascript"); //弹出确认
vDocument.parentWindow.execScript("function alert(str){return true;} ", "javaScript");//弹出提示
}
WebBrowser页面加载完毕之后,在页面中进行一些自动化操作的时候弹出框的自动点击(屏蔽)
private void webBrowser1_DocumentCompleted(object sender, e)
{
//自动点击弹出确认或弹出提示
IHTMLDocument2 vDocument = (IHTMLDocument2)webBrowser1.Document.DomDocument;
vDocument.parentWindow.execScript("function confirm(str){return true;} ", "javascript"); //弹出确认
vDocument.parentWindow.execScript("function alert(str){return true;} ", "javaScript");//弹出提示
//下面是你的执行操作代码
}
12、获取网页中的Iframe,并设置Iframe的src
HtmlDocument docFrame = webBrowser1.Document.Window.Frames["mainFrame"].Document;
或
HtmlDocument docFrame = webBrowser1.Document.All.Frames["mainFrame"].Document;
docFrame.All["mainFrame"].SetAttribute("src", "");
13、网页中存在Iframe的时候webBrowser1.Url和webBrowser1_DocumentCompleted中的e.Url不一样,前者是主框架的Url,后者是当前活动框口的Url。
14、让控件聚焦
this.webBrowser1.Select();
this.webBrowser1.Focus();
doc.All["TPL_password_1"].Focus();
15、打开本地网页文件
webBrowser1.Navigate(Application.StartupPath + @"\Test.html");
16、获取元素、表单
//根据Name获取元素
public HtmlElement GetElement_Name(WebBrowser wb,string Name)
{
HtmlElement e = wb.Document.All[Name];
return e;
}
//根据Id获取元素
public HtmlElement GetElement_Id(WebBrowser wb, string id)
{
HtmlElement e = wb.Document.GetElementById(id);
return e;
}
//根据Index获取元素
public HtmlElement GetElement_Index(WebBrowser wb,int index)
{
HtmlElement e = wb.Document.All[index];
return e;
}
//获取form表单名name,返回表单
public HtmlElement GetElement_Form(WebBrowser wb,string form_name)
{
HtmlElement e = wb.Document.Forms[form_name];
return e;
}
//设置元素value属性的值
public void Write_value(HtmlElement e,string value)
{
e.SetAttribute("value", value);
}
//执行元素的方法,如:click,submit(需Form表单名)等
public void Btn_click(HtmlElement e,string s)
{
e.InvokeMember(s);
}