-
vb教程之用VB实现网页下载跟踪程序
陶国强
互联网传输控件(ITC)是一个很不错的控件,我们可以利用它非常方便地检索Web资源,但不幸的是,该控件并没有提供跟踪数据传输过程的方法。如果ITC控件具有诸如DownloadProgress或者DataArrival这样的事件,而且该事件还具有相应的参数就好了,但可惜也没有。那么有没有方法来获取网页下载过程的信息呢?答案是肯定的,下面就来讨论一下如何获取HTTP数据传输的过程信息。
通常,我们使用ITC控件提供的两种方法来下载Web页面,即OpenURL和Execute,其中,OpenURL方法最简单,但其功能有限,用这种方法并不能得到任何过程信息。为了用OpenURL方法获取Web页面内容,我们可以使用下面的代码:
strPageContent = Inet1.OpenURL(strURL, icString)
可见,用OpenURL方法下载页面确实很简单,但我们不能对到达的数据进行控制,所以,我们需要访问Winsock缓冲区,该缓冲区的功能是存储到达的数据。如果我们能够访问缓冲区内的数据,那么我们就能在传输过程中的任何时刻计算出已到达数据的大小。而利用ITC控件的Execute方法,情况就完全不同了,下面我们来看一下该方法是如何工作的:
'Execute方法只是向Web服务器发送HTTP请求,而本身并不接收任何数据
Inet1.Execute strURL, "GET"
为了检索已达到数据,我们需要使用GetChunk方法将缓冲区数据读到VB变量中。
strBuffer = Inet1.GetChunk(512)
strArrivedData = strArrivedData & strBuffer
可见,GetChnuk方法具有Size参数,允许我们自定义从缓冲区内读出数据块的大小。因此,我们找到了控制到达数据的方法,而且我们可以在下载过程中实现对已到达数据的控制。在StateChanged事件中加入如下代码:
Private Sub Inet1_StateChanged(ByVal State As Integer)
Select Case State
Case icResponseCompleted
Do
DoEvents
strBuffer = Inet1.GetChunk(512)
strArrivedData = strArrivedData & strBuffer
lngArrivedDataSize = Len(strArrivedData)
Loop Until Len(strBuffer) = 0
End Select
End Sub
OK!现在我们就能够显示已到达数据的大小了。但是如何获得下载数量的百分比值,然后通过进度条来显示下载过程呢?首先,我们需要在任何数据到达之前知道页面文件的大小。根据HTTP规范,Web服务器需要发送内容长度报头(Content-Length header field)作为HTTP请求的响应,通过这个值我们就可以知道页面文件的大小。我们可以在StateChanged事件中调用ITC控件的GetHeader方法来获取这个值,如下所示:
'This module level variable stores size of the file we are downloading from the web
Private m_lngDocSize As Long
Private Sub Inet1_StateChanged(ByVal State As Integer)
Select Case State
Case icResponseReceived
If m_lDocSize = 0 Then
If Len(Inet1.GetHeader("Content-Length")) > 0 Then
m_lDocSize = CLng(Inet1.GetHeader("Content-Length"))
End If
End If
End Select
End Sub
然而,在某些情况下,Web服务器并不发送内容长度报头,我们也就不能知道页面文件大小,也就不能显示进度信息了。
现在,我们来创建一个简单的应用程序来实现我们的目标。
创建工程
启动VB集成开发环境,创建一个标准Windows应用工程,将该工程命名为DownloadProgress,在Project菜单中打开Componets对话框(或按快捷键Ctrl+T激活),然后选中下列控件:
• Microsoft Internet Transfer Control
• Microsoft Rich Textbox Control
• Microsoft Windows Common Controls
选择保存目录,然后保存该工程。
创建图形用户界面
在窗体上放置下列控件:
• TextBox
• CommandButton
• 两个Frame控件
• Label
• ProgressBar
• RichTextBox
• Internet Transfer Control
如下图所示,在窗体上对以上控件进行布置。
编写应用程序代码
打开窗体的代码编辑器,在全局变量声明部分(General-Declarations)部分进行如下变量声明。
Private m_lngDocSize As Long
这个变量将用来存储我们将要下载的页面大小。
下面,我们将对命令按钮进行编码,在Command1_Click 事件中加入如下代码:
Private Sub Command1_Click()
'文件大小值复位
m_lngDocSize = 0
'清空rtbDocument的文本
rtbDocument.Text = ""
'复位进度条控件
ProgressBar1.Value = 0.001
'显示进度的标签内容设为空
lblProgressInfo.Caption = ""
'定义ITC控件使用的协议为HTTP协议
Inet1.Protocol = icHTTP
'调用Execute方法向Web服务器发送HTTP请求
If Len(txtURL.Text) > 0 Then
Inet1.Execute Trim$(txtURL.Text), "GET"
End If
End Sub
在命令按钮中,我们对各个控件的初值进行了复位,并向Web服务器发送了HTTP请求,该URL地址由用户键入到文本框中。在服务器开始响应时,我们需要处理ITC控件的StateChanged事件,从而获得内容长度报头,并获取随后传送过来的页面过程信息。
Private Sub Inet1_StateChanged(ByVal State As Integer)
Dim strText As String
Dim strBuffer As String
Dim sngProgerssValue As Single
On Error Resume Next
Select Case State
Case icResponseCompleted
Do '从缓冲区读取数据
DoEvents
strBuffer = Inet1.GetChunk(512)
strText = strText & strBuffer
If m_lngDocSize > 0 Then
If Len(strBuffer) > 0 Then
'获得进度百分比值
sngProgerssValue = Int((Len(strText) / m_lngDocSize) * 100)
End If
'更新进度标签显示内容
lblProgressInfo.Caption = "Downloaded " & CStr(Len(strText)) & _
" bytes (" & CStr(sngProgerssValue) & "%)"
'用新值更新进度条控件
ProgressBar1.Value = sngProgerssValue
End If
Loop Until Len(strBuffer) = 0
'将读取的HTML页面内容置入RichTextBox控件
rtbDocument.Text = strText
Case icResponseReceived
If m_lngDocSize = 0 Then
'读取页面文件大小
If Len(Inet1.GetHeader("Content-Length")) > 0 Then
m_lngDocSize = CLng(Inet1.GetHeader("Content-Length"))
End If
End If
End Select
End Sub
一切OK!按F5测试这个新完成的应用程序,在文本框内键入任意存在的URL地址,然后点击读取按钮,呵呵,成功了!(如果服务器发送了内容长度报头,我们就能看到结果,如果不发送,这个程序可就罢工了。)
下载源文件 http://www.ccw.com.cn/htm/app/down/020329.zip
互联网传输控件(ITC)是一个很不错的控件,我们可以利用它非常方便地检索Web资源,但不幸的是,该控件并没有提供跟踪数据传输过程的方法。如果ITC控件具有诸如DownloadProgress或者DataArrival这样的事件,而且该事件还具有相应的参数就好了,但可惜也没有。那么有没有方法来获取网页下载过程的信息呢?答案是肯定的,下面就来讨论一下如何获取HTTP数据传输的过程信息。
通常,我们使用ITC控件提供的两种方法来下载Web页面,即OpenURL和Execute,其中,OpenURL方法最简单,但其功能有限,用这种方法并不能得到任何过程信息。为了用OpenURL方法获取Web页面内容,我们可以使用下面的代码:
strPageContent = Inet1.OpenURL(strURL, icString)
可见,用OpenURL方法下载页面确实很简单,但我们不能对到达的数据进行控制,所以,我们需要访问Winsock缓冲区,该缓冲区的功能是存储到达的数据。如果我们能够访问缓冲区内的数据,那么我们就能在传输过程中的任何时刻计算出已到达数据的大小。而利用ITC控件的Execute方法,情况就完全不同了,下面我们来看一下该方法是如何工作的:
'Execute方法只是向Web服务器发送HTTP请求,而本身并不接收任何数据
Inet1.Execute strURL, "GET"
为了检索已达到数据,我们需要使用GetChunk方法将缓冲区数据读到VB变量中。
strBuffer = Inet1.GetChunk(512)
strArrivedData = strArrivedData & strBuffer
可见,GetChnuk方法具有Size参数,允许我们自定义从缓冲区内读出数据块的大小。因此,我们找到了控制到达数据的方法,而且我们可以在下载过程中实现对已到达数据的控制。在StateChanged事件中加入如下代码:
Private Sub Inet1_StateChanged(ByVal State As Integer)
Select Case State
Case icResponseCompleted
Do
DoEvents
strBuffer = Inet1.GetChunk(512)
strArrivedData = strArrivedData & strBuffer
lngArrivedDataSize = Len(strArrivedData)
Loop Until Len(strBuffer) = 0
End Select
End Sub
OK!现在我们就能够显示已到达数据的大小了。但是如何获得下载数量的百分比值,然后通过进度条来显示下载过程呢?首先,我们需要在任何数据到达之前知道页面文件的大小。根据HTTP规范,Web服务器需要发送内容长度报头(Content-Length header field)作为HTTP请求的响应,通过这个值我们就可以知道页面文件的大小。我们可以在StateChanged事件中调用ITC控件的GetHeader方法来获取这个值,如下所示:
'This module level variable stores size of the file we are downloading from the web
Private m_lngDocSize As Long
Private Sub Inet1_StateChanged(ByVal State As Integer)
Select Case State
Case icResponseReceived
If m_lDocSize = 0 Then
If Len(Inet1.GetHeader("Content-Length")) > 0 Then
m_lDocSize = CLng(Inet1.GetHeader("Content-Length"))
End If
End If
End Select
End Sub
然而,在某些情况下,Web服务器并不发送内容长度报头,我们也就不能知道页面文件大小,也就不能显示进度信息了。
现在,我们来创建一个简单的应用程序来实现我们的目标。
创建工程
启动VB集成开发环境,创建一个标准Windows应用工程,将该工程命名为DownloadProgress,在Project菜单中打开Componets对话框(或按快捷键Ctrl+T激活),然后选中下列控件:
• Microsoft Internet Transfer Control
• Microsoft Rich Textbox Control
• Microsoft Windows Common Controls
选择保存目录,然后保存该工程。
创建图形用户界面
在窗体上放置下列控件:
• TextBox
• CommandButton
• 两个Frame控件
• Label
• ProgressBar
• RichTextBox
• Internet Transfer Control
如下图所示,在窗体上对以上控件进行布置。
编写应用程序代码
打开窗体的代码编辑器,在全局变量声明部分(General-Declarations)部分进行如下变量声明。
Private m_lngDocSize As Long
这个变量将用来存储我们将要下载的页面大小。
下面,我们将对命令按钮进行编码,在Command1_Click 事件中加入如下代码:
Private Sub Command1_Click()
'文件大小值复位
m_lngDocSize = 0
'清空rtbDocument的文本
rtbDocument.Text = ""
'复位进度条控件
ProgressBar1.Value = 0.001
'显示进度的标签内容设为空
lblProgressInfo.Caption = ""
'定义ITC控件使用的协议为HTTP协议
Inet1.Protocol = icHTTP
'调用Execute方法向Web服务器发送HTTP请求
If Len(txtURL.Text) > 0 Then
Inet1.Execute Trim$(txtURL.Text), "GET"
End If
End Sub
在命令按钮中,我们对各个控件的初值进行了复位,并向Web服务器发送了HTTP请求,该URL地址由用户键入到文本框中。在服务器开始响应时,我们需要处理ITC控件的StateChanged事件,从而获得内容长度报头,并获取随后传送过来的页面过程信息。
Private Sub Inet1_StateChanged(ByVal State As Integer)
Dim strText As String
Dim strBuffer As String
Dim sngProgerssValue As Single
On Error Resume Next
Select Case State
Case icResponseCompleted
Do '从缓冲区读取数据
DoEvents
strBuffer = Inet1.GetChunk(512)
strText = strText & strBuffer
If m_lngDocSize > 0 Then
If Len(strBuffer) > 0 Then
'获得进度百分比值
sngProgerssValue = Int((Len(strText) / m_lngDocSize) * 100)
End If
'更新进度标签显示内容
lblProgressInfo.Caption = "Downloaded " & CStr(Len(strText)) & _
" bytes (" & CStr(sngProgerssValue) & "%)"
'用新值更新进度条控件
ProgressBar1.Value = sngProgerssValue
End If
Loop Until Len(strBuffer) = 0
'将读取的HTML页面内容置入RichTextBox控件
rtbDocument.Text = strText
Case icResponseReceived
If m_lngDocSize = 0 Then
'读取页面文件大小
If Len(Inet1.GetHeader("Content-Length")) > 0 Then
m_lngDocSize = CLng(Inet1.GetHeader("Content-Length"))
End If
End If
End Select
End Sub
一切OK!按F5测试这个新完成的应用程序,在文本框内键入任意存在的URL地址,然后点击读取按钮,呵呵,成功了!(如果服务器发送了内容长度报头,我们就能看到结果,如果不发送,这个程序可就罢工了。)
下载源文件 http://www.ccw.com.cn/htm/app/down/020329.zip
最新更新
python爬虫及其可视化
使用python爬取豆瓣电影短评评论内容
nodejs爬虫
Python正则表达式完全指南
爬取豆瓣Top250图书数据
shp 地图文件批量添加字段
爬虫小试牛刀(爬取学校通知公告)
【python基础】函数-初识函数
【python基础】函数-返回值
HTTP请求:requests模块基础使用必知必会
SQL SERVER中递归
2个场景实例讲解GaussDB(DWS)基表统计信息估
常用的 SQL Server 关键字及其含义
动手分析SQL Server中的事务中使用的锁
openGauss内核分析:SQL by pass & 经典执行
一招教你如何高效批量导入与更新数据
天天写SQL,这些神奇的特性你知道吗?
openGauss内核分析:执行计划生成
[IM002]Navicat ODBC驱动器管理器 未发现数据
初入Sql Server 之 存储过程的简单使用
uniapp/H5 获取手机桌面壁纸 (静态壁纸)
[前端] DNS解析与优化
为什么在js中需要添加addEventListener()?
JS模块化系统
js通过Object.defineProperty() 定义和控制对象
这是目前我见过最好的跨域解决方案!
减少回流与重绘
减少回流与重绘
如何使用KrpanoToolJS在浏览器切图
performance.now() 与 Date.now() 对比