C#教程之使用C#获取网页HTML源码的例子

当前位置:

首页 > c#编程 >

C#教程之使用C#获取网页HTML源码的例子

最近在做一个项目，其中一个功能是根据一个URL地址，获取到网页的源代码。在ASP.NET(C#)中，获取网页源代码貌似有很多种方法，我随便搞了一个简单的WebClient，非常简单容易。但后面一个非常恼火的问题出来了，那就是中文的乱码。

通过仔细研究，中文的网页不外乎GB2312和UTF-8这两种编码。于是有了下面这段代码：

复制代码代码如下:

	
	       /// <summary>

	       /// 根据网址的URL，获取源代码HTML

	       /// </summary>

	       /// <param name="url"></param>

	       /// <returns></returns>

	       public static string GetHtmlByUrl(string url)

	       {

	           using (WebClient wc = new WebClient())

	           {

	               try

	               {

	                   wc.UseDefaultCredentials = true;

	                   wc.Proxy = new WebProxy();

	                   wc.Proxy.Credentials = CredentialCache.DefaultCredentials;

	                   wc.Credentials = System.Net.CredentialCache.DefaultCredentials;

	                   byte[] bt = wc.DownloadData(url);

	                   string txt = System.Text.Encoding.GetEncoding("GB2312").GetString(bt);

	                   switch (GetCharset(txt).ToUpper())

	                   {

	                       case "UTF-8":

	                           txt = System.Text.Encoding.UTF8.GetString(bt);

	                           break;

	                       case "UNICODE":

	                           txt = System.Text.Encoding.Unicode.GetString(bt);

	                           break;

	                       default:

	                           break;

	                   }

	                   return txt;

	               }

	               catch (Exception ex)

	               {

	                   return null;

	               }

	           }

	       }

稍微解释一下，这里使用了WebClient创建了一个wc对象（这命名有点尴尬了）。然后调用wc对象的DownloadData方法，传入URL值，返回一个字节数组。默认使用GB2312来读取这个字节数组，把它转换成字符串。从网页源代码的字符串中查找网页的编码格式的特征字符，如找到charset="utf-8"这样的信息，来判断当前网页的编码格式。

GetCharset这个函数就是来获取当前网页的编码格式的，具体代码如下：

复制代码代码如下:

	      /// <summary>

	       /// 从HTML中获取获取charset

	       /// </summary>

	       /// <param name="html"></param>

	       /// <returns></returns>

	       public static string GetCharset(string html)

	       {

	           string charset = "";

	           Regex regCharset = new Regex(@"content=[""'].*\s*charset\b\s*=\s*""?(?<charset>[^""']*)", RegexOptions.IgnoreCase);

	           if (regCharset.IsMatch(html))

	           {

	               charset = regCharset.Match(html).Groups["charset"].Value;

	           }

	           if (charset.Equals(""))

	           {

	               regCharset = new Regex(@"<\s*meta\s*charset\s*=\s*[""']?(?<charset>[^""']*)", RegexOptions.IgnoreCase);

	               if (regCharset.IsMatch(html))

	               {

	                   charset = regCharset.Match(html).Groups["charset"].Value;

	               }

	           }

	           return charset;

	       }

感觉写得不是很好，先将就着用，呵呵。小编原创，转载注明，呵呵。

栏目列表