使用软件开发的工具抓取网页内容时，WebClient.openread或HttpWebResponse出现“远程服务器返回错误: (403) 已禁止”的错误，这种情况怎么处理呢？通常网页的内容在浏览器是可以正常访问的，那么肯定是软件开发时模拟浏览器访问的参数和真实浏览器访问时参数有不同。

以WebClient类使用为例，加入以下请求的头部信息，就可以解决这个问题：          

webclient.Headers.Add("Accept", "image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*");
webclient.Headers.Add("User-Agent", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)");

详细的请求标头参数介绍如下：

Accept：浏览器可接受的MIME类型。 　　　

Accept-Charset：浏览器可接受的字符集。　　　

Accept-Encoding：浏览器能够进行解码的数据编码方式，比如gzip。Servlet能够向支持gzip的浏览器返回经gzip编码的HTML页面。许多情形下这可以减少5到10倍的下载时间。

Accept-Language：浏览器所希望的语言种类，当服务器能够提供一种以上的语言版本时要用到。　　　

 Authorization：授权信息，通常出现在对服务器发送的WWW-Authenticate头的应答中。　　　    

Connection：表示是否需要持久连接。如果Servlet看到这里的值为“Keep-Alive”，或者看到请求使用的是 HTTP   1.1（HTTP   1.1默认进行持久连接），它就可以利用持久连接的优点，当页面包含多个元素时（例如Applet，图片），显著地减少下载所需要的时间。要实现这一 点，Servlet需要在应答中发送一个Content-Length头，最简单的实现方法是：先把内容写入 ByteArrayOutputStream，然后在正式写出内容之前计算它的大小。　　　

Content-Length：表示请求消息正文的长度。　　　

Cookie：这是最重要的请求头信息之一　　　

From：请求发送者的email地址，由一些特殊的Web客户程序使用，浏览器不会用到它。　　　

Host：初始URL中的主机和端口。　　　

If-Modified-Since：只有当所请求的内容在指定的日期之后又经过修改才返回它，否则返回304“Not  Modified”应答。　　　

Pragma：指定“no-cache”值表示服务器必须返回一个刷新后的文档，即使它是代理服务器而且已经有了页面的本地拷贝。　　　

Referer：包含一个URL，用户从该URL代表的页面出发访问当前请求的页面。　　　

User-Agent：浏览器类型，如果Servlet返回的内容与浏览器类型有关则该值非常有用。　　　

UA-Pixels，UA-Color，UA-OS，UA-CPU：由某些版本的IE浏览器所发送的非标准的请求头，表示屏幕大小、颜色深度、操作系统和CPU类型。

合肥开拓科技，为您提供营销型网站建设、软件开发和网站推广服务http://www.kt00.com,联系QQ：2324139718