HttpStatusException: HTTP error 500fetching URL.

来源：蜘蛛抓取(WebSpider) 时间：2018-06-04 13:39 标签： HTTP error

java爬虫   常会遇到状态405错误因为大哆数wed服务器不允许静态文件响应post请求，只需要把post 改为get就可以运行.下面图片为更改后的结果

但是有些网站报403错误403是一种在網站访问的过程中，常见的错误提示表示资源不可用，服务器理解客户对的请求但是拒绝处理它，通常由服务器上文件或者目录的权限设置导致的web访问错误

所以我们给连接添加模拟浏览器的header：

推荐一款特别好用的抓包工具： fiddler

  • 爬取网站的时候 conn=Jsoup.connect(url).timeout(5000).get();直接用get方法,有些網站可以正常爬取但是有些网站报403错误,403是一种在网站访问的过程中,常见的错误提示。表示资源不可用,服务器理解客户对的请求,但是拒绝處理它,通常由服务器上文件或者目录的权限设置导致的web访问错误解决方法无非就是从这几个角度:useragent,referer,token,cokkie所以我们给连接添加模拟浏览器的header:co

我要回帖

更多关于 HTTP error 的文章

 

随机推荐