据魔方格专家权威分析试题“現代世界的形成材料一:20世纪部分大事年表年代世界大事1914~)原创内容,未经允许不得转载!
网络爬虫抓取过程可以理解为模擬浏览器操作的过程
浏览器的主要功能是向服务器发出请求,在浏览器窗口中展示您选择的网络资源HTTP是一套计算机通过网络进行通信嘚规则。
HTTP通信由两部分组成: 客户端请求消息 与 服务器响应消息
浏览器发送HTTP请求的过程:
的时候浏览器发送一个Request请求去获取 的html文件,服務器把Response文件对象发送回给浏览器
POST请求参数在请求体当中,消息长度没有限制而且以隐式的方式进行发送通常用来向HTTP服务器提交量比较夶的数据(比如请求中包含许多参数或者文件上传操作等),请求的参数包含在“Content-Type”消息头里指明该消息体的媒体类型和编码,
注意:避免使用Get方式提交表单因为有可能会导致安全问题。 比如说在登陆表单中用Get方式用户输入的用户名和密码将在地址栏中暴露无遗。
Host:對应网址URL中的Web名称和端口号用于指定被请求资源的Internet主机和端口号,通常属于URL的一部分
Connection:表示客户端与服务连接类型
识别图中二维码,欢迎关注python宝典