HTTP探索之初学乍练

2021-04-12 10:25

阅读:658

标签:entity   记录访问日志   must   附件   获得   语义   nsf   缓存   软件   

一、什么是HTTP?

Hypertext Transfer Protocol(HTTP)协议(RFC7230)
一种无状态的、应用层、以请求/应答方式运行的协议,它使用可扩展的语义和自描述消息格式,与基于网络的超文本信息系统灵活的互动。
?

二、HTTP请求行与响应行

请求行格式(ABNF方式描述)

Request-line = method SP request-target SP HTTP-version CRLF

HTTP常见方法(RFC7231)

GET:主要的获取信息方法,大量的性能优化都针对该方法,幂等方法
HEAD:类似GET方法,但服务器不发送BODY,用以获取HEAD元数据,幂等方法
POST:常用于提交HTML FORM表单、新增资源等
PUT:更新资源,带条件时是幂等方法
DELETE:删除资源,幂等方法
CONNECT:建立tunnel隧道
OPTIONS:显示服务器对访问资源支持的方法,幂等方法
TRACE:回显服务器收到的请求,用于定位问题。有安全风险

Request-target

origin-form:后端请求资源的路径,为空时传递/
absolute-form:用于正向代理
authority-form:用于CONNECT方法
asterisk-form:用于OPTIONS方法

HTTP-version 版本号发展历史

HTTP/0.9:只支持GET,已过时
HTTP/1.0:RFC1945,1996,常见使用于代理服务器(例如NGINX默认配置)
HTTP/1.1:RFC2616,1999
HTTP/2.0:2015.5 正式发布?

?

响应行格式(ABNF方式描述)

Status-line = HTTP-version SP status-code SP reason-phrase CRLF
    status-code = 3DIGIT
        Reason-phrase=*(HTAB/SP/VCHAR/obs-text)

Status-code(响应码)分类

响应码规范:RFC6585(2012.4) RFC7231 (2014.6)
1xx:请求已经收到,需要进一步处理才能完成,HTTP1.0不支持

  • 100 Continue:上传大文件前使用
    • 由客户端发起请求中携带Expect:100-continue 头部触发
  • 101 Switch Protocols:协议升级使用
    • 由客户端发起请求中携带Upgrade:头部触发,如升级websocket或者http/2.0
  • 102 Processing:WedDAV请求可能包含许多设计文件操作的子请求,需要很长时间才能完成请求。该代码表示服务器已经收到并正在处理请求,但无响应可用。这样可以防止客户端超时,并假设请求丢失。

2xx:成功处理请求

  • 200 OK:成功返回响应
  • 201 Created:有新资源在服务器端被成功创建
  • 202 Accepted:服务器接收并开始处理请求,但请求未处理完成。这样一个模糊的概念是有意如此设计,可以覆盖更多的场景。例如异步‘需要长时间处理的任务。
  • 203 Non-Authoritative Information:当代理服务器修改了 origin server 的原始响应包体时(例如更换了HTML中的元素值),代理服务器可以通过修改200为203的方式告知客户端这一事实,方便客户端为这一行为作出相应的处理。203响应可以被缓存。
  • 204 No Content:成功执行了请求且不携带响应包体,并暗示客户端无需更新当前的页面视图
  • 205 Reset Content:成功执行了请求且不携带响应包体,同时指明客户端需要更新当前页面视图
  • 206 Partial Content:使用range协议时返回部分响应内容时的响应码
  • 207 Multi-Status:RFC4918 ,在WEBDAV协议中以XML返回多个资源的状态
  • 208 Already Reported:RFC5842,为避免相同集合下资源在207响应码下重复上报,使用208可以使用父集合的响应码

?
3xx:重定向使用Location指向的资源或者缓存中的资源。在RFC2068中规定客户端重定向次数不应超过5次,以防止死循环

  • 300 Multiple Choices:资源有多种表述,通过300返回给客户端后由其自行选择访问哪一种表述。由于缺少明确的细节,300很少使用
  • 301 Moved Permanently:资源永久性的重定向到另一个URI中
  • 302 Found:资源临时的重定向到另一个URI中
  • 303 See Other:重定向到其他资源,常用于POST/PUT等方法的响应中
  • 304 Not Modified:当客户端拥有可能过期的缓存时,会携带缓存的标识etag、时间等信息询问服务器缓存是否仍可复用,而304是告诉客户端可以复用缓存
  • 307 Temporary Redirect:类似302,但明确重定向后请求方法必须与原请求方法相同,不得改变
  • 308 Permanent Redirect:类似301,但明确重定向后请求方法必须与原请求方法相同,不得改变

4xx:客户端出现错误

  • 400 Bad Request:服务器认为客户端出现了错误,但不能明确判断为以下哪种错误时使用此错误码。例如HTTP请求格式错误
  • 401 Unauthorized:用户认证信息缺失或者不正确,导致服务器无法处理请求
  • 407 Proxy Authentication Required:对需要经由代理的请求,认证信息未通过代理服务器的验证
  • 403 Forbidden:服务器理解请求的含义,但没有权限执行此请求
  • 404 Not Found:服务器没有找到对应的资源
  • 410 Gone:服务器没有找到对应的资源,且明确的知道该位置永久性找不到该资源
  • 405 Method Not Allowed:服务器不支持请求行中的method方法
  • 406 Not Acceptable:对客户端指定的资源表述不存在(例如对语言或者编码有要求),服务器返回表述列表供客户端选择
  • 408 Request Timeout:服务器接收请求超时
  • 409 Conflict:资源冲突,例如上传文件时目标位置已经存在版本更新的资源
  • 411 Length Required:如果请求含有包体且未携带Content-Length头部,且不属于chunk类请求时,返回411
  • 412 Precondition Failed:复用缓存时传递的If-Unmodified-Since或If-None-Match头部不被满足
  • 413 Payload Too Large/Request Entity Too Large:请求的包体超出服务器能处理的最大长度
  • 414 URI Too Long:请求的URI超出服务器能接受的最大长度
  • 415 Unsupported Media Type:上传的文件类型不被服务器支持
  • 416 Range Not Satisfiable:无法提供Range 请求中指定的那段包体
  • 417 Expectation Failed:对于Expect请求头部期待的情况无法满足时的响应码
  • 421 Misdirected Request:服务器认为这个请求不该发给它,因为他没有能力处理
  • 426 Upgrade Required:服务器拒绝基于当前HTTP协议提供服务,通过Upgrade头部告知客户端必须升级协议才能继续处理
  • 428 Precondition Required:用户请求中缺失了条件类头部,例如If-Match
  • 429 Too Many Requests:客户端发送请求的速率过快
  • 431 Request Header Fields Too Large:请求的HEADER头部大小超过限制
  • 451 Unavailable For Legal Reasons: RFC7725,由于法律原因资源不可访问

5xx:服务器端出现错误

  • 500 Internal Server Error:服务器内部错误,且不属于以下错误类型
  • 501 Not Implemented:服务器不支持实现请求所需要的功能
  • 502 Bad Gateway:代理服务器无法获取到合法响应
  • 503 Service Unavailable:服务器资源尚未准备好处理当前请求
  • 504 Gateway Timeout:代理服务器无法及时的从上游获得响应
  • 505 HTTP Version Not Supported:请求使用的HTTP协议版本不支持
  • 507 Insufficient Storage:服务器没有足够的空间处理请求
  • 508 Loop Detected:访问资源是检测到循环
  • 511 Network Authentication Required:代理服务器发现客户端需要进行身份验证才能获得网络访问权限

三、HTTP/1.1

1、connection头部

connection:keep-alive 长连接(HTTP/1.1默认使用长连接,keep-alive无意义)
connection:close 短连接
?

2、host头部

HTTP/1.1规范要求,不传递Host头部则返回400错误响应码
host头部用于http消息在服务器端路由
Host头部与消息的路由

1、建立TCP连接
    确定服务器的IP地址
2、接收请求
3、寻找虚拟主机
    匹配Host头部与域名
4、寻找URI的处理代码
    匹配URI
5、执行处理请求的代码
    访问资源
6、生成HTTP响应
    各中间件基于PF架构串行修改响应
7、发送HTTP响应
8、记录访问日志

?

3、代理服务器转发消息时的头部

X-Forwarded-For:用于代理服务器传递IP
X-Real-IP:用于传递用户IP
Max-Forwards:限制Proxy代理服务器的最大转发次数,仅对TRACE/OPTIONS方法有效
Via:指明经过的代理服务器名称及版本
Cache-Control:禁止代理服务器修改响应包体
?

4、请求与响应上下文头部

User-Agent:指明客户端的类型信息,服务器可以据此对资源的表述做抉择
Referer:浏览器对来自某一页面的请求自动添加的头部
From:主要用于网络爬虫,告诉服务器如何通过邮件联系到爬虫的负责人
Server:指明服务器上所用软件的信息,用于帮助客户端定位问题或统计数据
Allow:告诉客户端,服务器上该URI对应的资源允许哪些方法的执行
Accept-Ranges:告诉客户端服务器上该资源是否允许range请求(允许服务器基于客户端的请求只发送响应包体的一部分给到客户端,而客户端自动将多个片段的包体组合成完整的体积更大的包体)
?

5、内容协商与资源表述

Accept-Encoding:内容编码,主要指压缩算法协商
Accept-Language:语言协商
Content-type:资源表述,媒体类型、编码
Content-encoding:资源表述,内容编码
Content-Language:资源表述,语言
?

6、HTTP包体传输头部

Content-Length:使用Content-Length头部明确指出包体长度
Transfer-Encoding:指明使用Chunk 传输方式,含Transfer-Encoding 头部后Content-Length头部应被忽略
TE头部:客户端在请求在声明是否接受Trailer头部
Trailer头部:服务器告知接下来chunk包体会传输哪些Trailer头部

        以下头部不允许出现在Trailer 的值中:
        用于信息分帧的首部(例如Transfer-Encoding 和Content-Length)
        用于路由用途的首部(例如Host)
        请求修饰首部(例如控制类和条件类的,如Cache-Control, Max-Forwards, 或者TE)
        身份验证首部(例如Authorization或者Set-Cookie)
        Content-Encoding, Content-Type, Content-Range, 以及Trailer 自身

?

7、Content-Disposition 头部(RFC6266)

disposition-type =" inline"|" attachment"| disp-ext-type
inline: 指定包体是以inline 内联的方式,作为页面的一部分展示
attachment: 指定浏览器将包体以附件的方式下载
在multipart/form-data类型应答中,可以用于子消息体部分
?

8、Cookie与Set-Cookie头部

Cookie-header:Cookie头部中可以存放多个name/value 名值对
Set-Cookie:Set-Cookie头部一次只能传递1个name/value名值对,响应中可以包含多个头部
?

9、跨域请求资源请求头部

Access-Control-Request-Method:在preflight预检请求(OPTIONS)中,告知服务器接下来的请求会使用哪些方法
Access-Control-Request-Headers:在preflight预检请求(OPTIONS)中,告知服务器接下来的请求会传递哪些头部
?

10、跨域请求资源响应头部

Access-Control-Allow-Methods:在preflight预检请求的响应中,告知客户端后续请求允许使用的方法
Access-Control-Allow-Headers:在preflight预检请求的响应中,告知客户端后续请求允许携带的头部
Access-Control-Max-Age:在preflight预检请求的响应中,告知客户端该响应的信息可以缓存多久
Access-Control-Expose-Headers:告知浏览器哪些响应头部可以供客户端使用,默认情况下只有Cache-Control.、Content-Language、Content-Type、Expires、 Last-Modified、Pragma 可供使用
Access-Control-Allow-Origin:告知浏览器允许哪些域访问当前资源, *表示允许所有域。 为避免缓存错乱,响应中需要携带Vary: Origin
Access-Control-Allow-Credentials:告知浏览器是否可以将Credentials暴露给客户端使用,Credentials包含cookie、 authorization类头部、TLS证书等。
?

11、验证器响应头部

Etag:给出当前资源表述的标签
Last-Modified:表示对应资源表述的上次修改时间
?

12、验证请求与响应头部

验证请求
若缓存响应中含有Last-Modified头部

If-Unmodified-Since
If-Modified-Since
If-Range

若缓存响应中含有Etag头部

If-None-Match
If-Match
If-Range

?

13、缓存相关头部

Age:Age表示自源服务器发出响应(或者验证过期缓存) ,到使用缓存的响应发出时经过的秒数
Cache-Control:缓存控制头部
Cache-Control头部在请求中的值

Max-age:告诉服务器,客户端不会接受Age超出max-age秒的缓存
Max-stale:告诉服务器,即使缓存不再新鲜,但陈旧秒数没有超出max-stale时,客户端扔打算使用。若max-stale后没有值,则表示无论过期多久客户端都可使用
Min-fresh:告诉服务器,Age至少经过min-fresh秒后缓存才可使用
No-cache:告诉服务器,不能直接使用已有缓存作为响应返回,除非带着缓存条件到上游服务端得到304验证返回码才可使用现有缓存
No-store:告诉各代理服务器不要对该请求的响应缓存(实际有不少不遵守该规定的代理服务器)
No-transform:告诉代理服务器不要修改消息包体的内容
Only-if-cached:告诉服务器仅能返回缓存的响应,否则若没有缓存则返回504错误码

?
Cache-Control头部在响应中的值

Must-revalidate:告诉客户端一旦缓存过期,必须向服务器验证后才可使用
Proxy-revalidate:与Must-revalidate类似,但它仅对代理服务器的共享缓存有效
No-cache:告诉客户端不能直接使用缓存的响应,使用前必须在源服务器验证得到304返回码。如果no-cache后指定头部,则若客户端的后续请求及响应中不含有这些头则可直接使用缓存
Max-age:告诉客户端缓存Age超出max-age秒后则缓存过期
S-maxage:与max-age相似,但仅对共享缓存,且优先级高于max-age和Expires
public:表示无论私有缓存或者共享缓存,皆可将该响应缓存
private:表示该响应不能被代理服务器作为共享缓存使用。若private后指定头部,则在告诉代理服务器不能缓存指定的头部,但可缓存其他部分
No-store:告诉所有下游节点不能对响应进行缓存
No-transform:告诉代理服务器不能修改消息包体的内容

?

14、重定向头部

Location :当浏览器接收到重定向响应码时,需要读取响应头部Location头部的值,获取到新的URI再跳转访问该页面
?
参考文章:http://taohui.pub/

HTTP探索之初学乍练

标签:entity   记录访问日志   must   附件   获得   语义   nsf   缓存   软件   

原文地址:https://blog.51cto.com/jiayimeng/2475014


评论


亲,登录后才可以留言!