http request

get or post requests

  1. 服务端渲染
  2. 客户端渲染
    第一次请求 html 框架,第二次请求数据。

如何获取第二次请求方式?

请求:

  1. 请求行
  2. 请求头
  3. 请求体

响应:

  1. 状态行
  2. 响应头
  3. 响应体

数据解析

  1. re 正则表达式
  2. bs4
  3. xpath

Proxy

根据支持的协议分类:
HTTP 代理:主要用于普通的网页浏览,可以转发 HTTP 请求(详见:HTTP 请求方法)。
SSL/HTTPS 代理:支持 HTTPS 协议,可以为使用 SSL 加密的网站提供安全的数据传输。(安全性较高的匿名浏览的好选择)
Socket4/5 代理:Socks4 和 Socks5 支持更多的网络协议,不仅限于 HTTP 和 HTTPS,适用于更广泛的网络请求。(支持多种协议代理的好选择)

Socket4:只支持 TCP 协议,不支持 UDP 协议,也不支持域名解析(DNS)。
Socket5:支持 TCP 和 UDP 协议,支持多种身份验证机制,以及服务器端域名解析。(可以完成 socket4 所有网络请求,首选)

根据匿名程度分类:
透明代理 (Transparent Proxy):服务器知道你是谁,网站也可以知道你的真实 IP 从而判断在使用代理。
匿名代理 (Anonymous Proxy):网站无法知道你的真实 IP,但可以判断你正在使用代理。
混淆代理 (Distorting Proxy):会混淆你的真实 IP,同时报告给网站一个虚假的 IP 地址。
高度匿名代理 (Elite Proxy):对方完全无法得知你的真实 IP,网站无法检测到正在使用代理。

Thread

多线程 执行单位
多进程 资源单位,每个进程至少要有一个线程
协程 当程序进行 io 操作时,可以使用协程

video

# 用户上传 -> 转码 -> 切片(切片信息文件,m3u文本)

1. 通过各种手段找到`m3u8`文件
2. 通过m3u8下载`ts`文件
3. 通过各种手段把ts文件合并为`mp4`文件