一、什么互联网

互联网（Internet）是全球范围内最大的计算机网络，它将数以百万计的私人、公共、学术、商业和政府网络通过一系列标准通信协议（如TCP/IP）连接起来形成的一个庞大的国际网络。

互联网的起源可以追溯到1969年，当时美国国防部高级研究计划局（ARPA）创建了ARPANET，用于军事和科研目的。经过几十年的发展，互联网已经渗透到社会的各个角落，成为现代社会信息交流、商务活动、教育、娱乐等不可或缺的基础设施。

互联网与传统行业结合，催生了新的经济社会发展形态——“互联网+”。这一概念最早由易观国际于2012年提出，旨在通过互联网平台和信息通信技术，将互联网与传统行业深度融合，从而创造新的发展生态。这种模式不仅优化了资源配置，提升了生产力，还推动了社会经济的全面进步。

此外，互联网受欢迎的原因还在于其低成本和高效率。具体来说，它能够降低交易成本，例如淘宝网通过缩短中间环节，使得商品价格更低。同时，互联网节约了时间，使人们可以在任何时间获取新闻、进行交流，而不再受传统媒体的时间限制。

总的来说，互联网作为当代最重要的技术和产业之一，已经深刻改变了人们的生活、工作和学习方式。从提供信息服务到推动经济发展，互联网在现代社会中扮演着不可替代的角色。未来，随着技术的不断进步和应用的深入，互联网将继续引领社会的创新和发展。

二.HTTP基本原理

我们会详细了解 HTTP 的基本原理，了解在浏览器中敲入 URL 到获取网页内容之间发生了什么。了解了这些内容，有助于我们进一步了解爬虫的基本原理。

什么是URI和URL和URN

现在看一下这三者的关系

URL统一资源定位符，而URN统一资源名称。

**URI（Uniform Resource Identifier，统一资源标识符）**是一个通用的概念，用于唯一标识一个资源。它包括了URL（Uniform Resource Locator，统一资源定位符）和URN（Uniform Resource Name，统一资源名称）。URL不仅标识资源，还提供了资源的位置信息，如协议类型（如HTTPS）、服务器地址、端口号以及资源的路径等。URN仅提供资源的名称，而不指定其位置，比如一本书的ISBN号就是一个URN，但它本身并不提供如何找到这本书的信息。

什么是超文本

超文本是一种通过超链接将不同文本信息组织在一起的网状文本，它允许用户在一个文档中点击链接以跳转到另一个文档或特定部分。这种非线性的信息组织方式极大地促进了信息的共享和传播，是现代万维网的核心技术之一。

超文本的概念最早由泰德·尼尔森在1960年代提出，它是一种能够链接不同文本的技术，用于信息的组织和检索。在万维网中，超文本通过HTML实现，使用标签定义超链接，并通过href属性指定链接的目标地址。超文本不仅包含文本，还可以涵盖图片、视频、音频等多媒体内容，这些内容也可以成为可点击的链接

HTTP 和 HTTPS

HTTP 的全称是 Hyper Text Transfer Protocol，中文名叫做超文本传输协议，HTTP 协议是用于从网络传输超文本数据到本地浏览器的传送协议，它能保证传送高效而准确地传送超文本文档。HTTP 由万维网协会（World Wide Web Consortium）和 Internet 工作小组 IETF（Internet Engineering Task Force）共同合作制定的规范，目前广泛使用的是 HTTP 1.1 版本。
HTTPS 的全称是 Hyper Text Transfer Protocol over Secure Socket Layer，是以安全为目标的 HTTP 通道，简单讲是 HTTP 的安全版，即 HTTP 下加入 SSL 层，简称为 HTTPS。

HTTPS 的工作原理

这张图片展示了一个基于HTTPS协议的客户端与服务器之间的通信流程。整个流程分为客户端发起请求、服务器响应和客户端处理响应三个主要部分。

客户端发起请求：

客户端通过浏览器访问https://www.runoob.com网站，向服务器发送一个HTTPS请求。
请求中包含公钥和私钥，用于加密和解密后续的通信内容。
服务器响应：

服务器接收到客户端的请求后，首先验证公钥和私钥是否匹配。
如果验证成功，服务器会生成一个新的随机密钥（key），并将其与公钥一起返回给客户端。
同时，服务器还会使用私钥对随机密钥进行加密，并将加密后的密钥发送给客户端。
客户端处理响应：

客户端收到服务器返回的公钥和加密后的随机密钥后，会使用私钥对其进行解密，以获取原始的随机密钥。
然后，客户端使用这个随机密钥对后续的通信内容进行加密，并将加密后的内容发送给服务器。
最后，服务器会使用之前生成的随机密钥对接收的内容进行解密，以获得原始信息。

HTTP的工作原理

HTTP 页面响应速度比 HTTPS 快，主要是因为 HTTP 使用 TCP 三次握手建立连接，客户端和服务器需要交换 3 个包，而 HTTPS除了 TCP 的三个包，还要加上 ssl 握手需要的 9 个包，所以一共是 12 个包。

下面是TCP的具体流程

第一次握手：客户端尝试连接服务器，向服务器发送 syn 包（同步序列编号Synchronize Sequence Numbers），syn=j，客户端进入 SYN_SEND 状态等待服务器确认
第二次握手：服务器接收客户端syn包并确认（ack=j+1），同时向客户端发送一个 SYN包（syn=k），即 SYN+ACK 包，此时服务器进入 SYN_RECV 状态
第三次握手：第三次握手：客户端收到服务器的SYN+ACK包，向服务器发送确认包ACK(ack=k+1），此包发送完毕，客户端和服务器进入ESTABLISHED状态，完成三次握手

HTTP 请求过程

我们在浏览器中输入一个 URL，回车之后便会在浏览器中观察到页面内容。实际上，这个过程是浏览器向网站所在的服务器发送了一个请求，网站服务器接收到这个请求后进行处理和解析，然后返回对应的响应，接着传回给浏览器。响应里包含了页面的源代码等内容，浏览器再对其进行解析，便将网页呈现了出来，模型如图所示

请求

接下来，我们开始了解，http请求
HTTP请求由以下三个主要部分组成：

1. 请求行：

   • 方法：最常用的HTTP方法包括GET、POST、PUT、DELETE等，这些方法定义了客户端与服务器之间的交互类型。例如，GET用于请求资源，POST用于提交数据。

   • URL：指定请求的资源路径，即希望访问的网页或资源在服务器上的位置。

   • 协议版本：表明客户端使用的HTTP版本，以确保服务器能够正确理解客户端的请求。

2. 请求头：
   按键值对形式提供额外的信息，以帮助服务器理解请求的具体需求和能力。

   • Host：指定请求的目的地域名，帮助服务器区分来自不同域名的请求。
   • User-Agent：描述发出请求的用户代理（通常为浏览器）的信息，包括操作系统、浏览器名称及版本等。
   • Accept：告知服务器客户端能够处理的内容类型，如文本、图片等。
   • Accept-Language：声明客户端优先接受的语言。
   • Authorization：包含用于身份验证的凭证，如Token或基本认证信息。
   • Cookie：携带网站为了识别用户而存储在客户端的小型文本文件。
   • Content-Type：当请求体包含实体时，指明媒体类型，如application/json、multipart/form-data等。
   • Content-Length：如果请求体存在，表示请求体的长度。

3. 请求体（可选）：
   实际的数据内容，通常在POST、PUT等请求中使用，向服务器发送所需的数据，如表单提交的数据。

总的来说，HTTP请求是一个结构化的数据包，它通过请求行、请求头和请求体的组合来传达客户端的需求和数据到服务器，使得服务器能够根据提供的信息做出适当的响应。

响应

HTTP响应是服务器对客户端请求的回复，它包括以下几个主要部分：

1. 状态行：

   • 协议版本：显示服务器使用的HTTP版本。
   • 状态码：表示请求的处理结果，五位数代码，如200表示成功，404表示未找到，500表示服务器内部错误。
   • 状态消息：为状态码提供文本描述，例如“OK”对于200状态码。

2. 响应头：

   • Date：响应生成的日期和时间。
   • Server：服务器软件的名称和版本。
   • Content-Type：响应主体的MIME类型，如text/html。
   • Content-Length：响应主体的长度，以字节为单位。
   • Connection：管理连接的方式，如关闭连接或保持连接。
   • Set-Cookie：服务器发送给客户端的Cookies，用于追踪会话或保存用户偏好设置。
   • Cache-Control：控制如何缓存响应的指令。
   • Expires：响应过期的日期和时间。
   • Location：重定向的URL（在状态码为3xx时常用）。

3. 响应体（可选）：
   实际的数据内容，如HTML页面、图片或其他媒体。

综上，HTTP响应通过这些组成部分向客户端传达了请求处理的结果和必要的数据，客户端根据这些信息可以进行进一步的处理，如展示页面或处理错误。

三.Web网页基础

网页的组成

结构（HTML）：用于描述页面的结构；

表现（CSS）：用于控制页面中元素的样式；

行为（JavaScript）：用于响应用户操作。

HTML是超文本标记语言（HyperText Markup Language）是一种用于创建网页的标准标记语言。HTML负责网页三个组成部分中的结构，HTML使用标签的形式来标识网页中的不同组成部分。所谓的超文本指的是超链接，使用超链接可以让我们从一个页面跳转到另一个页面。

CSS 是指层叠样式表 (Cascading Style Sheets)，样式定义如何显示HTML 元素，用于控制web页面的外观。CSS负责网页三个组成部分中的表现，样式通常保存在外部的 .css 文件中。我们只需要编辑一个简单的 CSS 文档就可以改变所有页面的布局和外观。

JavaScript 是脚本语言（简称"JS")，是一种轻量级的编程语言，用于控制网页的行为。JavaScript负责网页三个组成部分中的行为，可插入 HTML 页面的编程代码，JavaScript 插入 HTML 页面后，可由所有的现代浏览器执行。

网页的结构

我们首先用例子来感受一下 HTML 的基本结构。新建一个文本文件，名称可以自取，后缀为 html，内容如下：

       
 
 
Hello World
 
Hello, this is a paragraph.
 
 
   

这是一个基本的HTML网页结构，包括以下几个部分：

1. ：声明文档类型为HTML5。
2. ：HTML文档的根元素。
3. ：包含元信息，如字符集、标题等。
4. ：定义文档使用的字符编码为UTF-8。