HTML结构

HTML（HyperText Markup Language）是构建网页的基础语言。它通过标签（Tags）来定义网页的结构和内容。HTML文档的基本结构如下：

                              
这是标题
     
这是一个段落。
     这是一个链接    

基本标签介绍:

• : 声明文档类型，告诉浏览器这是一个HTML5文档。
• : HTML文档的根元素，表示整个HTML文档。
• : 包含页面的元数据，如编码、标题、样式等。
• : 声明文档的字符编码为UTF-8。

• Example Header

  This is a description paragraph.

  Example Link """ # 创建BeautifulSoup对象 soup = BeautifulSoup(html_doc, 'html.parser') # 提取标题 title = soup.title.string print(f"页面标题: {title}") # 提取一级标题 header = soup.h1.string print(f"一级标题: {header}") # 提取段落内容 description = soup.find('p', class_='description').string print(f"段落描述: {description}") # 提取链接 link = soup.find('a', id='example-link')['href'] print(f"链接地址: {link}")

  代码解释:

  1. 创建BeautifulSoup对象: 使用BeautifulSoup解析HTML文档。

  soup = BeautifulSoup(html_doc, 'html.parser')

  1. 提取标题: 使用soup.title.string提取文档的标题。

  title = soup.title.string print(f"页面标题: {title}")

  1. 提取一级标题: 使用soup.h1.string提取一级标题内容。

  header = soup.h1.string print(f"一级标题: {header}")

  1. 提取段落内容: 使用soup.find方法结合标签名和类名提取段落内容。

  description = soup.find('p', class_='description').string print(f"段落描述: {description}")

  1. 提取链接: 使用soup.find方法结合标签名和ID提取链接地址。

  link = soup.find('a', id='example-link')['href'] print(f"链接地址: {link}")

  BeautifulSoup常用方法

  • find(): 返回第一个符合条件的元素。

  soup.find('a')

  • find_all(): 返回所有符合条件的元素列表。

  soup.find_all('a')

  • select(): 使用CSS选择器选取元素。

  soup.select('a[href]')

  • get_text(): 获取元素的文本内容。

  soup.get_text()

  示例解析复杂HTML

  假设我们有一个更复杂的HTML文档：

                                
         
  Sample Header
         
  This is a sample description.
         
           Link 1         Link 2       
       
      

  我们可以编写以下代码来解析这个文档：

  from bs4 import BeautifulSoup  # 示例HTML html_doc = """                         
           
  Sample Header
           
  This is a sample description.
           
               Link 1             Link 2         
       
     """  # 创建BeautifulSoup对象 soup = BeautifulSoup(html_doc, 'html.parser')  # 提取标题 title = soup.title.string print(f"页面标题: {title}")  # 提取一级标题 header = soup.find('h1').string print(f"一级标题: {header}")  # 提取段落内容 description = soup.find('p', class_='description').string print(f"段落描述: {description}")  # 提取所有链接 links = soup.find_all('a', class_='external') for link in links:     href = link['href']     text = link.string     print(f"链接文本: {text}, 链接地址: {href}")

  代码解释:

  1. 提取所有链接: 使用soup.find_all('a', class_='external')提取所有带有class="external"的链接。
  2. 遍历链接: 遍历提取到的链接，获取链接文本和地址。

  结论

  本文详细介绍了HTML的基本结构和常见标签，解释了CSS选择器的作用和使用方法，并通过示例展示了如何使用BeautifulSoup解析HTML并提取数据。这些基础知识将帮助初学者理解和编写爬虫。在下一篇文章中，我们将进一步探讨处理复杂网页的方法。