---

👉博__主👈：米码收割机
👉技__能👈：C++/Python语言
👉公众号👈：测试开发自动化【获取源码+商业合作】
👉荣__誉👈：阿里云博客专家博主、51CTO技术博主
👉专__注👈：专注主流机器人、人工智能等相关领域的开发、测试技术。

系列文章目录

---

目录

• 系列文章目录
• 一、网页分析
• • • 导入模块
    • 初始化CSV文件
    • 爬取数据
    • 设置请求头
    • 发送请求并解析数据
    • 正则表达式解析
    • 写入excel文件
• 二、数据分析可视化

一、网页分析

爬取2345天气王网页的数据，进行数据分析可视化：

主要爬取了，主要包含日期、最高气温、最低气温、天气、风力风向等数据信息。

👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “ 气候版本二 ” 获取。👈👈👈

这段Python代码主要用于从网站上抓取历史天气数据并保存到本地的CSV文件中。下面逐块解释每部分代码的功能：

导入模块

import re import csv import requests 

• re: 用于处理正则表达式，这在解析网页内容时非常有用。
• csv: 用于读写CSV文件，这里主要用于保存抓取的数据。
• requests: 用于发起网络请求，获取网页数据。

初始化CSV文件

with open('weather_data.csv', 'a', newline='', encoding='utf-8') as file:     writer = csv.writer(file)     writer.writerow(['日期', '最高温', '最低温', '天气', '风力风向'])     file.close() 

• 这部分代码打开（或创建）一个名为weather_data.csv的文件，并设置为追加模式（'a'）。
• 用csv.writer创建一个CSV写入器，然后写入表头，包括日期、最高温、最低温、天气和风力风向。
• 文件使用UTF-8编码，以支持中文字符。
• newline=''用于防止在写入行之间产生额外的空行。

爬取数据

for i in range(2011, 2025):     for j in range(1, 13):         url = f"https://tiaxxxx.com" 

• 使用双层循环遍历从2011年到2023年的每个月。
• 构造URL以根据年份和月份请求对应的历史天气数据。

👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “ 气候版本二 ” 获取。👈👈👈

设置请求头

headers = { ... } 

• headers字典包含了众多HTTP头部信息，这些信息用于模拟浏览器请求，避免被服务器识别为爬虫。

发送请求并解析数据

res = requests.get(url=url, headers=headers) text = res.json()['data'].replace('\n', '').replace(' ', '') 

• 使用requests.get向构造的URL发送请求，传入之前设置的headers。
• 从响应中提取JSON格式的数据，并进一步获取其中的data字段。然后移除响应中的换行符和空格，方便后续的数据处理。

👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “ 气候版本二 ” 获取。👈👈👈

正则表达式解析

if i <= 2015:     pattern = r'(.*?)]*">(.*?)]*">(.*?)(.*?)(.*?)' else:     pattern = r'(.*?)]*">(.*?)]*">(.*?)(.*?)(.*?)' 

• 根据不同的年份选择不同的正则表达式模式。尽管这里两个模式看起来一样，实际使用中可能有微小的差别。
• 正则表达式用于解析HTML中的表格数据。

写入excel文件

matches = re.findall(pattern, text, re.S) with open('weather_data.csv', 'a', newline='', encoding='utf-8') as file:     writer = csv.writer(file)     for match in matches:         writer.writerow(match) 

• re.findall使用先前定义的正则表达式模式从网页内容中提取数据。
• 提取的每条数据作为一个元组存储在matches中。
• 遍历matches，将每个匹配项写入CSV文件中。

👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “ 气候版本二 ” 获取。👈👈👈

二、数据分析可视化

1. 饼状图（温度区间分布）：
   • 这张饼状图展示了数据集中的最高温度分布在三个不同的温度区间（低温、中温、高温）中的比例。
   • 通过这张图，我们可以快速了解大部分时间内最高温度主要集中在哪个区间。例如，如果大部分温度都在中温区间，这可能意味着该地区的气候较为温和。
   • 饼图还可以帮助识别极端天气条件的频率，例如低温或高温天气的出现比例。

👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “ 气候版本二 ” 获取。👈👈👈

2. 柱状图（最高气温前10名）：
   • 该柱状图显示了从15年间记录的最高温度的前10个最高值及其对应的日期。
   • 这可以帮助我们识别特定年份中出现极端高温的具体日期，有助于分析可能的季节性高温模式或异常气候事件。
   • 柱状图还可以用来评估最高温度的变化范围，了解这些极端高温事件之间的温度差异。
     

👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “ 气候版本二 ” 获取。👈👈👈

3. 散点图（所有温度散点图）：
   • 散点图展示了整个时间段内所有记录的最高温和最低温数据点。
   • 通过这种图表，我们可以观察到温度随时间的变化趋势，包括季节性变化和年度变化。
   • 这张图还可以揭示温度波动的模式，比如某些特定月份或年份是否存在温度异常。
   • 分析最高温和最低温之间的关系，可以帮助我们了解夜间和白天的温差，这对于评估日温差和潜在的农业或健康影响尤为重要。
     

👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “ 气候版本二 ” 获取。👈👈👈

1. 年度平均最高温和最低温变化：
   • 该图展示了每年的平均最高温度和平均最低温度。
   • 通过这张图，我们可以观察到每年的温度波动趋势，分析温度随时间的长期变化情况。
   • 折线图可以揭示出温度随季节或年份变化的趋势，比如是否有逐年上升或下降的模式。
   • 同时，图中也可能显示出特定年份的异常温度变化，这可能与特定的气候事件或环境因素有关。
   • 通过同时展示每年的平均最高温和平均最低温，可以对比分析在同一年内温差的变化。
   • 这种对比有助于了解不同季节之间的温差变化，特别是在考虑到气候变暖或冷却趋势的情况下。
     

👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “ 气候版本二 ” 获取。👈👈👈