Python爬虫:下载人生格言
创始人
2024-11-15 05:10:40
0次

Python爬虫:下载人生格言

爬取网页

在这里插入图片描述
将这些格言下载存储到本地

代码:
import requests #导入requests库,用于提取网页 from lxml import etree#导入lxml库,用于Xpath数据解析  #请求头 header={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0' }#每个浏览器的user-agent不一样,在浏览器中查找  url="http://m.3chongmen.com/renshenggeyan/162.html"#请求网址 res1=requests.get(url=url,headers=header).text html=etree.HTML(res1) title=html.xpath('//div[@class="title"]/h1/text()')[0]#数据解析,提取标题 content=html.xpath('//div[@class="content"]/text()')#数据解析,提取内容 content="".join(content) print(title) print(content) 
运行结果:

在这里插入图片描述

分析:
  • 导入requests库
    requests库是第三方库,要提前安装
    在这里插入图片描述
    输入指令进行安装
pip install requests 

*导入lxml库
输入指令

pip install lxml 
  • headers
    最简单的只用加上user-agent就可以了
    在这里插入图片描述
    鼠标右键,选择”检查“,点击”网络“,ctrl+R刷新页面,点击第一份文件,点击”标头“,滑到最下方查找”User-Agent“,复制到pycharm中即可

  • 数据解析Xpath
    在这里插入图片描述
    用requets获取的源代码如图,想要的信息就在这里面,我们需要提取出来,因此就要用到Xpath进行解析,要先学习一下Xpath语法和lxml库的使用,可以在网上查找相关资料

拓展

将目录下的所有人生格言提取并保存在本地
在这里插入图片描述

代码
import requests from lxml import etree  header={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0' }  def spider(url):     res1=requests.get(url=url,headers=header).text     html=etree.HTML(res1)     content=html.xpath('//div[@class="content"]/text()')     content="".join(content)     title=html.xpath('//div[@class="title"]/h1/text()')[0]     return title,content  url1="http://m.3chongmen.com/renshenggeyan" res=requests.get(url=url1,headers=header).text html=etree.HTML(res) links=html.xpath('//ul[@class="list_cnt"]//a[@target="_blank"]/@href')  for link in links:     title,content=spider(link)     with open(f'格言/{title}.txt','w',encoding='utf-8') as f:         f.write(title+'\n\n')         f.write(content) 
运行结果:

在这里插入图片描述
在这里插入图片描述

相关内容

热门资讯

一分钟了解辅助!新518互游辅... 一分钟了解辅助!新518互游辅助多功能AI软件,新518互游真是真的是有辅助软件1、新518互游辅助...
终于清楚开挂!卡米大厅开挂多功... 终于清楚开挂!卡米大厅开挂多功能AI方法,卡米大厅其实存在有开挂方法1、下载好卡米大厅正确养号方法之...
六分钟了解作弊器!玄灵大厅作弊... 六分钟了解作弊器!玄灵大厅作弊器多功能AI软件,玄灵大厅真是有作弊器软件1、很好的工具软件,可以解锁...
一起来讨论外挂!椰子大厅外挂多... 一起来讨论外挂!椰子大厅外挂多功能AI攻略,椰子大厅原来是真的有外挂攻略1、椰子大厅辅助软件下载优化...
玩家必看教程辅助!鲨鱼众娱辅助... 玩家必看教程辅助!鲨鱼众娱辅助多功能AI攻略,鲨鱼众娱一直真的是有辅助攻略1、许多玩家不知道鲨鱼众娱...
盘点一款开挂!皇豪大厅开挂多功... 盘点一款开挂!皇豪大厅开挂多功能AI攻略,皇豪大厅确实是真的有开挂攻略1、进入到皇豪大厅是否有挂之后...
教学盘点辅助器!老夫子大厅辅助... 教学盘点辅助器!老夫子大厅辅助器多功能AI攻略,老夫子大厅竟然真的是有辅助器攻略1、该软件可以轻松地...
热点推荐透视挂!嗨玩娱乐麻将透... 热点推荐透视挂!嗨玩娱乐麻将透视挂多功能AI软件,嗨玩娱乐麻将本来真的是有透视挂软件1、下载好嗨玩娱...
一分钟揭秘作弊器!黑莓大厅作弊... 一分钟揭秘作弊器!黑莓大厅作弊器多功能AI教程,黑莓大厅本来是真的有作弊器教程1、首先打开黑莓大厅辅...
玩家必看科普开挂!七天娱乐开挂... 玩家必看科普开挂!七天娱乐开挂多功能AIapp,七天娱乐竟然存在有开挂app1、七天娱乐公共底牌简单...