Python爬虫:下载人生格言
创始人
2024-11-15 05:10:40
0次

Python爬虫:下载人生格言

爬取网页

在这里插入图片描述
将这些格言下载存储到本地

代码:
import requests #导入requests库,用于提取网页 from lxml import etree#导入lxml库,用于Xpath数据解析  #请求头 header={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0' }#每个浏览器的user-agent不一样,在浏览器中查找  url="http://m.3chongmen.com/renshenggeyan/162.html"#请求网址 res1=requests.get(url=url,headers=header).text html=etree.HTML(res1) title=html.xpath('//div[@class="title"]/h1/text()')[0]#数据解析,提取标题 content=html.xpath('//div[@class="content"]/text()')#数据解析,提取内容 content="".join(content) print(title) print(content) 
运行结果:

在这里插入图片描述

分析:
  • 导入requests库
    requests库是第三方库,要提前安装
    在这里插入图片描述
    输入指令进行安装
pip install requests 

*导入lxml库
输入指令

pip install lxml 
  • headers
    最简单的只用加上user-agent就可以了
    在这里插入图片描述
    鼠标右键,选择”检查“,点击”网络“,ctrl+R刷新页面,点击第一份文件,点击”标头“,滑到最下方查找”User-Agent“,复制到pycharm中即可

  • 数据解析Xpath
    在这里插入图片描述
    用requets获取的源代码如图,想要的信息就在这里面,我们需要提取出来,因此就要用到Xpath进行解析,要先学习一下Xpath语法和lxml库的使用,可以在网上查找相关资料

拓展

将目录下的所有人生格言提取并保存在本地
在这里插入图片描述

代码
import requests from lxml import etree  header={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0' }  def spider(url):     res1=requests.get(url=url,headers=header).text     html=etree.HTML(res1)     content=html.xpath('//div[@class="content"]/text()')     content="".join(content)     title=html.xpath('//div[@class="title"]/h1/text()')[0]     return title,content  url1="http://m.3chongmen.com/renshenggeyan" res=requests.get(url=url1,headers=header).text html=etree.HTML(res) links=html.xpath('//ul[@class="list_cnt"]//a[@target="_blank"]/@href')  for link in links:     title,content=spider(link)     with open(f'格言/{title}.txt','w',encoding='utf-8') as f:         f.write(title+'\n\n')         f.write(content) 
运行结果:

在这里插入图片描述
在这里插入图片描述

相关内容

热门资讯

重大发现透视器!东游大厅透视器... 重大发现透视器!东游大厅透视器多功能AI脚本,东游大厅总是有透视器脚本1、进入游戏-大厅左侧-新手福...
每日必备作弊器!六六互娱作弊器... 每日必备作弊器!六六互娱作弊器多功能AI插件,六六互娱好像存在有作弊器插件1、六六互娱破解器简单,六...
一分钟了解作弊器!战皇大厅作弊... 一分钟了解作弊器!战皇大厅作弊器多功能AI攻略,战皇大厅都是真的有作弊器攻略1、很好的工具软件,可以...
记者发布透视挂!天久大厅透视挂... 记者发布透视挂!天久大厅透视挂多功能AI软件,天久大厅都是真的是有透视挂软件一、天久大厅游戏安装教程...
推荐一款外挂!道游互娱外挂多功... 推荐一款外挂!道游互娱外挂多功能AI软件,道游互娱切实真的是有外挂软件1、完成道游互娱有辅助插件,帮...
如何分辨真伪作弊器!新棋联盟作... 如何分辨真伪作弊器!新棋联盟作弊器多功能AI插件,新棋联盟真是真的是有作弊器插件1、许多玩家不知道新...
一分钟了解透视器!螺旋互娱透视... 一分钟了解透视器!螺旋互娱透视器多功能AI教程,螺旋互娱果然真的是有透视器教程1、进入到螺旋互娱是否...
玩家爆料外挂!至友互娱外挂多功... 玩家爆料外挂!至友互娱外挂多功能AI教程,至友互娱确实真的有外挂教程1、很好的工具软件,可以解锁游戏...
总算了解透视器!新西游大厅透视... 总算了解透视器!新西游大厅透视器多功能AIapp,新西游大厅好像有透视器app1、新西游大厅破解器简...
2分钟细说辅助器!甘孜大厅辅助... 2分钟细说辅助器!甘孜大厅辅助器多功能AI攻略,甘孜大厅果然真的有辅助器攻略1、这是跨平台的甘孜大厅...