Python爬虫:下载人生格言
创始人
2024-11-15 05:10:40
0次

Python爬虫:下载人生格言

爬取网页

在这里插入图片描述
将这些格言下载存储到本地

代码:
import requests #导入requests库,用于提取网页 from lxml import etree#导入lxml库,用于Xpath数据解析  #请求头 header={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0' }#每个浏览器的user-agent不一样,在浏览器中查找  url="http://m.3chongmen.com/renshenggeyan/162.html"#请求网址 res1=requests.get(url=url,headers=header).text html=etree.HTML(res1) title=html.xpath('//div[@class="title"]/h1/text()')[0]#数据解析,提取标题 content=html.xpath('//div[@class="content"]/text()')#数据解析,提取内容 content="".join(content) print(title) print(content) 
运行结果:

在这里插入图片描述

分析:
  • 导入requests库
    requests库是第三方库,要提前安装
    在这里插入图片描述
    输入指令进行安装
pip install requests 

*导入lxml库
输入指令

pip install lxml 
  • headers
    最简单的只用加上user-agent就可以了
    在这里插入图片描述
    鼠标右键,选择”检查“,点击”网络“,ctrl+R刷新页面,点击第一份文件,点击”标头“,滑到最下方查找”User-Agent“,复制到pycharm中即可

  • 数据解析Xpath
    在这里插入图片描述
    用requets获取的源代码如图,想要的信息就在这里面,我们需要提取出来,因此就要用到Xpath进行解析,要先学习一下Xpath语法和lxml库的使用,可以在网上查找相关资料

拓展

将目录下的所有人生格言提取并保存在本地
在这里插入图片描述

代码
import requests from lxml import etree  header={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0' }  def spider(url):     res1=requests.get(url=url,headers=header).text     html=etree.HTML(res1)     content=html.xpath('//div[@class="content"]/text()')     content="".join(content)     title=html.xpath('//div[@class="title"]/h1/text()')[0]     return title,content  url1="http://m.3chongmen.com/renshenggeyan" res=requests.get(url=url1,headers=header).text html=etree.HTML(res) links=html.xpath('//ul[@class="list_cnt"]//a[@target="_blank"]/@href')  for link in links:     title,content=spider(link)     with open(f'格言/{title}.txt','w',encoding='utf-8') as f:         f.write(title+'\n\n')         f.write(content) 
运行结果:

在这里插入图片描述
在这里插入图片描述

相关内容

热门资讯

一分钟了解辅助器!新上游辅助器... 一分钟了解辅助器!新上游辅助器多功能AI教程,新上游都是是有辅助器教程1、新上游公共底牌简单,新上游...
玩家必备攻略作弊器!卡尔作弊器... 玩家必备攻略作弊器!卡尔作弊器多功能AI技巧,卡尔原来有作弊器技巧1、该软件可以轻松地帮助玩家将卡尔...
我来分享辅助器!百盛娱乐辅助器... 我来分享辅助器!百盛娱乐辅助器多功能AI软件,百盛娱乐果然真的是有辅助器软件1、百盛娱乐免费辅助多个...
玩家亲测作弊器!六六互娱作弊器... 玩家亲测作弊器!六六互娱作弊器多功能AI插件,六六互娱本来真的有作弊器插件1、点击下载安装,六六互娱...
分享实测透视挂!宝宝互娱透视挂... 分享实测透视挂!宝宝互娱透视挂多功能AI攻略,宝宝互娱总是真的有透视挂攻略1、金币登录送、破产送、升...
技术分享透视器!东游大厅透视器... 技术分享透视器!东游大厅透视器多功能AI脚本,东游大厅好像存在有透视器脚本1、进入游戏-大厅左侧-新...
一分钟了解作弊器!红月大厅作弊... 一分钟了解作弊器!红月大厅作弊器多功能AI方法,红月大厅本来存在有作弊器方法1、下载好红月大厅透视辅...
分享实测辅助!淘讯娱乐辅助多功... 分享实测辅助!淘讯娱乐辅助多功能AI工具,淘讯娱乐果然存在有辅助工具1、淘讯娱乐辅助器安装包、淘讯娱...
分享实测外挂!海贝之城外挂多功... 分享实测外挂!海贝之城外挂多功能AI脚本,海贝之城都是真的有外挂脚本海贝之城破解侠是真的助透视。每个...
分享个大家辅助!长盈互娱辅助多... 分享个大家辅助!长盈互娱辅助多功能AI软件,长盈互娱总是是真的有辅助软件所有人都在同一条线上,像星星...