爬虫:xpinyin模块,requests-html使用和json模块
创始人
2024-11-15 10:05:41
0

目录

xpinyin模块

requests-html使用

json模块


xpinyin模块

# pip install xpinyin -i https://pypi.tuna.tsinghua.edu.cn/simple  import xpinyin  pyin = xpinyin.Pinyin()  print(pyin.get_pinyin('回车'))#hui-che print(pyin.get_pinyin('回车',''))#hui che print(pyin.get_pinyin('回车',' ',tone_marks='marks'))#huí chē  # 获取大写的首字母 print(pyin.get_initial('回'))#H print(pyin.get_initials('回车'))#H-C print(pyin.get_initials('回车',' '))#H C

requests-html使用

# pip install requests-html -i https://pypi.tuna.tsinghua.edu.cn/simple #这个模块自带ua,默认了utf8的编码格式,会自动保存并携带cookie 也就是有会话维持的功能 from requests_html import HTMLSession  session = HTMLSession() #这句相当于requests.session()  url = 'https://699pic.com/tupian/128830.html'  response = session.get(url) # print(response.text) # print(response.html.links) #获取页面中所有的链接 # print(response.html.absolute_links) #获取页面中所有绝对路径的链接

json模块

import json  """ 两个带s的都和字符串相关 两个不带s的和json文件相关 json.dumps():将所有基本类型的数据转换成字符串,其中字典转换来的数据也可以叫json数据,如果被转换的数据原本是元组的话,那么转换之后元组的小括号会变成列表的中括号 json.dump():将字典转换而来的json数据存到json文件里面 json.load():将json文件里面的json数据读取出来并且转换成字典 json.loads():将json转换成字典 """  dict1 = {'a':1,'b':2} list1 = [1,2,3] tuple1 = (1,2,3) str1 = '123' int1 = 123  # print(type(json.dumps(dict1))) # print(type(json.dumps(list1))) # print(type(json.dumps(tuple1))) # print(type(json.dumps(str1))) # print(type(json.dumps(int1)))  # 跳过异常项目,解决编码问题 # print(json.dumps('湖南',skipkeys=True)) # print(json.dumps('湖南',skipkeys=True,ensure_ascii=False))  with open('text.json','w',encoding='utf-8') as f:     json.dump(dict1,fp=f,indent=2) #fp就是代表你要存到哪个文件里去,indent代表每个键值对前面的字符缩进,dumps的跳过异常项和解决编码问题的参数这里也有  # di1 = '{"a":1,"b":2}' # print(type(json.loads(di1)))  with open('text.json','r') as f:     data = json.load(fp=f) #fp就代表你要从哪个文件中获取数据     print(data,type(data)) 

相关内容

热门资讯

二百五十四、OceanBase... 一、目的在部署OceanBase成功后,接下来就是登录ocp-expressÿ...
Nginx 常用配置 一、全局配置全局配置主要设置一些影响Nginx服务器整体运行的配置指令,包括运行Ngi...
如何获取文件缩略图(C#和C+... 在C++中,可以有以下两种办法使用COM接口IThumbnailCac...
C#实战 - C#实现冒泡算法 作者:逍遥Sean 简介:一个主修Java的Web网站\游戏服务器后端开...
高效抓取网页模板:Go 1.1... 基于Go 1.19的站点模板爬虫的原理是通过发送HTTP请求获取网页内容,然后使用正则...
机器学习 第8章-集成学习 机器学习 第8章-集成学习8.1 个体与集成集成学习(ensemble learning)通过构建并...
RAGflow:开源AI框架的... 在当今科技飞速发展的时代,人工智能(AI)已经成为各行各业...
风景视频素材高清无水印的网站有...  高清无水印风景视频素材网站推荐,让您的视频内容独树一帜!对于视频创作者...
体验教程:通义灵码陪你备战求职... 本场景将带大家体验在技术面试准备场景下,如何通过使用阿里云通义灵码实现高效的编程算法题...
大数据技术原理-MapRedu... 摘要本实验报告详细阐述了在“大数据技术原理”课程中进行的MapReduce编程实验。实验环境基于Ha...