安装环境

pip install scrapy

发现Twisted版本不匹配

卸载pip uninstall Twisted

安装

pip install Twisted==22.10.0

新建scrapy项目

scrapy startproject 项目名

注意：项目名称不允许使用数字开头，也不能包含中文

eg: scrapy startproject scrapy_baidu_01

创建爬虫文件

要在spiders文件夹中去创建爬虫文件

  切换路径：cd .\scrapy_baidu_01\scrapy_baidu_01\spiders\

scrapy genspider 爬虫文件的名字 要爬取网页

scrapy genspider baidu www.baidu.com

import scrapy   class BaiduSpider(scrapy.Spider):     # 爬虫的名字 用于运行爬虫的时候 使用的值     name = "baidu"     # 允许访问的域名     allowed_domains = ["www.baidu.com"]     # 起始的url地址 指的是第一次要访问的域名     start_urls = ["https://www.baidu.com"]      def parse(self, response):         pass 

注意反爬：把这行代码注释掉settings.py

# ROBOTSTXT_OBEY = True（注释掉改行，不遵守robots协议，通常不用遵守）

运行爬虫代码

scrapy crawl baidu

项目结构 

汽车之家案例

import scrapy   class CarSpider(scrapy.Spider):     name = "car"     allowed_domains = ["www.autohome.com.cn"]     start_urls = ["https://www.autohome.com.cn/price/brandid_15"]      def parse(self, response):         name_list = response.xpath('//div[@class="tw-mt-1 tw-px-4"]/a/text()')         price_list = response.xpath('//div[@class="tw-mt-1 tw-px-4"]/p/text()')         for i in range(len(name_list)):             name = name_list[i].extract()             price = price_list[i].extract()             print(name, price) 

scrapy工作原理

当当网爬取数据

管道封装、开启多条管道、多页下载 

items.py

import scrapy   class ScrapyDangdang04Item(scrapy.Item):     # define the fields for your item here like:     # name = scrapy.Field()      # 图片     src = scrapy.Field()     # 名称     name = scrapy.Field()     # 价格     price = scrapy.Field()     # pass

pipelines.py

# 解决文件频繁打开的场景 # 如果想使用管道的话，就必须在settings.xml开启管道 class ScrapyDangdang04Pipeline:     def open_spider(self, spider):         # 使用w模式就行         # 因为只打开但没关         self.fp = open('book.json', 'w', encoding='utf-8')      # item就是yield后面的对象book     def process_item(self, item, spider):         # （1）write方法里面需要是字符串         # （2）w模式 会每一个对象都打开一次文件 覆盖之前的内容         # （3）所以使用a模式追加模式，不推荐         # with open('book.json', 'w', encoding='utf-8') as fp:         #     fp.write(str(item))         self.fp.write(str(item))         return item      def close_spider(self, spider):         self.fp.close()   import urllib.request   # 多条管道开启 # 在settings.py开启管道  class DangDangDownloadPineline:     def process_item(self, item, spider):         url = 'http:' + item.get('src')         filename = './books/' + item.get('name') + '.jpg'         urllib.request.urlretrieve(url=url, filename=filename)         return item 

settings.py

ITEM_PIPELINES = {     # 管道可以有多个 管道有优先级 值越小 优先级越高 优先级范围0~1000     "scrapy_dangdang_04.pipelines.ScrapyDangdang04Pipeline": 300,     "scrapy_dangdang_04.pipelines.DangDangDownloadPineline": 301, }

dang.py 

import scrapy from scrapy_dangdang_04.items import ScrapyDangdang04Item   class DangSpider(scrapy.Spider):     name = "dang"     # 一般情况下，我们要调整domains范围，只写域名就可以了     allowed_domains = ["category.dangdang.com"]     start_urls = ["https://category.dangdang.com/cp01.01.02.00.00.00.html"]     # 多页下载数据 初始化url     base_url = 'https://category.dangdang.com/pg'     page = 1      def parse(self, response):         # pipelines管道         # items下载数据         # src=//ul[@id="component_59"]//li//img/@src         # alt=//ul[@id="component_59"]//li//img/@alt         # price=//ul[@id="component_59"]//li//p[@class="price"]//span[1]/text()         # 所有selector对象都可以再次调用xpath方法          li_list = response.xpath('//ul[@id="component_59"]//li')         for li in li_list:             # 图片做了懒加载             # 需要将src改为data-original             src = li.xpath('.//img/@data-original').extract_first()             # 注意第一张图片和其他图片是不一样的属性             # 第一张图片使用src，其他图片使用data-original             if src:                 src = src             else:                 src = li.xpath('.//img/@src').extract_first()             name = li.xpath('.//img/@alt').extract_first()             price = li.xpath('.//p[@class="price"]//span[1]/text()').extract_first()             # print(src, name, price)              book = ScrapyDangdang04Item(src=src, name=name, price=price)             # 获取一个book就将book交给pipelines             yield book          # 每一页爬取的业务逻辑都是一样         # 所以我们只需要将执行那个页的请求再次调用parse方法就可以了         # https://category.dangdang.com/pg2-cp01.01.02.00.00.00.html 第2页         # https://category.dangdang.com/pg3-cp01.01.02.00.00.00.html 第3页         # https://category.dangdang.com/pg4-cp01.01.02.00.00.00.html 第4页         if self.page < 6:             self.page = self.page + 1             url = self.base_url + str(self.page) + 'cp01.01.02.00.00.00.html'              # 怎么调用parse方法             # scrapy.Request就是scrapy的get请求             # url就是请求地址             # callback就是要执行的函数，注意不需要加括号             yield scrapy.Request(url=url, callback=self.parse()) 

结果爬虫出60条数据

{   'name': ' 那个不为人知的故事',   'price': '¥39.10',   'src': '//img3m2.ddimg.cn/46/8/29124262-1_b_5.jpg' }{   'name': ' 朝俞（全2册） 限定正面白版护封+背面黑版护封套装 原名伪装学渣 青春畅销小说实体书',   'price': '¥79.60',   'src': '//img3m9.ddimg.cn/16/20/29579929-1_b_2.jpg' }{   'name': ' 大哥（套装共2册）',   'price': '¥59.50',   'src': '//img3m8.ddimg.cn/72/12/23945598-1_b_1706687985.jpg' }{   'name': ' 偏偏宠爱',   'price': '¥59.80',   'src': '//img3m1.ddimg.cn/86/23/28523471-1_b_6.jpg' }{   'name': ' 人鱼陷落4（当当专享电子屏保，限时印特签，畅销书作者麟潜口碑代表作！）',   'price': '¥52.80',   'src': '//img3m2.ddimg.cn/92/32/29689202-1_b_1714458199.jpg' }{   'name': ' 可爱过敏原：全2册（人气作家稚楚温馨之作。随书附赠多重主题赠品）',   'price': '¥103.50',   'src': '//img3m6.ddimg.cn/5/16/29629616-1_b_1713412892.jpg' }{   'name': ' 人鱼陷落3（长佩原创人气文学，高人气作者麟潜口碑代表作！）',   'price': '¥51.70',   'src': '//img3m7.ddimg.cn/39/6/29634897-1_b_1703060622.jpg' }{   'name': ' 人鱼陷落全四册（畅销书作者麟潜口碑代表作！）',   'price': '¥207.00',   'src': '//img3m7.ddimg.cn/72/26/29689677-1_b_1708488434.jpg' }{   'name': ' 朝俞1+2套装（全2册）',   'price': '¥79.60',   'src': '//img3m1.ddimg.cn/82/1/29397241-1_b_1.jpg' }{   'name': ' 吾乡有情人（李现、周雨彤主演影视剧《春色寄情人》原著小说，桀骜遗体整容师VS霸气医疗销售，演绎熟龄男女的极致拉扯和双向救',   'price': '¥68.40',   'src': '//img3m6.ddimg.cn/18/36/29690316-1_b_1714982275.jpg' }{   'name': ' 退烧（全二册）舒虞浪漫新作',   'price': '¥69.80',   'src': '//img3m7.ddimg.cn/27/35/29299077-1_b_6.jpg' }{   'name': ' 你失信了',   'price': '¥39.80',   'src': '//img3m7.ddimg.cn/20/2/29485487-1_b_4.jpg' }{   'name': ' 偷偷藏不住（全二册） 晋江金榜 赵露思、陈哲远 主演 影视原著 桑稚VS段嘉许 言情大神竹已难哄奶油味暗恋',   'price': '¥59.80',   'src': '//img3m6.ddimg.cn/25/7/28525786-1_b_7.jpg' }{   'name': ' 人鱼陷落（高人气作者麟潜口碑代表作！）',   'price': '¥51.70',   'src': '//img3m3.ddimg.cn/2/32/29411813-1_b_5.jpg' }{   'name': ' 骄阳似我（下）',   'price': '¥36.00',   'src': '//img3m3.ddimg.cn/71/16/29687003-1_b_1713320766.jpg' }{   'name': ' 蔷薇信号（亲签版）双女主青春成长短篇故事集',   'price': '¥41.20',   'src': '//img3m8.ddimg.cn/98/8/29570408-1_b_1699842163.jpg' }{   'name': ' 人鱼陷落2（高人气作者麟潜口碑代表作！）',   'price': '¥51.70',   'src': '//img3m0.ddimg.cn/33/12/29510250-1_b_3.jpg' }{   'name': ' 他最野了（全2册）曲小蛐代表作',   'price': '¥68.00',   'src': '//img3m8.ddimg.cn/39/16/29150688-1_b_1689332684.jpg' }{   'name': ' 苍兰诀 （当当专享人气画手眠狼绘制印刷海报）九鹭非香',   'price': '¥37.00',   'src': '//img3m5.ddimg.cn/60/22/29171895-1_b_21.jpg' }{   'name': ' 微微一笑很倾城',   'price': '¥36.00',   'src': '//img3m6.ddimg.cn/74/29/29433566-1_b_1713236624.jpg' }{   'name': ' 青：陪安东尼度过漫长岁月5',   'price': '¥47.00',   'src': '//img3m4.ddimg.cn/8/35/29381624-1_b_14.jpg' }{   'name': ' 美滋滋（全2册）',   'price': '¥47.50',   'src': '//img3m3.ddimg.cn/49/20/29291773-1_b_1704784675.jpg' }{   'name': ' 与岁长宁.下册.完结篇（超人气追光救赎古言《嫁反派》。新增未公开番外13000字。你是我的夫君，不是怪物。你只是不能像爱',   'price': '¥48.00',   'src': '//img3m7.ddimg.cn/32/14/29580737-1_b_1694066771.jpg' }{   'name': ' 元气少女缘结神：鞍马山夜话（甜蜜少女系漫画官方中文纪念版首次上市！）',   'price': '¥30.50',   'src': '//img3m5.ddimg.cn/40/5/24165445-1_b_18.jpg' }{   'name': ' 红酒绿【限量亲签版+定制十二月情话贴纸+情头贴纸】苏他',   'price': '¥39.80',   'src': '//img3m1.ddimg.cn/5/13/29526161-1_b_1702439623.jpg' }{   'name': ' 蓝：陪安东尼度过漫长岁月VI（首发加赠当当限定赠品：PET菲林胶片x2张）陪安系列的15年暖心陪伴',   'price': '¥47.00',   'src': '//img3m5.ddimg.cn/92/34/29554265-1_b_1691727485.jpg' }{   'name': ' 骄阳似我（上下 两册套装）',   'price': '¥72.00',   'src': '//img3m4.ddimg.cn/72/17/29687004-1_b_1711521722.jpg' }{   'name': ' 来我怀里躲躲【限量亲签版+定制向你靠近时钟透卡】岁见',   'price': '¥64.90',   'src': '//img3m5.ddimg.cn/77/4/29513165-1_b_1.jpg' }{   'name': ' 《尤物》新锐人气作者二喜口碑代表作！穷追不舍总裁周易vs清冷美艳公关姜迎，十年暗恋，双向救赎，势均力敌，炙热沦陷！明知道',   'price': '¥45.00',   'src': '//img3m2.ddimg.cn/29/0/29559152-1_b_1709519251.jpg' }{   'name': ' 与岁长宁.上册（追光救赎/高口碑古言《嫁反派》娇娇贵女x乖张美强惨“反派”男主，她是他心尖上的善念，是刻在他伤痕上的名字',   'price': '¥48.00',   'src': '//img3m5.ddimg.cn/20/2/29580725-1_b_1710384827.jpg' }{   'name': ' 单恋轨道（亲签版）艾鱼继《藏夏》之后再出青春暗恋之作',   'price': '¥42.00',   'src': '//img3m1.ddimg.cn/14/32/29628041-1_b_1702025455.jpg' }{   'name': ' 可爱多少钱一斤（共2册）',   'price': '¥42.90',   'src': '//img3m1.ddimg.cn/80/29/25574651-1_b_4.jpg' }{   'name': ' 我不喜欢这世界，我只喜欢你修订版 乔一 畅销百万册！由吴倩张雨剑主演的超甜电视剧我只喜欢你原著小说',   'price': '¥37.00',   'src': '//img3m6.ddimg.cn/64/10/27859456-1_b_9.jpg' }{   'name': ' 顾小姐和曲小姐【赠：双熙写真签名照*1+影后盛典镭射票*1】（晚之著优质都市娱乐圈女性互助向励志作品）',   'price': '¥49.80',   'src': '//img3m3.ddimg.cn/50/33/29496803-1_b_3.jpg' }{   'name': ' 娱乐圈是我的，我是你的 全3册 随机特签（许摘星x岑风，谢谢我的那束光，我永远爱你）',   'price': '¥70.00',   'src': '//img3m9.ddimg.cn/69/33/29161509-1_b_3.jpg' }{   'name': ' 《你是长夜，也是灯火》典藏版',   'price': '¥48.00',   'src': '//img3m3.ddimg.cn/69/1/29686803-1_b_1706770978.jpg' }{   'name': ' 橘子汽水（独家定制阿司匹林电子签名数字藏品——白城“舟渔”签名卡）',   'price': '¥44.10',   'src': '//img3m7.ddimg.cn/76/29/29619787-1_b_1693974706.jpg' }{   'name': ' 旧梦1913（当当专享刷边特签版）沈鱼藻著',   'price': '¥36.80',   'src': '//img3m9.ddimg.cn/93/8/29597529-1_b_1688546895.jpg' }{   'name': ' 草木生',   'price': '¥33.40',   'src': '//img3m8.ddimg.cn/52/33/29162878-1_b_1712107816.jpg' }{   'name': ' 一级律师 木苏里 全球高考作家木苏里又一口碑之作 纯爱都市 收录番外 强强联手',   'price': '¥54.80',   'src': '//img3m5.ddimg.cn/19/13/28554985-1_b_6.jpg' }{   'name': ' 晋江人气作者木羽愿高口碑双向奔赴代表作《纵我情深》破镜重圆vs蓄谋已久，全文高甜！新增出版番外《婚后生活》，续写“傅姜夫',   'price': '¥45.00',   'src': '//img3m5.ddimg.cn/10/21/29549035-1_b_3.jpg' }{   'name': ' 暗恋这件难过的小事',   'price': '¥39.80',   'src': '//img3m3.ddimg.cn/72/14/29502963-1_b_1.jpg' }{   'name': ' 白桃乌龙（全2册）',   'price': '¥64.90',   'src': '//img3m6.ddimg.cn/31/36/29342146-1_b_1700024542.jpg' }{   'name': ' 炽野（全2册）【定制Q版贴纸】',   'price': '¥55.60',   'src': '//img3m8.ddimg.cn/73/21/29372878-1_b_4.jpg' }{   'name': ' 逐风完结篇 （网络原名：校草太霸道了怎么破）',   'price': '¥46.30',   'src': '//img3m2.ddimg.cn/72/35/29597112-1_b_1688460724.jpg' }{   'name': ' 《别来无恙》晋江文学城畅销书作家 北南 经典虐心作品原著同名漫画 破镜重圆天花板',   'price': '¥45.00',   'src': '//img3m9.ddimg.cn/97/20/29490019-1_b_3.jpg' }{   'name': ' 冬天请与我恋爱【定制初雪海报】',   'price': '¥42.80',   'src': '//img3m7.ddimg.cn/33/22/29509557-1_b_1.jpg' }{   'name': ' 逐风 （网络原名：校草太霸道了怎么破）',   'price': '¥46.30',   'src': '//img3m4.ddimg.cn/65/16/29597204-1_b_1688460528.jpg' }{   'name': ' 《阿也（全二册）》刷边典藏版 我喜欢你的信息素 引路星 全新番外',   'price': '¥79.60',   'src': '//img3m5.ddimg.cn/23/20/29673095-1_b_1704161259.jpg' }{   'name': ' 濯枝（全2册）咬枝绿',   'price': '¥69.80',   'src': '//img3m8.ddimg.cn/42/2/29482638-1_b_1692858478.jpg' }{   'name': ' 青+蓝：陪安东尼度过漫长岁月V+VI 双册套装',   'price': '¥94.10',   'src': '//img3m9.ddimg.cn/98/7/29555459-1_b_1.jpg' }{   'name': ' 如果月亮有秘密（全2册）春风榴火作品，网络原名：反派大佬让我重生后救他',   'price': '¥64.90',   'src': '//img3m6.ddimg.cn/88/23/29361706-1_b_1709096502.jpg' }{   'name': ' 等风轻抚你（全二册）（网络原名《等风热吻你》）',   'price': '¥59.80',   'src': '//img3m2.ddimg.cn/80/20/28971242-1_b_3.jpg' }{   'name': ' 一级律师2 木苏里 纯爱都市 公理定下，正义不朽',   'price': '¥54.80',   'src': '//img3m4.ddimg.cn/21/4/28983954-1_b_1706002794.jpg' }{   'name': ' 狼行成双（一个冷漠少言，一个热情豪放，两个逗比相爱相杀，蠢萌蠢萌的兄弟情！悦读纪）',   'price': '¥53.00',   'src': '//img3m9.ddimg.cn/85/20/23691379-1_b_1701672854.jpg' }{   'name': ' 他的小仙女1+2（套装全两册）',   'price': '¥68.40',   'src': '//img3m6.ddimg.cn/73/14/26436736-1_b_2.jpg' }{   'name': ' 江海不渡【限量特签版，定制小世界贴纸+初雪拍立得】人气作家吕亦涵代表作',   'price': '¥39.80',   'src': '//img3m7.ddimg.cn/21/35/29549937-1_b_1709179306.jpg' }{   'name': ' 宁愿（全2册）',   'price': '¥69.80',   'src': '//img3m5.ddimg.cn/92/21/29246375-1_b_21.jpg' }{   'name': ' 今日晴',   'price': '¥39.80',   'src': '//img3m2.ddimg.cn/44/12/29492342-1_b_1712457271.jpg' }{   'name': ' 隐婚（艳光四射的“钓系”美人vs声名显赫的偏执少爷，高人气作家半截白菜“追妻”系列全新力作）',   'price': '¥68.40',   'src': '//img3m2.ddimg.cn/75/31/29565732-1_b_1.jpg' }

电影天堂爬取数据

items.py

import scrapy   class ScrapyMovie05Item(scrapy.Item):     # define the fields for your item here like:     # name = scrapy.Field()     name = scrapy.Field('')     src = scrapy.Field('')     pass 

settings,py

ITEM_PIPELINES = {     "scrapy_movie_05.pipelines.ScrapyMovie05Pipeline": 300, }

pipelines.py

class ScrapyMovie05Pipeline:     def open_spider(self, spider):         self.fp = open('movie.json', 'w', encoding='utf-8')      def process_item(self, item, spider):         self.fp.write(str(item))         return item      def close_spider(self, spider):         self.fp.close()

mv.py

get请求使用scrapy.Request

import scrapy from scrapy_movie_05.items import ScrapyMovie05Item   class MvSpider(scrapy.Spider):     name = "mv"     allowed_domains = ["dytt8.net"]     start_urls = ["https://dytt8.net/html/gndy/china/index.html"]      def parse(self, response):         # 要第一页的名字 和第2页的图片         a_list = response.xpath('//div[@class="co_content8"]//td[2]//a[2]')         for a in a_list:             # 获取第一页的名字和要点击的链接             name = a.xpath('./text()').extract_first()             href = a.xpath('./@href').extract_first()             # print(name, href)              # 第二页的地址             url = 'https://dytt8.net/' + href             # print(url)              # 对第二页的链接进行访问             yield scrapy.Request(url=url, callback=self.parse_second, meta={'name': name})         pass      def parse_second(self, response):         # 拿不到数据的情况下，需要检查xpath语法         src = response.xpath('//div[@id="Zoom"]//img/@src').extract_first()         # print(src)         # 接受到meta请求参数的值         name = response.meta['name']         # print(name)         movie = ScrapyMovie05Item(name=name, src=src)         yield movie 

movie.json

{'name': '2022年剧情悬疑《源生罪》BD粤语中字',  'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2890623174.jpg'}{'name': '2024年剧情喜剧《摩登澡堂》HD国语中字',  'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2875809295.jpg'}{'name': '2024年悬疑剧情《逃逸追踪》HD国语中字',  'src': 'https://i.endpot.com/image/2ZVFM/36.jpg'}{'name': '2023年动作《扎职2：江湖陌路》BD国粤双语中字',  'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2899543296.jpg'}{'name': '2024年喜剧《前途海量》HD国语中字',  'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2908206665.jpg'}{'name': '2024年剧情悬疑《迅兽》HD国语中字',  'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2908064393.jpg'}{'name': '2024年奇幻《林都奇谭》HD国语中字',  'src': 'https://i.endpot.com/image/Y2ZAW/XQG5p.jpg'}{'name': '2024年爱情奇幻《金牌河东狮吼》HD国语中字',  'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2908011240.jpg'}{'name': '2024年动作《2024年动作《新龙门客栈之英雄觉醒》HD国语中字》HD国语中字',  'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2908297819.jpg'}{'name': '2024年动作《血悬棺》HD国语中字',  'src': 'https://i.endpot.com/image/OJPFF/LK5Hk.jpg'}{'name': '2023年爱情历史战争《天命玄女》HD国语中字',  'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2895950467.jpg'}{'name': '2023年动作惊悚《鳄梦岛》HD国语中字',  'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2896236229.jpg'}{'name': '2024年动作悬疑《借命人》HD国语中字',  'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2908493295.jpg'}{'name': '2024年剧情《彩虹线》HD国语中字',  'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2902413934.jpg'}{'name': '2024年喜剧《东北狠人沙猩猩》HD国语中字',  'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2908465644.jpg'}{'name': '2024年恐怖喜剧《超神经械劫案下》BD国粤双语中字',  'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2886145179.jpg'}{'name': '2023年喜剧《踢球吧少年》HD国语中字',  'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2897496282.jpg'}{'name': '2023年剧情喜剧《热烈/惊叹号》BD国语中字',  'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2895553074.jpg'}{'name': '2024年科幻悬疑《AR物语/莫杀我》HD国语中字',  'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2908432151.jpg'}{'name': '2024年科幻动作《变体》HD国语中字',  'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2908505824.jpg'}{'name': '2024年动作《风速极战》HD国语中字',  'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2877518474.jpg'}{'name': '2024年剧情《我们一起摇太阳》HD国语中字',  'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2904467472.jpg'}{'name': '2024年悬疑《枪不打四》HD国语中字',  'src': 'https://i.endpot.com/image/4V88C/beXUd.jpg'}{'name': '2024年爱情奇幻《狐王传说》HD国语中字',  'src': 'https://i.endpot.com/image/EXZOA/b2aau.jpg'}{'name': '2024年动作奇幻《异域狼孩》HD国语中字',  'src': 'https://i.endpot.com/image/JLPS1/XjYfj.jpg'}

读书网爬取数据

创建爬虫文件：scrapy genspider -t crawl read https://www.dushu.com/book/1188.html

read.py

import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule from scrapy_readbook_06.items import ScrapyReadbook06Item  class ReadSpider(CrawlSpider):     name = "read"     allowed_domains = ["www.dushu.com"]     start_urls = ["https://www.dushu.com/book/1188_1.html"]      rules = (Rule(LinkExtractor(allow=r"/book/1188_\d+\.html"),                   callback="parse_item",                   follow=False),              )      def parse_item(self, response):         img_list = response.xpath('//div[@class="bookslist"]//img')         for img in img_list:             name = img.xpath('./@data-original').extract_first()             src = img.xpath('./@alt').extract_first()              book = ScrapyReadbook06Item(name=name, src=src)             yield book 

items.py

import scrapy   class ScrapyReadbook06Item(scrapy.Item):     # define the fields for your item here like:     # name = scrapy.Field()      name = scrapy.Field()     src = scrapy.Field()     # pass

settings.py 

# Obey robots.txt rules # 不遵守robots协议 一般情况下不用遵守 # ROBOTSTXT_OBEY = True   # 打开管道 ITEM_PIPELINES = {    "scrapy_readbook_06.pipelines.ScrapyReadbook06Pipeline": 300, }

pipelines.py

class ScrapyReadbook06Pipeline:     def open_spider(self, spider):         self.fp = open('book.json', 'w', encoding='utf-8')      def process_item(self, item, spider):         self.fp.write(str(item))         return item      def close_spider(self, spider):         self.fp.close() 

数据入库

settings.xml

 # 数据库配置信息 DB_HOST = '192.168.231.130' DB_PORT = 3306 DB_USER = 'root' DB_PASSWORD = 'root' DB_NAME = 'spider01' DB_CHARSET = 'utf8'   # 配置管道 ITEM_PIPELINES = {     "scrapy_readbook_06.pipelines.ScrapyReadbook06Pipeline": 300,     # MysqlPipeline     "scrapy_readbook_06.pipelines.MysqlPipeline": 301, }

安装pymysql

pip install pymysql -i https://pypi.douban.com/simple 

pipelines.py

# 加载settings配置文件 from scrapy.utils.project import get_project_settings import pymysql   class MysqlPipeline:      def open_spider(self, spider):         settings = get_project_settings()          self.host = settings['DB_HOST']         self.port = settings['DB_PORT']         self.user = settings['DB_USER']         self.password = settings['DB_PASSWORD']         self.name = settings['DB_NAME']         self.charset = settings['DB_CHARSET']          self.connect()      def connect(self):         self.conn = pymysql.connect(             host=self.host,             port=self.port,             user=self.user,             password=self.password,             db=self.name,             charset=self.charset         )          self.cursor = self.conn.cursor()      def process_item(self, item, spider):         sql = 'insert into book(name,src) values ("{}","{}")'.format(item['name'], item['src'])         # 执行sql语句         self.cursor.execute(sql)         # 提交         self.conn.commit()         return item      def close_spider(self, spider):         self.cursor.close()         self.conn.close()

read.py 

import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule from scrapy_readbook_06.items import ScrapyReadbook06Item   class ReadSpider(CrawlSpider):     name = "read"     allowed_domains = ["www.dushu.com"]     start_urls = ["https://www.dushu.com/book/1188_1.html"]      rules = (Rule(LinkExtractor(allow=r"/book/1188_\d+\.html"),                   callback="parse_item",                   follow=True),              )      def parse_item(self, response):         img_list = response.xpath('//div[@class="bookslist"]//img')         for img in img_list:             name = img.xpath('./@data-original').extract_first()             src = img.xpath('./@alt').extract_first()              book = ScrapyReadbook06Item(name=name, src=src)             yield book 

这里的follow改为True表示不止爬取13页数据，继续跟进，按照提取连接规则进行提取

日志信息和等级

settings.py

# 指定日志级别 LOG_LEVEL = 'WARNING' # 指定日志文件 LOG_FILE = 'logdemo.log'

scrapy中Post请求

注意使用FormRequest

testpost.py

import scrapy  import json   class TestpostSpider(scrapy.Spider):     name = "testpost"     allowed_domains = ["fanyi.baidu.com"]      # post请求 如果没有参数 这个请求没有意义     # 所以这个start_urls没有用     # start_urls = ["https://fanyi.baidu.com/sug"]     #     # def parse(self, response):     #     pass      def start_requests(self):         url = 'https://fanyi.baidu.com/sug'         data = {             'kw': 'final'         }          yield scrapy.FormRequest(url=url, formdata=data, callback=self.parse_second)      def parse_second(self, response):         content = response.text         obj = json.loads(content, encoding='utf-8')         print(obj)