Scrapy爬取色花堂磁力和图片
重点说明爬取图片
提取地址
https://www.baidu.com/link?url=H2HZYwTnqbODtM2lPOJYcN0iX1kQsqe5O8GpXW0E01FzzCOvOs5DB2i5mQ46s1JtRqbQnLocw30Q6_R3Ka3-R_&wd=&eqid=edb7e292001270a20000000265a10cfb
一.创建项目
scrapy startproject SeHuaTang
scrapy genspider SeHuaTang “”

二.修改settings.py文件
复制

控制日志输出等级

LOG_LEVEL = “WARNING”

定义爬取网页的基本地址

BASE_URL=“https://rtretyrytre.xyz/”

修改是否遵守robots协议

ROBOTSTXT_OBEY = False

设置图片保存地址

import os

# 配置保存本地的地址

project_dir = os.path.abspath(os.path.dirname(file)) # 获取当前爬虫项目的绝对路径

IMAGES_STORE = os.path.join(project_dir, ‘images’) # 组装新的图片

IMAGES_STORE = ‘D:/ImageSpider/’

打开管道

ITEM_PIPELINES = {
‘SeHuaTan