研究爬虫的时候用马蜂窝网页端的数据进行实验。操作包括翻页、点击等操作。爬取到的数据放到json文件中，如果想要存入数据库或者excel文件的的，把存取部分的代码改一下即可，爬取部分的代码一样。可能有些地方不足，敬请斧正。

      项目开始之前确保已经安装了scrapy库及selenium库

1.创建爬虫项目。

• cmd命令行输入： scrapy startproject 项目名。我的项目名称是scrap_mfw,所以我的命令就是scrapy startproject scrap_mfw，项目名自己定。如下图，成功创建项目。

• 命令行输入cd scrap_mfw/spiders 进入爬虫目录
• 命令行输入：scrapy genspider mfw_test www.mafengwo.cn【mfw_test为爬虫名称，编写xpath和正则表达式的地方，www.mafengwo.cn为允许的域名】
• 完成之后，就可以在pycharm打开创建的scrap_mfw项目。

 2.文件介绍

目录结构如下：

       爬虫的代码在mfw_test.py里面写。run.py文件是自己建的，以后右击运行run.py就可以开始爬虫了，不用在cmd窗口敲命令行。run.py文件里面写以下代码：

cmdline.execute("scrapy crawl mfw_test".split())

mfw_test是爬虫名字。

settings.py是对爬虫的配置。用户代理请求头(USER_AGENT)伪装一下。

USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36 Edg/88.0.705.68' DOWNLOAD_DELAY = 3  # 下载延时 ROBOTSTXT_OBEY = False  # 可以忽略或者不遵守robots协议 FEED_EXPORT_ENCODING = "gbk"   #解决保存CSV文件乱码 # 激活自定义的下载器中间件组件 DOWNLOADER_MIDDLEWARES = {    'scrap_mfw.middlewares.ScrapMfwDownloaderMiddleware': 543, } DEFAULT_REQUEST_HEADERS = {   'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',   'Accept-Language': 'en', } CONCURRENT_REQUEST = 32  # 默认16个并行 LOG_LEVEL='ERROR' #只有程序出现错误的情况下，才显示日志文件

pipelines.py文件所写代码如下

class ScrapMfwPipeline:     def __init__(self):         self.f = open("bytedance.json", "w", encoding='utf-8')      def process_item(self, item, spider):         content = json.dumps(dict(item), ensure_ascii=False) + '\n'         self.f.write(content)         return item      def close_spider(self, spider):         self.f.close()

在mfw_test.py里面的Spider类里面写：

    def start_requests(self):         # 想通过控制offset来决定是否翻页         offset = 1         url = "".join(self.start_urls)         yield Request(url=url, callback=self.parse, meta={'offset': offset}, dont_filter=True)  # 在这去中间件         # 返回request的时候需要把dont_filter=True加上，不然scrapy会自动过滤掉已经请求过的网页。      def parse(self, response):         # 在这里先跳到第一个景点         self.page = 1   # 控制评论翻页         self.num = 0    # 控制跳转下一个景点         # 拿到每个景点url         web_urls = response.xpath('//*[@id="container"]/div[5]/div/div[@class="bd"]/ul/li/a/@href').extract()  # print(web_urls) 是一个列表         self.urls = []  # 景点链接         # 每个景点加入         for web_url in web_urls:             web_url = "https://www.mafengwo.cn" + str(web_url).strip("'")  # 拿到连接             self.urls.append(web_url)         print(self.urls)         yield scrapy.Request(self.urls[0], callback=self.parse_reviews,                              meta={'offset': 1, 'url': web_url, 'page': self.page, 'list': self.urls, 'num': self.num},                              dont_filter=True)      def parse_reviews(self, response):         self.page += 1  # 控制翻页         p = response.xpath('//*[@class="m-pagination"]/span[@class="count"]/span[1]/text()').extract()         p = str(p).strip('[').strip(']').strip("'")         p = int(p) + 1  # 评论页数         # 抓取评论         url = response.meta.get('url')         item = ScrapMfwItem()         # 景点名称         item['Title'] = response.xpath('//*[@class="row row-top"]/div/div[3]/h1/text()').extract()         # 景点评论         # 在这里先测试前五页 ，要修改的地方         string = ""         reviews = response.xpath('//*[@class="container"]/div[@id="commentlist"]/div/div/div[4]/div/ul/li')         for review in reviews:             string = string + str(review.xpath('.//p/text()').extract()).strip("\xa0").strip(" ").strip('\n')             item['Reviews'] = string  # 拿到了拿到了         # 回调自己         if self.page < p:   # 控制只5页，这样就不会抛出异常了             yield scrapy.Request(url, callback=self.parse_reviews,                                  meta={'offset': 2, 'url': url, 'page': self.page}, dont_filter=True)         if self.page == p and self.num < 14:  # 如果已经翻够5页，跳到下一个景点             self.page = 1           # 重置页数             self.num = self.num + 1             next_step = self.urls[self.num].strip("'")             yield scrapy.Request(next_step, callback=self.parse_reviews,                                  meta={'offset': 1, 'url': next_step, 'page': self.page}, dont_filter=True)         yield item

middlewares.py文件在DownloaderMiddleware类下面添加：

 def __init__(self):         # 实例化对象         option = ChromeOptions()         # 不加载图片         # 因为只需要爬取文本文件，所以不加载图片，这样不用等图片的响应效率更快。         prefs = {'profile.managed_default_content_settings.images': 2}         option.add_experimental_option('prefs', prefs)         option.add_experimental_option('excludeSwitches', ['enable-automation'])  # 开启实验性功能         # 去除特征值         option.add_argument("--disable-blink-features=AutomationControlled")         # 以上是新添加的！加上去之后状态代码就不是521了！就不反爬虫了！         self.driver = webdriver.Chrome(options=option)         self.driver.maximize_window()         self.wait = WebDriverWait(self.driver, 10)      def process_request(self, request, spider):         # 想如果offset是1的话，就正常返回，如果是2的话，就执行点击下一页操作         offset = request.meta.get('offset', 1)  # 会随着mfw_test.py变化         if offset == 1:             self.driver.get(request.url)    # 在这里模拟浏览器的网址栏有响应             time.sleep(2)   # 给他一点加载时间不然521             return scrapy.http.HtmlResponse(url=request.url, body=self.driver.page_source.encode('utf-8'),                                             encoding='utf-8', request=request,                                             status=200)  # Called for each request that goes through the downloader                                             # return给调用的函数         if offset == 2:             url = request.meta.get('url')             time.sleep(3)             self.driver.find_element(By.XPATH, './/*[@class="pi pg-next"]').click()             return scrapy.http.HtmlResponse(url, body=self.driver.page_source.encode('utf-8'),                                             encoding='utf-8', request=request,                                             status=200)  # Called for each request that goes through the downloader      def process_response(self, request, response, spider):         return response

 但是我的爬虫只能爬出来4页的东西，虽然每一页都点到了。