爬虫学习 | 01 Web Scraper的使用
目录
背景介绍：
第一部分：Web Scraper简介
1.什么是Web Scraper：
Web Scraper🛒
主要用途：
2.为什么选择Web Scraper：
第二部分：安装Web Scraper
1.打开google浏览器，点击>扩展程序，点击>访问chrome应用商店
2.搜索web scraper，并下载如下：
第三部分：详细爬取步骤
1.选择目标网站：
2.定义选择器：
1.新建一个sitemap：
2.命名，输入网址，点击>create sitemap：
3.确定并创建一些爬取的内容：
1.点击chinadaily进入
2.创建选择器，点击selector
3.选择器创建具体操作：
4.创建自己想要爬取的东西：
编辑
5.爬取具体信息
6.开始爬取
第四部分：数据导出与后续处理
数据导出：
1.CSV (Comma-Separated Values)
2.Excel
背景介绍：
在当今数字化时代，我们被海量信息所包围。数据已成为企业和个人决策过程中不可或缺的资源。无论是市场研究、产品分析、客户洞察还是趋势预测，获取准确和及时的数据是至关重要的。然而，许多有价值的数据散布在互联网的各个角落，以非结构化的形式存在，不易直接使用。这就是Web Scraper发挥作用的地方。
Web Scraper是一个强大的工具，它允许用户自动化地从网页中提取信息。与传统的手动数据收集相比，Web Scraper可以大幅提高数据获取的效率和准确性。它通过模拟人类的浏览行为，访问网页并从中抓取所需的数据，然后将其转换为结构化格式，方便进一步分析和使用。
第一部分：Web Scraper简介
1.什么是Web Scraper：
Web Scraper🛒
是一款专为浏览器设计的插件，它允许用户通过一个直观的图形用户界面(GUI)来创建数据抓取规则，无需编写任何代码。用户可以通过选择网页上的元素来定义抓取点，然后让插件自动地从这些元素中提取数据。Web Scraper支持多种浏览器，包括但不限于Chrome和Firefox，使其可以轻松集成到用户的日常工作流程中。
主要用途：
市场研究：收集竞争对手的价格、产品信息等。
客户洞察：从社交媒体和论坛中提取用户反馈和评论。
内容聚合：自动收集新闻、博客文章或其他在线内容。
数据监控：定期抓取特定网页上的数据变化，用于趋势分析。
个性化数据收集：根据用户需求定制抓取特定数据。
2.为什么选择Web Scraper：
用户友好：Web Scraper提供了一个简单易用的界面，即使是没有编程经验的用户也能快速上手。
无需编码：与需要编写代码的抓取工具相比，Web Scraper允许用户通过选择器直观地定义抓取规则。
实时预览：在定义选择器时，用户可以实时预览抓取结果，确保准确性。
自动化处理：一旦设置完成，Web Scraper可以自动执行抓取任务，减少人工干预。
多页面支持：Web Scraper能够处理分页数据，自动抓取多个页面上的信息。📈
第二部分：安装Web Scraper
1.打开google浏览器，点击>扩展程序，点击>访问chrome应用商店
2.搜索web scraper，并下载如下：
第三部分：详细爬取步骤
1.选择目标网站：
我选择的ChinaDaily，可以自己爬取出来当作外刊阅读~~：China Daily Website - Connecting China Connecting the World
进入之后，点击>F12，会显示出 开发者工具（Developer Tools），如下：
然后观察功能，找到最后一个Web Scraper，点击进入：
2.定义选择器：
1.新建一个sitemap：
2.命名，输入网址，点击>create sitemap：
我想爬取一点最近的实时，所以选择了美洲，不是在首页哦😊
3.确定并创建一些爬取的内容：
浏览首页，选择一个新闻标题作为数据点，使用Web Scraper的元素选择器工具，点击标题，自动生成选择器。
1.点击chinadaily进入
2.创建选择器，点击selector
3.选择器创建具体操作：
选择：element，记住要选：mutiple
select的时候，先选第一个，再选相似的第二个，这样就能自动选上所有相似的
4.创建自己想要爬取的东西：
按照自己需求创，一般都是text类型，链接用link，图片用image，别的，，（我也是初学，还不会用 ~ ~ ）
5.爬取具体信息
点击链接进入之后，可以接着创建想要的信息。记得选择link对应的选择器名字
我的是这样子的：
6.开始爬取
点击scrape
继续点击
爬取的时候会有个弹窗，不要管，爬取完了自己就关掉了
点击refresh，就会有下面的数据了
第四部分：数据导出与后续处理
数据导出：
1.CSV (Comma-Separated Values)
用途：CSV是一种广泛使用的数据格式，它以纯文本形式存储表格数据，字段之间用逗号分隔。CSV文件易于使用，可以被大多数电子表格软件（如Microsoft Excel、Google Sheets）和数据库应用程序直接打开和处理。
2.Excel
用途：Excel文件（通常是
.xls或.xlsx格式）是微软的电子表格格式，广泛用于数据的存储、计算和可视化。Excel提供了丰富的数据处理功能，包括公式、图表、数据透视表等。
具体操作：
到这一步，已经成功爬取了新闻，可以当外刊读了~~