目录

Newspaper

安装

实战

1. 抓取CSDN上的文章

2. 查阅网易新闻的内容

总结

Newspaper

是一个强大的Python库，专门用于从新闻网站和文章中提取信息。它提供了一种简单而高效的方式来抓取新闻网页，解析内容，并提取出有用的信息，如文章标题、正文、作者、发布日期等。

首先，Newspaper框架在GitHub上获得了众多开发者的认可，其点赞排名也相当靠前，显示出其在Python爬虫领域的受欢迎程度。它特别适用于抓取新闻类网页，因为新闻网站通常具有较为规范的HTML结构和内容格式。

使用Newspaper库非常简单，即使是完全没有爬虫经验的初学者也能快速上手。用户只需要提供目标网页的URL，Newspaper就能自动下载网页内容并进行解析。而且，它不需要用户考虑header、IP代理、网页解析和网页源代码架构等复杂问题，大大简化了爬虫的开发过程。

在提取信息方面，Newspaper提供了丰富的功能。除了基本的文章文本提取外，它还能自动识别并提取出文章的作者、发布日期等关键信息。Newspaper还支持多种语言，包括英语、中文、德语、阿拉伯语等，使得它可以适应不同国家和地区的新闻网站。Newspaper的另一个亮点是它支持多进程文章下载。这意味着它可以同时处理多个网页，大大提高了数据抓取的效率。此外，它还能识别新闻链接，并从HTML文件中提取文本、图片等多媒体内容，为用户提供更全面的新闻信息。

安装

pip install newspaper3k

注意是newspaper3k，导入时用 importnewspaper。

安装过程：

C:\Users>pip install newspaper3k
Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
Collecting newspaper3k
Downloading https://pypi.tuna.tsinghua.edu.cn/packages/d7/b9/51afecb35bb61b188a4b44868001de348a0e8134b4dfa00ffc191567c4b9/newspaper3k-0.2.8-py3-none-any.whl (211 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 211.1/211.1 kB 1.8 MB/s eta 0:00:00
Collecting beautifulsoup4>=4.4.1 (from newspaper3k)
Downloading https://pypi.tuna.tsinghua.edu.cn/packages/b1/fe/e8c672695b37eecc5cbf43e1d0638d88d66ba3a44c4d321c796f4e59167f/beautifulsoup4-4.12.3-py3-none-any.whl (147 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 147.9/147.9 kB 9.2 MB/s eta 0:00:00
Requirement already satisfied: Pillow>=3.3.0 in d:\program files\python\lib\site-packages (from newspaper3k) (10.2.0)
Requirement already satisfied: PyYAML>=3.11 in d:\program files\python\lib\site-packages (from newspaper3k) (6.0.1)
Collecting cssselect>=0.9.2 (from newspaper3k)
Downloading https://pypi.tuna.tsinghua.edu.cn/packages/06/a9/2da08717a6862c48f1d61ef957a7bba171e7eefa6c0aa0ceb96a140c2a6b/cssselect-1.2.0-py2.py3-none-any.whl (18 kB)
Collecting lxml>=3.6.0 (from newspaper3k)
Downloading https://pypi.tuna.tsinghua.edu.cn/packages/02/59/e1fbe2514d8ab39977b72e77f98d0fa49772f61e938049baf151b307a4f0/lxml-5.1.0-cp312-cp312-win_amd64.whl (3.9 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 3.9/3.9 MB 11.3 MB/s eta 0:00:00
Collecting nltk>=3.2.1 (from newspaper3k)
Downloading https://pypi.tuna.tsinghua.edu.cn/packages/a6/0a/0d20d2c0f16be91b9fa32a77b76c60f9baf6eba419e5ef5deca17af9c582/nltk-3.8.1-py3-none-any.whl (1.5 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 1.5/1.5 MB 19.2 MB/s eta 0:00:00
Requirement already satisfied: requests>=2.10.0 in d:\program files\python\lib\site-packages (from newspaper3k) (2.31.0)
Collecting feedparser>=5.2.1 (from newspaper3k)
Downloading https://pypi.tuna.tsinghua.edu.cn/packages/7c/d4/8c31aad9cc18f451c49f7f9cfb5799dadffc88177f7917bc90a66459b1d7/feedparser-6.0.11-py3-none-any.whl (81 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 81.3/81.3 kB 4.4 MB/s eta 0:00:00
Collecting tldextract>=2.0.1 (from newspaper3k)
Downloading https://pypi.tuna.tsinghua.edu.cn/packages/fc/6d/8eaafb735b39c4ab3bb8fe4324ef8f0f0af27a7df9bb4cd503927bd5475d/tldextract-5.1.2-py3-none-any.whl (97 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 97.6/97.6 kB 5.8 MB/s eta 0:00:00
Collecting feedfinder2>=0.0.4 (from newspaper3k)
Downloading https://pypi.tuna.tsinghua.edu.cn/packages/35/82/1251fefec3bb4b03fd966c7e7f7a41c9fc2bb00d823a34c13f847fd61406/feedfinder2-0.0.4.tar.gz (3.3 kB)
Preparing metadata (setup.py) ... done
Collecting jieba3k>=0.35.1 (from newspaper3k)
Downloading https://pypi.tuna.tsinghua.edu.cn/packages