免责声明:本文所记录的技术手段及实现过程,仅作为爬虫技术学习使用,不对任何人完全或部分地依据本文的全部或部分内容从事的任何事情和因其任何作为或不作为造成的后果承担任何责任。
爬取需求:爬取网易新闻首页展示的相关新闻的标题、时间、来源、内容、链接
爬取工具:chrome浏览器、pycharm
Python库:scrapy
01
网站结构分析
通过输入,打开网易新闻网站首页:
通过右键检查,打开网页新闻html分析页面,查看相关新闻链接信息:
新闻链接如下所示: