基于Scrapy的爬虫(一)

一、项目创建

1、打开cmd,将路径cd到将要创建项目的文件夹,执行命令scrapy startproject 项目名
2、新建项目下有一个spiders文件夹,将路径cd到spiders文件夹,执行命令scrapy genspider 文件名 web
3、如果第二步的文件名为basic,则运行项目时在spiders下执行命令scrapy crawl basic
4、在爬取的同时我们也可以把数据保存到文件中,通过如下命令即可:scrapy crawl basic -o items.json