后花院 | 静心思考

敦兮其若朴,旷兮其若谷

初始要求:

                1、python2.7

                2、scrapy安装配置成功


一、建立项目

        在cmd中进入到要建立项目的目录下,输入“scrapy  startproject crawldouban”【crawldouban为项目名,任意设置即可】,项目建立成功,初始目录结构

        初始目录结构

        

  • scrapy.cfg: 项目的配置文件
  • crawldouban/: 该项目的python模块。之后您将在此加入代码。
  • crawldouban/items.py: 项目中的item文件.
  • crawldouban/pipelines.py: 项目中的pipelines文件.
  • crawldouban/settings.py: 项目的设置文件.
  • crawldouban/spiders/: 放置spider代码的目录.

二、定义items 并做一些基本的设置

        1.进入items.py文件,设置你要获取的字段名称,如title,description等 设置完成后如下图:

        定义items

        2.【未完待续】

        


        

评论

© 后花院 | 静心思考 | Powered by EMLOG | Theme by NIMA

友情链接:Nutcracker