2020.6.21 scrapy 坑

发布于 2020-06-21  31 次阅读


1.复习内容

2.灵感代办

3.学习内容

  • 周日休息一天

  • scrapy坑

    • scrapy-Request中的回调函数不执行

      • 1.加上参数dont_filter=True(去重)
      • 2.查看是不是allowed_domains范围内的url
      • 3.yield Request 改为yield scrapy.http.Request
    • scrapy-Pipelines不执行
      • 一定要yield item 否则无法执行
    • scrapy items field 类型
      • 可以放入列表,元组,字典,

4.扩展延伸知识

5.知识内容个人梳理

6.今天都复习了之前的什么内容


Ares个人进阶之路