您正在学习的是试看内容,报名后可学习全部内容 报名课程

Scrapy-pipeline

Item管道的主要责任是负责处理有蜘蛛从网页中抽取的Item,他的主要任务是清洗、验证和存储数据。
当页面被蜘蛛解析后,将被发送到Item管道,并经过几个特定的次序处理数据。
每个Item管道的组件都是有一个简单的方法组成的Python类。
他们获取了Item并执行他们的方法,同时他们还需要确定的是是否需要在Item管道中继续执行下一步或是直接丢弃掉不处理。


课程资料

关注公众号:Python学习指南,回复关键词“爬虫入门”即可获取课件、源码等学习资料
Python工程师直播体验课获取地址:https://g.lgcoder.com/python2...