Scrapy入门（三）-调试(Debugging)Spiders

Abel sun2022年12月24日约 196 字小于 1 分钟

1. 背景

而Scrapy的爬虫通常是在命令行中启动的，我们怎么去调试呢？

写入以下代码

# -*- coding: utf-8 -*-

from scrapy import cmdline


name = 'douban_movie_top250'
cmd = 'scrapy crawl {0}'.format(name)
cmdline.execute(cmd.split())

其中name参数为spider的name。接着在spider文件中设置断点。

返回run.py文件中右键选择Debug。

最后程序就会在断点处暂停，我们就可以查看相应的内容从而进行调试。

昵称

邮箱

网址