1 豆瓣爬取
迪丽瓦拉
2025-05-28 20:10:21
0次
1 创建项目
scrapy startporject douban
2.修改模板 item.py
class DoubanItem(scrapy.Item):# define the fields for your item here like:name = scrapy.Field()info = scrapy.Field()score = scrapy.Field()desc = scrapy.Field()
3. 生成一个爬虫
scrapy genspider movie douban.com
4.修改初始url
5. 提取相应中的所有节点
运行：
结果显示403：
修改请求头：
再次运行：
翻页实现
1.右键 检查
使用 span的class 
解析数据：
