首页
为什么要使用spydy?
spydy 是一个非常轻量的爬虫框架。兼具高性能和易用性。支持但不限于以下功能:
- 支持并发(基于协程而非传统的多进/线程)
- spydy的工作流是基于管道(pipeline)的, 所以使用 spdyd开发爬虫和搭积木一样简单直观
- 提供了日常爬虫开发的常用组件, 比如各种持久化组件和网络访问组件
- 无缝衔接开发者的自定模块
安装spydy
使用pip进行安装:
$ pip install spydy
源码位置
👉 github项目地址: spydy