Skip to content

首页

logo


为什么要使用spydy?


spydy 是一个非常轻量的爬虫框架。兼具高性能和易用性。支持但不限于以下功能:

  • 支持并发(基于协程而非传统的多进/线程)
  • spydy的工作流是基于管道(pipeline)的, 所以使用 spdyd开发爬虫和搭积木一样简单直观
  • 提供了日常爬虫开发的常用组件, 比如各种持久化组件和网络访问组件
  • 无缝衔接开发者的自定模块

安装spydy


使用pip进行安装:

$ pip install spydy

源码位置

👉 github项目地址: spydy