Web爬虫 - 抓取网站内容的库

分类 - 设置更多关注

排序

按热度排序
Popular
250 6k 1.8k

12306智能刷票,订票
 
10.0 10.0
  昨天
258 5.9k 1.6k

B 「一个」、「Time 时光」、「有道词典」、「微软必应词典」、「豆瓣电影」、「中央天气」、「小米天气」、「魅族天气」、「每日一文」、「12306」、「途牛」、「快递100」、「快递」应用 Api。仅供学习,禁止商业使用,侵权请联系删除。
 
10.0 0.5
  7天前
363 4.5k 1.6k

Y 越来越多的网站具有反爬虫特性,有的用图片隐藏关键数据,有的使用反人类的验证码,建立反反爬虫的代码仓库,通过与不同特性的网站做斗争(无恶意)提高技术
 
10.0 0.2
  11天前
277 3.3k 934

X 新浪微博爬虫(分布式),部署简单,接口丰富,文档详细,视频支持,可灵活定制满足自己的需求。抓取内容(PC端)包括微博用户资料、特定关键词微博、用户主页所有微博、评论信息和转发信息。欢迎watch跟进
 
10.0 0.3
  22天前
277 3.3k 934

Y 一个采用celery和requests构建的微博分布式爬虫
 
10.0 0.3
  22天前
201 2.9k 970

J 基于搜狗微信搜索的微信公众号爬虫接口
 
10.0 0.7000000000000001
1.8k 31.1k 7.4k

S Scrapy:一个快速高级的网站截图和网页采集框架
 
9.0 5.8
65 2k 172

S 自动化的代理 IP 爬取与验证 易用的 JSON API 简单但美观的 web 用户界面,基于 TypeScript 和 React(例如,代理的地理分布) 最少仅用一条命令即可启动 简明直接的编程 API(将在 1.1 版本中加入) 无头浏览器(headless browser crawling)爬虫
 
8.299999999999999 0.8
24 883 49

S Sukhoi 简约和强大的Web爬虫
 
2.7 0.0
156 876 158

C crawl-frontier-一个灵活前沿的web 抓取框架
 
2.6 0.7000000000000001
88 847 427

P Python爬虫,京东自动登录,在线抢购商品
 
2.6 0.0
  1年前
78 818 269

D django-dynamic-scraper - 通过Django管理界面创建爬虫
 
2.5 0.0
  1年前
56 696 201

P 爬取微信公众号文章
 
2.1 0.0
  3年前
64 671 271

C 从头开始 系统化的 学习如何写Python爬虫。 Python版本 3.6
 
2.0 0.0
  4月前
23 658 37

A 用asyncio和aiohttp编写的轻量级异步微框架旨在使爬取URL尽可能方便
 
2.0 10.0
  昨天
29 559 103

Y 租房信息聚合分析,目前聚合了 58 同城,豆瓣,链家 的上百个城市地区的租房信息,可选择只扒取你感兴趣的城市。
 
1.7000000000000002 3.3000000000000003
  3天前
48 547 260

QQ Groups Spider(QQ 群爬虫)
 
1.7000000000000002 0.0
  1年前
45 465 140

Z 知乎爬虫(验证码自动识别)
 
1.4000000000000001 0.0
  8月前
49 461 276

Q QQ空间爬虫(日志、说说、个人信息)
 
1.4000000000000001 0.0
  2年前