Web爬虫 - 抓取网站内容的库

分类 - 设置更多关注

排序

按热度排序
437 6.1k 967

P portia:Scrapy 可视化爬取
 
10.0 3.3000000000000003
860 5.8k 2.6k

T TuShare是实现对股票/期货等金融数据从**数据采集**、**清洗加工** 到 **数据存储**过程的工具
 
10.0 0.3
352 4.2k 1.8k

M 模拟登录一些知名的网站,为了方便爬取需要登录的网站
 
10.0 0.2
  12天前
216 3.5k 1.1k

简易爬虫代理池
 
10.0 1.2
  27天前
168 2.9k 986

P Python3网络爬虫实战:VIP视频破解助手;GEETEST验证码破解;小说、动漫下载;手机APP爬取;财务报表入库;火车票抢票;抖音APP视频下载;百万英雄辅助;网易云音乐批量下载
 
10.0 4.5
  8天前
238 2.8k 937

S 收集各种爬虫 (默认爬虫语言为 python)
 
10.0 0.7000000000000001
  12天前
Popular
1.7k 27.8k 6.9k

S Scrapy:一个快速高级的网站截图和网页采集框架
 
9.0 6.7
155 2.2k 777

J 基于搜狗微信搜索的微信公众号爬虫接口
 
8.8 0.5
194 966 495

E 实时获取新浪 / Leverfun 的免费股票以及 level2 十档行情 / 集思路的分级基金行情
 
3.0 0.5
  29天前
98 952 367

P PSpider - Python3下极为简洁的爬虫框架
 
2.9 1.2
  6天前
51 951 149

F fake-useragent 伪装浏览器身份,常用于爬虫。这个项目的代码很少,可以阅读一下,看看 ua.random 是如何返回随机的浏览器身份的
 
2.9 0.0
  4月前
24 881 50

S Sukhoi 简约和强大的Web爬虫
 
2.7 0.0
76 748 263

D django-dynamic-scraper - 通过Django管理界面创建爬虫
 
2.3000000000000003 0.0
  7月前
80 740 381

P Python爬虫,京东自动登录,在线抢购商品
 
2.3000000000000003 0.0
  6月前
141 715 141

C crawl-frontier-一个灵活前沿的web 抓取框架
 
2.2 10.0
56 671 195

P 爬取微信公众号文章
 
2.0 0.0
  2年前
25 370 73

Y 租房信息聚合分析,目前聚合了 58 同城,豆瓣,链家 的上百个城市地区的租房信息,可选择只扒取你感兴趣的城市。
 
1.6 8.7
  17天前
39 449 225

QQ Groups Spider(QQ 群爬虫)
 
1.4000000000000001 0.0
  5月前
47 441 181

C 从头开始 系统化的 学习如何写Python爬虫。 Python版本 3.6
 
1.4000000000000001 0.5
  1月前