Web爬虫 - 抓取网站内容的库

分类 - 设置更多关注

排序

按热度排序
428 5.9k 910

P portia:Scrapy 可视化爬取
 
10.0 0.3
326 3.6k 1.6k

M 模拟登录一些知名的网站,为了方便爬取需要登录的网站
 
10.0 0.3
  28天前
212 3.4k 823

? 🔞 全球最大成人网站PornHub爬虫 (Scrapy、MongoDB) 一天500w的海量数据
 
10.0 0.5
  16天前
117 2.5k 290

G 各种不同语言实现的爬虫程序和爬虫框架集合
 
10.0 0.8
  19天前
Popular
1.7k 25.8k 6.5k

S Scrapy:一个快速高级的网站截图和网页采集框架
 
9.0 9.3
24 885 51

S Sukhoi 简约和强大的Web爬虫
 
2.8000000000000003 0.0
89 865 348

P PSpider - Python3下极为简洁的爬虫框架
 
2.7 1.7000000000000002
  19天前
175 790 452

E 实时获取新浪 / Leverfun 的免费股票以及 level2 十档行情 / 集思路的分级基金行情
 
2.5 0.5
  1月前
45 736 120

F fake-useragent 伪装浏览器身份,常用于爬虫。这个项目的代码很少,可以阅读一下,看看 ua.random 是如何返回随机的浏览器身份的
 
2.2 1.2
  14天前
69 695 246

D django-dynamic-scraper - 通过Django管理界面创建爬虫
 
2.1 0.0
  3月前
55 652 190

P 爬取微信公众号文章
 
2.0 0.0
  2年前
67 621 334

P Python爬虫,京东自动登录,在线抢购商品
 
1.9 0.0
  2月前
137 620 131

C crawl-frontier-一个灵活前沿的web 抓取框架
 
1.9 3.7
39 393 125

Z 知乎爬虫(验证码自动识别)
 
1.2 0.0
  1年前
33 380 183

QQ Groups Spider(QQ 群爬虫)
 
1.2 1.3
  1月前
46 370 240

Q QQ空间爬虫(日志、说说、个人信息)
 
1.2 0.0
  1年前
43 368 58

M Malspider是一个网络爬虫框架,它检测网络依赖性的特点
 
1.1 0.0
7 312 67

J 基于scrapy + splash的开源爬虫并在爬取中动态维护ip,解决ip和js问题
 
1.1 0.0
  3月前
56 339 211

M MSpider - 一个简单、容易使用的Spider使用gevent和js渲染器
 
1.0 0.0
  1年前
32 266 110

C 从头开始 系统化的 学习如何写Python爬虫。 Python版本 3.6
 
0.8999999999999999 2.2
  10天前