• webBee 基于jdk8 是一个持续成长的垂直爬虫框架项目
• webBee 遵循MIT开源协议
• webBee 是一个不错的 java 进阶项目
• 欢迎大家贡献代码，如果觉得这个项目不错，请为它 点赞

设计初衷

• 设计简洁，面向接口
• 配置简单，明了
• 一次配置，自动匹配

涉及技术栈

• httpcomponents
• jsoup
• redis
• 代理
• 多线程

即将完善的内容

• 分布式爬取
• 代理接口
• 通过配置智能寻找目标 url
• 图片、视频的处理
• 可对熊猫tv、斗鱼tv等弹幕网站弹幕监听分析
• 制作一个炫酷的官网实例
• 抓取过于频繁，服务器返回429.这个时候需要切换代理IP了，推荐使用阿布云代理,阿布云代理IP,提供高匿代理,爬虫代理.

开源地址：https://github.com/pkwenda/webBee