云爬虫接口
云爬虫接口
秒级抓取全网电商数据
1.00元/100次 100.00元/1000次 700.00元/10万次 5000.00元/100万次
(约元/次) 立即申请
支持全网电商数据抓取

承载海量并发

可扩张的分布式爬虫集群,能承载海量并发请求

准实时回调

90%以上的抓取结果在 3 秒内回调给用户接口

有效解决技术难点

可帮助企业解决爬虫代理、反反爬等技术难点

function

功能介绍

云爬虫提供 API 给用户提交抓取地址,并确保 100% 抓取到数据,异步将数据 POST 给用户提供的回调接口地址。

功能介绍

API 接口提交抓取地址,按次数收费。

功能介绍

数据全面,异步回调用户接口。

功能介绍

支持淘宝、1688、京东和拼多多等全网电商商品数据。

developer's

guide

开发指南

1.抓取提交接口

接口地址https://api-crawler.abuyun.com/queries
返回格式JSON
请求方式POST
请求参数说明
字段必填类型说明
signstring调用签名:小写md5(md5(license&secret&out_biz_id))
licensestring授权 apiKey
modulestring抓取模块
typestring模块子类型
source_urlstring抓取目标地址
callback_urlstring结果回调地址
out_biz_idstring用户自定义业务 ID
支持模块
moduletype支持 source_url 示例说明
taobaoitemhttps://item.taobao.com/item.htm?id=37152371994
https://detail.tmall.com/item.htm?id=572801892322
淘宝商品详情
jditemhttps://item.jd.com/26272067602.html京东商品详情
ali1688itemhttps://detail.1688.com/offer/601199954925.html1688 商品详情
pdditemhttps://m.yangkeduo.com/goods.html?goods_id=51555651516拼多多商品详情
返回参数说明
字段类型说明
codestring状态码
messagestring错误提示
dataobject结果返回,参见 json 返回示例
JSON 返回示例
                              
/****失败示例**/
{
    "message": "valid api key desired",
    "code": 10001
}

/****成功示例**/
{
    "code": 0,
    "data": {
        "trace_id": "任务跟踪 id",
    }
}
                              
                            

2.结果回调

抓取到结果后,平台将结果 POST 请求用户提交的 callback_url 地址
返回参数说明
字段类型说明
codenumber状态码
messagestring错误提示
signstring回调签名:小写md5(md5(license&secret&cb_time))
cb_timenumber回调时间
modulestring抓取模块
typestring模块子类型
out_biz_idstring用户自定义业务 ID
raw_htmlstring抓取到的目标页结果

3.余量查询接口

接口地址https://api-crawler.abuyun.com/license/info
返回格式JSON
请求方式GET
请求参数说明
字段必填类型说明
signstring调用签名:小写md5(md5(license&secret&time))
licensestring授权 apiKey
timenumber10位时间戳
返回参数说明
字段类型说明
codenumber状态码
messagestring错误提示
dataobject凭证数据
JSON 返回示例
                              
/****失败示例**/
{
    "message": "valid api key desired",
    "code": 10001
}

/****成功示例**/
{
    "code":0,
    "data": {
        "left":999,
        "license":"A123456789012345678901234567890"
    }
}
                              
                            
系统级错误码参照
错误码说明
10001该服务需要apiKey
10002无效apiKey
10003该apiKey无请求权限
服务级错误码参照
错误码说明
10004请求参数错误
10005请求签名错误
20001抓取模块或 url 错误
体验服务
现在开始,体验阿布云大数据服务
计算、网络、大数据、人工智能,阿布云助您飞跃发展