Bright Data Run Scraper
通过 Bright Data 采集器按网址或查询条件采集数据记录。必填参数为 search_scrapers 返回的 dataset_id、从该采集器 collection_methods 中逐字复制的 method,以及至少包含一个对象的 input 数组;每个对象对应一个网址或查询。运行前应调用 get_scraper_details 查看该 dataset_id 和 method 的要求,并按 sample_input 或 input_fields 构造输入对象。collect_by_url 每项输入返回一条记录;discover_by_* 方法每项输入最多返回 limit_per_input 条记录。可选参数 limit_per_input 仅适用于发现类方法,取值为 1 至 1000 的整数,默认 10。每条返回记录均计费。调用最多等待 45 秒:完成时返回采集记录,仍在处理时返回 snapshot_id 和 status="running"。此时通过 get_scraper_progress 查询状态,就绪后调用 get_scraper_results 获取记录。记录中的 error 字段说明对应输入的失败原因,其他记录字段取决于所选采集器及方法。
价格说明
| 条件 | 费用 |
|---|---|
| 每次调用 | 按实际返回记录数收费,每条1.8 AE积分。 |
起价适用于:成功调用且返回记录数至少为1。因输入错误而失败的返回记录仍计费。collect_by_url 每项输入返回一条记录;discover_by_* 的返回记录数受每项输入的发现上限影响,费用按实际返回记录数计算。
工具参数
未传入的可选参数将使用平台默认值。
| 参数 | 类型 | 必填 | 说明 | 默认值 |
|---|---|---|---|---|
input | array | 是 | List of input objects shaped like sample_input from get_scraper_details, with one object per URL or query to process. | — |
method | string | 是 | One of the scraper collection_methods, exactly as listed (some names are misspelled on purpose) | — |
dataset_id | string | 是 | dataset_id from search_scrapers | — |
limit_per_input | integer | 否 | discover_by_* only | 10 |
调用示例
提交任务并查询完成结果
/agent-api/v1/tool/executeX-Api-Key先提交任务,再用返回的 task_id 查询,直至完成。
curl --request POST \
--url 'https://agentearth.ai/agent-api/v1/tool/execute?tool_name=ae_brightdata_run_scraper' \
--header "X-Api-Key: $AGENTEARTH_API_KEY" \
--header 'Content-Type: application/json' \
--data-raw '{
"params": {
"dataset_id": "gd_le8e811kzy4ggddlq",
"input": [
{
"max_reviews": 25,
"reviews_to_not_include": [],
"url": "https://www.amazon.com/dp/B0B2P9YMFG",
"variation_specific": true
}
],
"method": "collect_by_url"
}
}'{
"description": "task accepted; poll the result via query_tool with this task_id",
"query_tool": "ae_get_result",
"status": "created",
"task_id": "0a4e941f-df47-4e50-8447-4533e13b8bd3"
}返回示例仅展示部分内容,不代表完整响应;复制内容为合法 JSON。
使用该工具的指南
看看真实工作流里怎么用这个工具

