Bright Data Run Scraper

1.8积分/次起
ae_brightdata_run_scraper

通过 Bright Data 采集器按网址或查询条件采集数据记录。必填参数为 search_scrapers 返回的 dataset_id、从该采集器 collection_methods 中逐字复制的 method,以及至少包含一个对象的 input 数组;每个对象对应一个网址或查询。运行前应调用 get_scraper_details 查看该 dataset_id 和 method 的要求,并按 sample_input 或 input_fields 构造输入对象。collect_by_url 每项输入返回一条记录;discover_by_* 方法每项输入最多返回 limit_per_input 条记录。可选参数 limit_per_input 仅适用于发现类方法,取值为 1 至 1000 的整数,默认 10。每条返回记录均计费。调用最多等待 45 秒:完成时返回采集记录,仍在处理时返回 snapshot_id 和 status="running"。此时通过 get_scraper_progress 查询状态,就绪后调用 get_scraper_results 获取记录。记录中的 error 字段说明对应输入的失败原因,其他记录字段取决于所选采集器及方法。

效率工具
1.8积分/次起

价格说明

1.8积分/次起
条件费用
每次调用按实际返回记录数收费,每条1.8 AE积分。

起价适用于:成功调用且返回记录数至少为1。因输入错误而失败的返回记录仍计费。collect_by_url 每项输入返回一条记录;discover_by_* 的返回记录数受每项输入的发现上限影响,费用按实际返回记录数计算。

工具参数

未传入的可选参数将使用平台默认值。

参数类型必填说明默认值
inputarray是List of input objects shaped like sample_input from get_scraper_details, with one object per URL or query to process.—
methodstring是One of the scraper collection_methods, exactly as listed (some names are misspelled on purpose)—
dataset_idstring是dataset_id from search_scrapers—
limit_per_inputinteger否discover_by_* only10

调用示例

提交任务并查询完成结果

POST/agent-api/v1/tool/executeX-Api-Key

先提交任务,再用返回的 task_id 查询,直至完成。

请求代码request.sh
curl --request POST \
  --url 'https://agentearth.ai/agent-api/v1/tool/execute?tool_name=ae_brightdata_run_scraper' \
  --header "X-Api-Key: $AGENTEARTH_API_KEY" \
  --header 'Content-Type: application/json' \
  --data-raw '{
  "params": {
    "dataset_id": "gd_le8e811kzy4ggddlq",
    "input": [
      {
        "max_reviews": 25,
        "reviews_to_not_include": [],
        "url": "https://www.amazon.com/dp/B0B2P9YMFG",
        "variation_specific": true
      }
    ],
    "method": "collect_by_url"
  }
}'
返回示例response.json
JSON部分内容
{
  "description": "task accepted; poll the result via query_tool with this task_id",
  "query_tool": "ae_get_result",
  "status": "created",
  "task_id": "0a4e941f-df47-4e50-8447-4533e13b8bd3"
}

返回示例仅展示部分内容,不代表完整响应;复制内容为合法 JSON。

使用该工具的指南

看看真实工作流里怎么用这个工具