Phân tích robots.txt API

Tải và phân tích robots.txt của website thành nhóm user-agent, quy tắc allow/disallow, sitemap, và kiểm tra một đường dẫn có được crawl không.

Tham số

Ví dụ

curl "https://apibox.io.vn/v1/robots-txt?url=https://github.com&path=/search&user_agent=Googlebot" \
  -H "Authorization: Bearer YOUR_API_KEY"

const res = await fetch('https://apibox.io.vn/v1/robots-txt?url=https://github.com&path=/search&user_agent=Googlebot', {
  method: 'GET',
  headers: {
    Authorization: 'Bearer YOUR_API_KEY',
  },
});
const data = await res.json();
console.log(data);

import requests

res = requests.get(
    "https://apibox.io.vn/v1/robots-txt?url=https://github.com&path=/search&user_agent=Googlebot",
    headers={"Authorization": "Bearer YOUR_API_KEY"},
    timeout=30,
)
print(res.json())

<?php
$ch = curl_init('https://apibox.io.vn/v1/robots-txt?url=https://github.com&path=/search&user_agent=Googlebot');
curl_setopt_array($ch, [
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_HTTPHEADER => ['Authorization: Bearer YOUR_API_KEY'],
]);
$response = curl_exec($ch);
print_r(json_decode($response, true));

Kết quả trả về

{
  "robots_url": "https://github.com/robots.txt",
  "status": 200,
  "exists": true,
  "groups": [
    {
      "user_agents": [
        "GPTBot",
        "OAI-SearchBot",
        "ChatGPT-User",
        "ClaudeBot"
      ],
      "allow": [
        "/*?tab=achievements&achievement=*",
        "..."
      ],
      "disallow": [
        "/account-login",
        "/copilot/",
        "/gist/",
        "/search$",
        "..."
      ],
      "crawl_delay": 1
    },
    {
      "user_agents": [
        "Bytespider"
      ],
      "allow": [],
      "disallow": [
        "/"
      ]
    },
    {
      "user_agents": [
        "*"
      ],
      "allow": [
        "/*?tab=achievements&achievement=*",
        "..."
      ],
      "disallow": [
        "/account-login",
        "/copilot/",
        "/gist/",
        "/search$",
        "..."
      ]
    }
  ],
  "sitemaps": [
    "https://github.com/sitemap_marketing.xml"
  ],
  "path": "/search",
  "user_agent": "Googlebot",
  "allowed": false,
  "raw": "# If you would like to crawl GitHub contact us via https://support.github.com?tags=dotcom-robots\n# We also provide an extensive API: https://docs.github.com\nSitemap: https://github.com/sitemap_marketing.xml\n\nUser-agent: GPTBot\n..."
}

Ứng dụng

• Kiểm tra Googlebot hoặc crawler khác có được truy cập một trang không
• Tìm các sitemap mà website khai báo
• Giúp crawler hoặc công cụ scrape của bạn tuân thủ robots.txt
• Kiểm tra quy tắc chặn bot AI (GPTBot, ClaudeBot...) của website

Hỏi đáp

API liên quan