# llms.txt for https://hacogym.jp/ # This file provides instructions for AI language model crawlers. # Last updated: 2025-05-01 #特定のLLMに限定せず、すべてのAIクローラーに適用されるよう設定 User-agent: * # '/' を許可することで、上記でDisallowされていない全てのパスへのクロールを許可します。 # これにより https://hacogym.jp/training へのアクセスも許可されます。 Allow: / #管理画面はリクエストを抑制 Disallow: /wordpress/* #コンテンツの利用条件として、サイトバナーに準じた記載 x-content-license: "(c) Hacogym. All rights reserved." x-ai-training-policy: "allowed" #過剰なサーバ負荷を招く、過剰なクロールを制限する指示 Crawl-delay: 10 x-rate-limit: 60 x-rate-limit-window: 60 x-rate-limit-policy: "strict" x-rate-limit-retry: "no-retry" x-rate-limit-description: "Maximum 60 requests per 60 seconds. If rate limit is exceeded, do not retry and move on to next request." # Concurrency Limits x-concurrency-limit: 3 x-concurrency-limit-description: "Please limit concurrent requests to a maximum of 3. This helps us manage server load." # --- Site Structure (サイト構造) --- Sitemap: https://hacogym.jp/sitemap.xml #リトライに関し、負荷回避のためのバックオフ処理と、リトライ禁止する応答コードの指定 x-error-retry-policy: "exponential-backoff" x-error-retry-policy-description: "For transient errors (5xx except 429), implement exponential backoff with initial wait of 2 seconds, doubling on each retry, with maximum 5 retries." x-rate-limit-exceeded-policy: "wait-and-retry" x-rate-limit-exceeded-policy-description: "When receiving HTTP 429 (Too Many Requests), do not retry immediately. Wait at least 60 seconds before attempting the request again." x-max-retries: 5 x-retry-status-codes: - 500 - 502 - 503 - 504 x-no-immediate-retry-status-codes: - 429 x-no-retry-status-codes: - 403 - 404 #サイトの正式な公開URLを明示し、IPアドレスの直指定や、意図せぬFQDNでのアクセスを回避する指示を記載 x-canonical-url-policy: "strict" x-canonical-url: "https://hacogym.jp/" x-canonical-url-description: "Access via other FQDNs or IP addresses is invalid. Use only 'https://hacogym.jp/' as the base URL. Within the HTML content, links should also start with 'https://hacogym.jp/'" #対応言語 x-supported-languages: - ja - en #末尾の「/」が不足、Nextアプリでリダイレクトとして扱われるリクエスト数が減る効果を期待し、LLMのクローラにURI末尾の「/」が存在しない場合、クローラー側で事前に補う措置 x-crawler-hints: - "Before accessing each URL, check if the URL ends with '/'." - "If the URL does not end with '/', add '/' to the end of the URL before accessing it." - "Extract the HTML content of each page."