WebクローラーのWeb-Bot-Auth署名を検証してみる——ahrefsのBotがHTTP Message Signaturesで認証

概要

GoogleのクローラーBotがWeb-Bot-Auth仕様を実験実装している流れで、ahrefs.comのBotが実際にWeb-Bot-Auth署名付きリクエストを送ってきた事例を検証したブログ記事。User-Agentだけに頼らず署名検証でBotの正規性を確認できるこの仕様は、AI学習Botの適切な認証や課金にも応用できる。

詳細

• Web-Bot-AuthはBotがHTTPリクエストに署名を付けて送信する仕様（RFC 9421 HTTP Message Signaturesに準拠）
• 検証フロー：①signature-agentを読み取り→②https://{bot-domain}/.well-known/http-message-signatures-directory から公開鍵を取得→③公開鍵と各種パラメータで署名値を検証→④expiresが未超過か確認
• ahrefs.comのBotはed25519アルゴリズムで署名し、keyid・created・expires・nonceを付加
• これによりUser-Agentの偽装では通らない正規Bot認証が可能に
• GoogleのBot（Googlebot）はまだ実装していない模様

参照

• 出典: https://asnokaze.hatenablog.com/entry/2026/06/16/234607
• はてなブックマーク数: 8