Mappy Crawler 仕様

クローリングポリシー

特定のWebサイトに集中的かつ作為的なアクセスは行いません

独自のURL選定アルゴリズムが「アクセス先Webサイトの負荷回避」のみを考慮しクロールの順番を決定しております。 特定のWebサイトやページに集中的かつ作為的にアクセスすることは一切行っておりません。

UserAgentは常に出力し続けます

クローラーは常にMappyのUserAgentを出力しWebページにアクセスします。

広告リンクは巡回しません

Webページに表示されている広告(バナー広告やネイティブ広告、アフィリエイト広告など)のリンクをクローラーが巡回することはありません。 又、Canonicalで指定されているURLの規則性から正規ページのURLを抽出し、それら正規URLのみを極力巡回対象とするようクロール先URLリストの精査とチェックを定期的に行っております。

アクセスしたWebページのCookieを保存しません

Cookieを保存した状態で他のWebページにアクセスすることはありません。すべてのCookieは削除しています。

アクセス解析タグや広告測定タグを読み込みません

巡回先Webページのアクセス解析データに当クローラーのアクセスデータを混在させる事を防ぐべく、 GoogleタグマネージャーやGoogleAnalyticsなど、一般的な解析タグの読込&リクエストを排除しております。 (※2018年2月下旬から)