Mappy Crawler

English dsicription about Mappy is here

Mappy CrawlerとはWWW上のあらゆるWebページにアクセスしコンテンツデータを収集・解析するクローラーです。当クローラーは株式会社Coreによって運用されています。

Type/Purpose(目的) General acted Invalid Traffic / SearchEngine and Marketing Analyze(検索エンジン及びマーケティング解析)
Robots.txt Disallow Obey(ドメイン直下のrobots.txtを認識し、Disallowがある場合はアクセスを止めます)
Robots.txt Crawl Delay Not Obey(認識しませんが一定の間隔を開けてアクセスをします)
UserAgent Mozilla/5.0 (compatible; Mappy/1.0; +http://mappydata.net/bot/)
IP Range Not fixed IPs(固定IPアドレスなし)
Cookie Not hold and save Cookie(保持・記録せず)
Web Page Rendering Yes(WebページはHTMLレンダリングエンジンを用いてレンダリング処理・解析します)

Mappy CrawlerのUserAgent

2017年12月現在、下記のUserAgentを採用しています。尚、UserAgentは告知なく変更される場合がございます。

Mozilla/5.0 (compatible; Mappy/1.0; +http://mappydata.net/bot/)

ページクロール目的

弊社が取得したURL(Webページ)をクローリングし、マーケティングデータや言語データを解析し、検索エンジンContenSearchなどを提供しています。

クロールポリシー

クローラー「Mappy」はドメイン直下に設置されたrobots.txtを遵守します。 同一サブドメインへアクセスする際は一定の間隔をあけてアクセスし、Webサーバーへの負荷を出来る限り軽減するように配慮します。

その他、仕様およびクローリングポリシーはこちらを御覧ください。

Mappy Crawlerによるアクセスをブロックする方法

[方法1] robots.txtによるアクセス制限

ドメイン直下にrobots.txtを設置し、Disallowを用いてMappyを指定する事でMappy Crawlerのアクセスを制限する事ができます。robots.txt更新数日後にクローラーによるアクセスが制限されます。

Robots.txtに関する仕様はこちらを御覧ください。

▼Webサイト全体のアクセスを禁止する場合
User-agent: Mappy
Disallow: /
[方法2] ご連絡によるアクセス制限

こちらのフォームから申請する事で、1~2営業日で対応致します。

その他、Mappyクローラーに関するお問い合わせ


About Mappy

Mappy Crawler is a crawler that accesses every web page on the world wide web to collect and analyze content data, and supply Search Engine ContenSearch and other marketing services. This crawler is operated by Core Inc in Japan.

Mappy Crawler's UserAgent

As of December 2017, we have adopted the following UserAgent. Please note that the UserAgent may be changed without notice.

Mozilla/5.0 (compatible; Mappy/1.0; +http://mappydata.net/bot/)

The Purpose of Page Crawling

URL's (web pages) acquired by our firm are crawled, and such things as their marketing and language data are analyzed.

Crawl Policy

The crawler "Mappy" adheres to robots.txt, which is installed directly under the domain. Also, when accessing the same sub domain multiple times, access is carried out at regular intervals to reduce the load on the web server as much as possible.

How to Block Access by Mappy Crawler

[Method 1] Restrict access via robots.txt

By using Disallow of robots.txt, you can restrict access by Mappy Crawler. Crawler access will be restricted several days after robots.txt is updated.

Please read this more about Robots.txt protocol

When prohibiting access to the entire website
User-agent: Mappy
Disallow: /
[Method 2] Restrict access via contact

By filling out this form, we will provide support within 1 - 2 business days.

If you have a question, please contact us with this form(Japanese will be displayed, but you can send in Enlish)