【WordPress】OpenAIからのクローラーをrobots.txtでブロックしてみた【プラグイン】

対話型生成AIのChatGPTを提供するOpenAIのクローラーが、あまりよろしくない挙動をしているというのを見かけたので、WordPressのプラグインを用いてrobotsを記述し、OpenAIからのクローラーをブロックしてみたという話です。

OpenAIのクローラーの挙動がよろしくない？

見かけたのはこちらのツイートです。

うちのサイト攻撃されてる？

と思ってUA見たらOpenAIからのクローラーだった。

自動BANされまくってるのに無尽蔵のIPアドレスで以ってゲートオブバビロン並みに四方八方から矢継ぎ早にアクセスし続けてくるの、宗旨替えして大嫌いになりそう。

Googleクローラーと違ってメリットもないし。

— バフェット・コード (@buffett_code) October 18, 2023

いずれにせよ学習用に利用されるだけで「Googleクローラーと違ってメリットもない」というのは、確かにそうかもしれません。

ドキュメントを見ると、ChatGPTのクローラーbotを弾く設定があったので、WordPressで設定してみることにしました。

User-agent: GPTBot
Disallow: /

サーバーのルートにある「robots.txt」に書き加えるだけで使用できる設定です。WordPressを使用しているので、プラグインから編集することができて簡単でした。

WordPressでrobotsを編集する方法

WordPressのプラグインを検索したところ「WP Robots Txt」という、robots.txtを編集するプラグインがあったので、これを使用しました。

「WP Robots Txt」プラグインをインストールして有効化すると、WordPressのメニューの「設定」にある「表示設定」に「Robots.txt Content」という項目が追加されます。

そこからダイレクトにrobots.txtを編集することが可能になるので簡単です。

WordPressでrobotsを編集する方法も学ぶことができたので、結果的に良かったです。