クローラとは、世界中の実在するWEBサイトを巡回するプログラムです。このプログラムにより、閲覧者はキーワードでWEB検索し、必要な情報に辿り着くことができます。
かつてはWEB製作者もキーワードをたくさん書き込めば検索エンジンに効率よく巡回してもらえるとばかり、キーワードを「白地に白」のフォントで記事本文以外にも書き込む事例がありました。また記事には関係なさそうなキーワードをも盛り込み、検索上位になりさえすれば良いとばかり記事が不自然で判りにくいものになる事例もありました。
クローラは日々進歩・改良され、上述の不自然なキーワードの盛り込みはSEOスパムと判断してペナルティを科し、検索ページに載らないような措置を講じています。つまりあたかも自動的に動くプログラムが、人間がサイトを閲覧しているような振る舞いをしているのです。このことはいずれWEBサイトの質まで判断し、一定水準に満たないサイトはふるいにかけられてしまうことを示唆します。
しかし製作者にもこのことはむしろ都合がよく、自然に書かれた記事内容のWEBサイトが埋もれて閲覧者の検索から漏れてしまうことがないということになるのです。