クロール(Crawl)とはロボット系の検索エンジンが情報収集をしつつ巡回することです。このロボットには定められたアルゴリズムがあり、これによってWEBを巡回しています。
その手順は、あるURLを巡回し、そこに貼られるリンクに誘導されて別のページに移動します。移動した先でコンテンツを収集します。そしてそこ貼られているリンクに誘導されて、とループしていきます。機械的に行う作業なのでかなりの情報量を収集しているはずですが、巨大なサイトの場合は末端ページにまでは巡回してない可能性があります。
SEOの見地からは、次のページはクロールされない可能性があるので要注意です。
　・どこからもリンクされていないページ
　・巨大なサイトの末端のページ
　・外部のサイトからリンクされていないページ
ロボット系の検索エンジンは、現在進行形のサイトまで検索することは難しことも記憶に留めておくべきです。閲覧者が検索ボクスにキーワードを入れて検索をスタートさせても、検索エンジンが見つける情報は前回のクロールまでに情報収集したページに限られます。これは検索エンジンがホストとしているデータベースに載っているかどうかにかかっているのです。