クローラーはDMOZやYahoo!Japan等の大手ディレクトリを起点として、リンクをたどってWEBページを収集します。そして、収集された各ページはデータベース化されます。クローラーにクロールされる為の要件は、「Yahoo!JapanまたはDmoz等に掲載されるか、Yahoo!JapanまたはDmoz等から間断なくリンクが自分のサイトのページまで続いていること。」となります。
「間断なくリンクが続いている」とは、「起点のディレクトリから自分のサイトまでのリンクが検索エンジンに認識される形式で継続すること」をいいます。
次の3点を満たす必要があります。
１．自分のサイトのページに直接リンクを張っているページ（発リンクページ）が検索エンジンに認識されていること（インデックスされているといいます。）。
２．そのインデックスがクローラーの終点となっていないこと。
３．そのリンクが検索エンジンに認識されるリンク形式であること。
です。
まず、１の点を確認するためには、発リンクページのURLをGoogleの検索窓に入力して、検索してみるとわかります。インデックスされている場合には、そのページの情報が表示されます。逆に、表示されない場合はインデックスされていません。
次に、２の点を確認するためには、まず、そのページのページランクを確認します。ページランクというのは、Googleがつけるページ自体の点数で す。Googleツールバーをインストールして、ページランクを確認したいページを表示させるとツールバーに表示されます。もし、ページランクが１以上付 いていれば、終点ではありません。問題なのは、ページランクが0の場合です。ページランクが0の場合は判断が少し難しくなります。確認できているケース は、URLの先にパラメーターが複数ついているページ（動的に生成されているページ）で終点となっているのを確認しています。無料のリンク集などでは、こ のケースが多いようです。
最後に、３の点ですが、リンクが<a href=”www.seo-seminar.com/>seoセミナー</a>のように、「<a href=”url”」ではじまって、「</a>」で終わるリンクは、問題なく検索エンジンに認識されます。アンカーテキスト部分（リンクを示す文字列。この場合は、「SEOセミナー」）が画像の場合、たとえば<a href=”www.seo-seminar.com/><img src=”./gazo.gif” alt=”SEOセミナー”></a>のようなリンクも大丈夫です。クリッカブルマップなども最近では、認識されるようになりました。java scriptでも*****この形式ならOKです。問題なのは、Flashの中からのリンクやJava scriptで記述された*****このようなリンク、そして、*****このようなリダイレクトをかけているリンクなどです。これらのリンクを、検索エンジンは認識しません。
以上の要件を満たすリンクを１つ以上もらっていると、クローラーのクロールを受けることができます。条件がそろってから、クロールを受けるまでの期間は、決まっていませんが、長くて1ヶ月程度です。
