特定のホストと特定のクロール コンポーネントに適用される規則です。それは、そのクロール コンポーネントがそのホストからのドキュメントがクロールすることを確保するために使用されます。