User-agent: *
Allow: /



dieser text von google webmaster tools runtergeladen (unter crawler zugriff)