Google acaba de publicar una guía de cómo gestionan ellos el fichero robots.txt y consejos que deberían seguir los webmaster para mejorar la funcionalidad de este archivo, sabiendo en todo momento qué queremos que Google y otros buscadores muestren en los resultados de sus búsquedas.

http://code.google.com/intl/es-ES/web/controlcrawlindex/docs/getting_started.html