En la última entrega de la serie de vídeos Ask Googlebot en YouTube, con la que Google ofrece interesante información a los usuarios, John Mueller respondió sobre cómo evitar que el contenido de una página web indexe en las búsquedas y si eso es algo que los sitios webs pueden hacer.
“En resumen, sí se puede”, afirmó Mueller respecto a este tema. Y el experto de Google mostró tres formas para ocultar una web de los resultados de búsqueda y explicó cuál se debería utilizar dependiendo de la situación. ¡Te lo contamos!
Cómo evitar que un contenido indexe en las búsquedas
Según Google, existen tres maneras de evitar que un contenido indexe y con ello conseguir ocultar un sitio web de los resultados de búsqueda. Se puede utilizar una contraseña, bloquear el rastreo o bloquear la indexación.
Una página web puede decidir no ser indexada o puede optar por ser indexada y ocultar el contenido a los robots de Google a través de una contraseña. Y has de saber que esto no va en contra de las directrices para webmasters siempre que se bloquee a los usuarios al mismo tiempo. Es decir, si un sitio está protegido por una contraseña para el rastreo de Google, también ha de estar para los usuarios. El problema surge cuando una página web ofrece un contenido diferente para los robots de Google que para los usuarios y esto es conocido como “cloacking” y va en contra de las directrices de la compañía americana.
Para no encontrar problemas con estas directrices, estos son los métodos correctos de ocultar contenido a los motores de búsqueda:
Proteger una web a través de una contraseña
Para contar con un sitio web privado, una de las mejores opciones es bloquearlo con una contraseña. Con ello, ni motores de búsqueda ni usuarios podrán ver el contenido.
Esta opción suele recomendarse para los sitios web en desarrollo. Así Google no accederá a una página que aún no está lista para ser vista.
Bloquear el rastreo
Otra de las alternativas que impide que las arañas de Google accedan a una web, es bloquear el rastreo. Para ello, se utiliza el archivo robots.txt. Así se puede acceder a una página a través de un enlace directo, y esta no será reconocida por los motores de búsqueda. Aunque, según Mueller, no es la mejor opción ya que los motores de búsqueda pueden indexar la dirección de un sitio web sin tener acceso a su contenido.
Bloquear la indexación
Como tercera opción, nos encontramos con bloquear la indexación de una página web. Hacer esto es sencillo, basta con añadir una etiqueta meta noindex a tus páginas. Así, a través de una etiqueta no index, se les indica a los motores de búsqueda que no indexen una página hasta que la rastreen. Y respecto a los usuarios, estos no ven la metaetiqueta y pueden acceder a la web con total normalidad.
Conclusión de John Mueller
Según John Mueller, la mejor opción es utilizar una contraseña y así lo indica en este episodio de vídeos Ask Googlebot en YouTube.
«En general, para el contenido privado, nuestra recomendación es utilizar la protección por contraseña. Es fácil comprobar que funciona y evita que cualquiera pueda acceder a tu contenido. Bloquear el rastreo o la indexación son buenas opciones cuando el contenido no es privado. O si sólo hay partes de un sitio web que quieres evitar que aparezcan en las búsquedas».
