Сегодня получил от гуглы предупреждение об ошибке на странице своего сайта.
Самое интересное, что эта страница была запрещена к индексированию в файле robots.txt. Перешёл на страницу предупреждения в гугле, чтобы поинтересоваться, что им так не нравится, а там висит интересная надпись:
Цитата:
На данной странице обнаружена ошибка.Страница была проиндексирована, не смотря на запрет в файле robots.txt
то есть, грубо говоря, гугле фиолетово на этот файл. она его читает, но не исполняет. поискал в сети и нашёл решение:
необходимо на той странице в шапке в <head>, где прописаны все мета-тэги, добавить код запрета на индексирование.
Код: Выделить всё
<meta name="robots" content="noindex,nofollow" />добавил код, очистил кэш, после чего вернулся обратно на страницу гуглы и попробовал проиндексировать страницу с ошибкой ещё раз. и "ура!" - гугла написала, что сделать это невозможно, так как страница закрыта от индексирования.
после этого я (для форума phpbb 3.0) удалил в robots.txt запрет на сканирование php-файлов для внутреннего употребления (и само собой всех страниц, связанных с этим) и прописал в шапке сайта весь набор запрета с условиями применения:
в файле robots.txt удалил
Код: Выделить всё
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /style.php
Disallow: /search.php
Disallow: /viewonline.php
Disallow: /viewchat.phpВ файле overall_header.html найти (примерно. в любое место в пакете мета-тэгов можно вставить)
Код: Выделить всё
<meta name="distribution" content="global" />вставить после
Код: Выделить всё
<!-- IF SCRIPT_NAME == "mcp" --><meta name="robots" content="noindex,nofollow" /><!-- ENDIF -->
<!-- IF SCRIPT_NAME == "memberlist" --><meta name="robots" content="noindex,nofollow" /><!-- ENDIF -->
<!-- IF SCRIPT_NAME == "posting" --><meta name="robots" content="noindex,nofollow" /><!-- ENDIF -->
<!-- IF SCRIPT_NAME == "report" --><meta name="robots" content="noindex,nofollow" /><!-- ENDIF -->
<!-- IF SCRIPT_NAME == "style" --><meta name="robots" content="noindex,nofollow" /><!-- ENDIF -->
<!-- IF SCRIPT_NAME == "viewonline" --><meta name="robots" content="noindex,nofollow" /><!-- ENDIF -->
<!-- IF SCRIPT_NAME == "viewchat" --><meta name="robots" content="noindex,nofollow" /><!-- ENDIF -->
<!-- IF SCRIPT_NAME == "search" --><meta name="robots" content="noindex,nofollow" /><!-- ENDIF -->может кому и пригодится. гугла больше не ругается и не лезет куда не надо.
