info navigation

phpbb-belk.ru

темы, связанные с форумом phpbb 3.0.x



Новая тема  [ Сообщений: 2 ]  Просмотры: 598

Автор Сообщение
Не в сети
(Андрей)  
Администратор
Аватара пользователя

Стаж: 8 лет 10 месяцев 3 дня
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Запрет для гуглы на индексирование

Сегодня получил от гуглы предупреждение об ошибке на странице своего сайта.
Самое интересное, что эта страница была запрещена к индексированию в файле robots.txt. Перешёл на страницу предупреждения в гугле, чтобы поинтересоваться, что им так не нравится, а там висит интересная надпись:

Цитата:
На данной странице обнаружена ошибка.
Страница была проиндексирована, не смотря на запрет в файле robots.txt


то есть, грубо говоря, гугле фиолетово на этот файл. она его читает, но не исполняет. поискал в сети и нашёл решение:

необходимо на той странице в шапке в <head>, где прописаны все мета-тэги, добавить код запрета на индексирование.

Код: Выделить всё

<meta name="robots" content="noindex,nofollow" />


добавил код, очистил кэш, после чего вернулся обратно на страницу гуглы и попробовал проиндексировать страницу с ошибкой ещё раз. и "ура!" - гугла написала, что сделать это невозможно, так как страница закрыта от индексирования.

после этого я (для форума phpbb 3.0) удалил в robots.txt запрет на сканирование php-файлов для внутреннего употребления (и само собой всех страниц, связанных с этим) и прописал в шапке сайта весь набор запрета с условиями применения:

в файле robots.txt удалил

Код: Выделить всё

Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /style.php
Disallow: /search.php
Disallow: /viewonline.php
Disallow: /viewchat.php


В файле overall_header.html найти (примерно. в любое место в пакете мета-тэгов можно вставить)

Код: Выделить всё

<meta name="distribution" content="global" />


вставить после

Код: Выделить всё

<!-- IF SCRIPT_NAME == "mcp" --><meta name="robots" content="noindex,nofollow" /><!-- ENDIF -->
<!-- IF SCRIPT_NAME == "memberlist" --><meta name="robots" content="noindex,nofollow" /><!-- ENDIF -->
<!-- IF SCRIPT_NAME == "posting" --><meta name="robots" content="noindex,nofollow" /><!-- ENDIF -->
<!-- IF SCRIPT_NAME == "report" --><meta name="robots" content="noindex,nofollow" /><!-- ENDIF -->
<!-- IF SCRIPT_NAME == "style" --><meta name="robots" content="noindex,nofollow" /><!-- ENDIF -->
<!-- IF SCRIPT_NAME == "viewonline" --><meta name="robots" content="noindex,nofollow" /><!-- ENDIF -->
<!-- IF SCRIPT_NAME == "viewchat" --><meta name="robots" content="noindex,nofollow" /><!-- ENDIF -->
<!-- IF SCRIPT_NAME == "search" --><meta name="robots" content="noindex,nofollow" /><!-- ENDIF -->


может кому и пригодится. гугла больше не ругается и не лезет куда не надо. :-D


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
google,индексирования страниц,индексирование несмотря на запрет в robots
Не в сети
(Дмитрий)  
Аватара пользователя

Стаж: 7 лет 6 месяцев 10 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Крутое решение! Надо будет посмотреть что там гугла у меня пишет. Хотя я все же к яндексу больше как то :)


Показать сообщения за:  Поле сортировки  
Ответить на тему  [ Сообщений: 2 ] 

Кто сейчас на сайте:

Всего посетителей: 1, из них зарегистрированных: 0, скрытых: 0 и гостей: 1 (основано на активности пользователей за последние 5 минут)
Больше всего посетителей (122) здесь было 19 дек 2023, 12:10

Сейчас этот раздел просматривают: нет зарегистрированных пользователей и гости: 1

Часовой пояс: UTC + 2 часа



Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения
Вы не можете защищать свои темы паролем

Найти:
Перейти:  




cron

Текущее время: 24 июл 2024, 17:48

Создано на основе phpBB® Forum Software © phpBB Group
Яндекс.Метрика

Полная версия Мобильный вид