phpbb-belk.ru

Файл robots.txt. Для чего он нужен

обновление темы 21 декабря 2019 года (проверка идёт)

Robots.txt — текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем.

файл для форума phpbb3:






пример нового файла robots.txt:

Отличная статья, Андрей!
Начал вносить изменения. У меня ранее было одинаково прописано и для всех поисковиков и для Яши:



А тут кодинг разный. Посмотрим как отреагируют поисковые системы

Добавлено спустя 3 минуты 32 секунды:
Для статистики и для последующего сравнения прикреплю картинку
со старым моим роботс:


Добавлено спустя 16 минут 2 секунды:
Почему то в оригинальной статье, этот код отсутствует:


Добавлено спустя 13 минут 12 секунд:
Мой полный robots.txt теперь выглядит так:


При этом я заменил правило Disallow: /viewtopic.php?t=*, на Disallow: /viewtopic.php?f=*

А на счет feed хотел уточнить: у меня стоит запрет для сайта: Disallow: */feed
а для форума будет так: Disallow: forum/feed.php
Надо ли разделять пустой строкой запреты сайта от форума?

Добавлено спустя 13 минут 58 секунд:
Эх, не потеряем ли мы ссылочную массу, Андрей...
Вы это делали:




Добавлено спустя 2 минуты 1 секунду:
Короче говоря пока сделал так.

Убрал /viewtopic.php?f=* из роботс

Добавлено спустя 1 минуту 44 секунды:
и добавил в файл .htaccess

Очень надеюсь, что все сделал верно

Вы немного не поняли насчёт правок, которые уберут данные, которые уже есть у поисковика. Там написано, что эти правки надо делать, если у вас стоит мод SEO оттуда - ни у вас, ни у меня его нет. Поэтому вы зря меняли строки в robots и волновались.

Насчёт прописки кода с forum/ или без я не знаю. Надо ещё почитать. А вы вообще какой сайт раскручиваете? С forum или без?

Т.е. строчку /viewtopic.php?f=* надо вернуть в роботс, а переадресацию в .htaccess удалить?
Я раскручиваю и сайт и форум. К сожалению сайтом уже несколько лет не занимаюсь, хотя надо бы... надеюсь взяться за него в следующем году )

и ваш



то есть строчка и перенаправление необходимо ТОЛЬКО при установке мода SEO, изменяющего вид ссылки. у вас же ничего не изменилось. значит НИКАКИХ правок и не надо. ни перенаправления, ни строки с f=

Андрей а я понял по другому, здесь же не идет речь про мод SEO изменяющего ссылку, тут речь идет о hook_mini_seo:




Или я чего то не догоняю

а у вас hook_mini_seo, что ли, установлен? если да - тогда верно.

у меня его нет.

или вы имеете доработку по поводу hooks, что установили недавно из этой же темы? так это совершенно иное.

ааа, вот я тундра!!! Дошло! Тьфу ты блин!
Не установлен у меня этот мод, только хук

ушёл на работу. удачи.

Хорошего рабочего дня!

Андрей, что то мне кажется мы немного перестарались с запретами





63 479 - Запрет в robots.txt (страница)
Или это норм, надо дождаться когда робот обойдет все страницы

Мой роботс:


Будем наблюдать...

Добавлено спустя 1 час 4 минуты 34 секунды:
Вот еще что интересно, у меня на форуме 78 тысяч постов, и ранее в поиске было примерно 50 тысяч. А теперь в поиске только 9 тысяч. Или обычные посты не должны индексироваться? Только страницы?

так кто ж его знает.... у меня на этом сайте тоже большое падение "страниц в поиске". хотя что именно осталось - тоже не совсем понятно.
после падения пишет, что страниц в поиске - 467 (а было - 1984), но по статистике самого форума



у меня есть отдельные файлы, но их не сотня с лишним...

то есть эффект от всего этого есть - дубли точно исчезли. вот только что ещё мешает?

может стоит пока вернуть старый robots? пока не поймём что происходит?

создаётся такое ощущение, что робот блокирует страницы, то есть стоит запрет



но ведь его нет...

пока что удалил то, чего не было в оригинальном файле (не знаю зачем это):

Думаю, что вся соль в этом запрете:



Добавлено спустя 13 минут 8 секунд:
Андрей, вот еще интересный подход к проблеме:
https://soltyk.ru/koding-i-cms/phpbb/ht ... dlya-phpbb

Добавлено спустя 2 минуты 5 секунд:
Думаю разумнее всего будет тестировать не спеша, вводя по 1 запрету в неделю
И смотреть на аналитику

прочитал. да, интересно. у автора там похоже ещё много чего кроме галереи стоит...



да, я тоже так думаю. будем торопиться не спеша.

Обновил свой Роботс, немного убрав запреты. Сейчас выглядит так:

подождём, посмотрим. раз нет готовых ответов - надо экспериментировать самим...

за несколько дней вообще ничего не поменялось. Откатил обратно + добавил hilit

ясно.

может мало времени прошло?

Какая то фигня у меня творится ...


Наблюдаю дальше...

а разве это не после того, как мы запретили дубликаты страниц? у меня тоже примерно на 70 процентов упало.




или вы думаете, что мы ещё что-то запретили?...

Ну да, после того как дубликаты запретили.
Ну я ведь откатил обратно и убрал запреты на дубликаты. Оставил только hilit:


Ситуация изменилась. Дубликаты не появились:


Я вот понять не могу, у меня по статистике 78243 сообщений, только на форуме, а загружено 11 831, в поиске 10 036.
Ведь сообщения то разные, короче хз
Вообще правильная оптимизация должна исключать такие вещи как:
Дубль, Неканоническая, Недостаточно качественная, Ошибка HTTP, Не удалось скачать страницу, Статус неизвестен, Запрещено элементом noindex, Неподдерживаемый формат

Добавлено спустя 4 часа 22 секунды:
Продолжаю наблюдать. Оказывается оптимизация это очень занятная вещь. И именно благодаря ей сайты влетают в ТОП, даже говносайты!

Андрей, зацени какие изменения произошли.





Не очень понимаю, как он работает и определяет какие страницы добавлять, а какие удалять, канонические.

Рассмотрим на примере.

Пример 1. Страница каноническая, но удаляемая роботом.
https://crimea-your.ru/forum/viewtopic.php?f=11&p=33853

Страница проиндексирована по каноническому адресу https://crimea-your.ru/forum/viewtopic. ... &start=350, который был указан в атрибуте rel="canonical" в исходном коде. Исправьте или удалите атрибут canonical, если он указан некорректно. Робот отследит изменения автоматически.

Пример 2. Страница каноническая, добавленная роботом.
https://crimea-your.ru/forum/viewtopic.php?f=11&p=37821

Страница попала в поиск, поскольку во время её сканирования роботом её содержимое существенно отличалось от содержимого страницы по адресу https://crimea-your.ru/forum/viewtopic. ... 7&start=10, который был указан в атрибуте rel="canonical" в исходном коде. Исправьте или удалите атрибут canonical, если он указан некорректно. Робот отследит изменения автоматически.

Получается, что в первом, что во втором примере, появились дубли. Но в одном случае они были удалены поисковиком, а в другом добавлены

Думаю, что дублями является страницы с префиксом &start

Добавлено спустя 6 минут 40 секунд:

я с этими "неканоническими страницами" тоже не понимаю. все сканирования, что происходят сейчас, одну страницу новой темы считают канонической, а другую - нет. хотя на обоих страницах просто статьи и адрес отличается только цифрой. и в коде страницы видно canonical.

большое количество "неканонических страниц" после установки хака действительно сменили статус, но как поисковик сканирует сейчас - я не сильно понимаю.

я сейчас начал ещё разбираться со страницами (на одном из моих сайтов - трекере) портала.
пока не сильно могу понять. страница одна - portal.php. везде она открывается одна. но поисковик сканирует кучу страниц с адресами /portal.php?np=цифра, которые в итоге все ведут на одну и ту же страницу portal.php. я их не вижу, но поисковик их трактует как "отдельные страницы". очень прикольно. причём не считая их дублями. только неканоническими. (а я их каноническими сделать не могу, так как их физически не существует).

сейчас запретил сканирование таких страниц - посмотрю что будет. количество в поиске само собой упадёт, потому что их больше 100...

сейчас обратил внимание на интересный факт:
по статистике на трекере
всего сообщений: 1280
а по данным поисковика
загружено: 1594, в поиске: 1441

стал просматривать данные - у меня поисковик почему-то ещё и изображения загружает и считает...

то есть у меня получается "ситуация наоборот" - сканируется больше, чем есть физически.

Да, у меня тоже самое. Помню мы с Вами давно пытались понять, что это но так и забросили эту непонятную тему )

А какой запрет поставили?

Больше не меньше!
У меня сейчас забавная статистика, из 78000 сообщений 40 214 являются неканоническими.
При этом загружено 55 2905, а в поиске лишь 14 198
Буду наблюдать дальше. Тут главное не торопиться.

попробовал так. надеюсь правильно...



отработало. убрало из поиска 169 страниц, вот частичный список (значит правильный запрет написал):

10.01.2020

- /portal.php?np=1000
- /portal.php?np=1004
- /portal.php?np=1016
- /portal.php?np=1020
- /portal.php?np=1024
- /portal.php?np=1028
- /portal.php?np=1036
- /portal.php?np=1044
- /portal.php?np=1048
- /portal.php?np=1052

Андрей, хочешь прикол? Совершенно случайно заметил:



Открываю страницу по обоим адресам и что я вижу?
https://crimea-your.ru/forum/viewtopic. ... &start=990
https://crimea-your.ru/forum/viewtopic. ... &start=990
Казалось бы совершенно одинаковая страница, с одним и тем же адресом имеет разное содержимое в реальности!!! Как такое может быть

А вот, что система считает дублями:
https://crimea-your.ru/forum/viewtopic.php?f=16&p=45324
https://crimea-your.ru/forum/viewtopic. ... 5&start=40

я всё меньше понимаю вообще логику сканирования и оценки поисковиком. что-то они там намудрили, точно.

кстати, насчёт запрета на сканирование страниц портала с цифрами. запретил - ни одна страница не сканируется, зато теперь поисковик и упорно игнорирует саму страницу (основную) /portal.php. он её "не видит". прикольно.

попробую сейчас прописать принудительное разрешение Allow: /portal.php , посмотрю, что будет.

Вот аналогично. Вообще не понимаю, как работает алгоритм
У меня тоже полно таких страниц, типа таких:
https://crimea-your.ru/forum/index.php? ... 1523dfb6ba
Откуда берется эта хрень, я так и не понял

эти страницы, вроде, обработка cookies, то есть кэш и регистрация.

я имею в виду sid=3328516eea83ffca57e8001523dfb6ba.

хоть и нет прямого запрета на сканирование таких страниц - его можно сделать, потому что вся эта хрень сзади не несёт информации и страница та же самая. странно, но у меня таких страниц не видел. ни здесь, ни на трекере.

вроде такой запрет можно поставить...



хотя вот у меня есть запрет



то есть не сканировать всё, что со знаком вопроса после index. то есть она, вроде, и так должна "срезать" всю эту галиматью с sid=

И как срезает? Или еще рано говорить про это?

наверное "срезает", так как у меня нет проблем со страницами с sid=****

Я вот чего подумал, Андрей.
Мы поставили мини хак на канонические страницы и это хорошо. Но плохо то, что поставив этот хак мы присвоили этот атрибут canonical абсолютно всем страницам и это не правильно.
Соответсвенно, запретами в роботс, мы отсекаем канонические дубли, а если не ставим запреты, то алгоритм думает, что бывшие дубли и индексируемые страницы теперь все стали каноническими, и что считать первоисточником он не знает, поэтому выкидывает их из поиска.

Этот вопрос снаскоку и в лоб не решается! Тут надо подходить более грамотно и взвешано.

Т.е. надо определиться каким страницам и с каким префиксом указывать этот атрибут. Затем только этим страницам добавлять эту каноничность, а дубли либо запрещать в роботсе, либо не трогать, робот сам их отсечет.

Короче говоря, я убираю данный хак, он не улучшает нашу оптимизацию, а скорее даже наоборот...

Добавлено спустя 15 минут 42 секунды:
Обрати внимание как сделано на другом форуме, который пользуется популярностью:

Короче чем дальше в лес, тем больше дров. Но что то мы явно делаем не правильно

Добавлено спустя 3 минуты 49 секунд:
+ смущает еще то, что в вебмастере яндекса я не вижу не одной добавленной страницы к которой бы яндекс написал каноническая.
Он добавляет и пишет - не каноническая? У тебя также?

я прочитал в сети, что эта штука была реализована для Googlе и уже не используется.

с каноническими страницами я тоже ничего не понимаю.

у меня сейчас на портале стоит хак, в коде страницы он есть, а робот пишет, что страница portal.php не каноническая.



да.

и ещё по вашему примеру. смотрите, что интересно:
написано, что каноническая - это адрес другого вида, но в вашем примере ссылка стандартная с форума и она является канонической. у меня, кстати, тоже были добавления страниц до установки хака с тэгом "каноническая".

смотрите, вот ваш пример:



а вот ссылка с моего трекера (после установки хака):



а вот та же ссылка в браузере:



то есть получается, что у них на сайте в качестве ссылки для канонической используется стандартный вариант...

кстати, уберу запрет на "портальные ссылки". смысла нет. тем более, что оно теперь портала вообще не видит. (точнее видит, но игнорирует).

Андрей, кажись до меня доперло!
И все приведенные запреты были верными, в первом посте (вероятнее всего).
У меня на форуме 78000 сообщений, но! Я не учел тот факт, что количество сообщений и количество страниц разное!
Соответственно, если на странице 10 ответов, то это значит останется 7800 страниц!
Если отдельно посты не индексируются, то тогда примерно все стыкуется.
Или отдельно посты все же индексируются?

я думаю, что не должны. ведь сканируется и определяется именно страница.

у меня сейчас тоже после "убирания дубликатов" количество страниц стало приближаться к количеству тем...

Добавлено спустя 1 час 13 минут 41 секунду:
Сейчас посмотрел на этом сайте - происходит добавление канонических страниц. правда тоже странно:

Пробую продолжать экспериментировать, на этот раз оставлю такой роботс на пару месяцев, а там видно будет:


Добавлено спустя 1 минуту 43 секунды:


А должно быть по количеству страниц, мне так кажется ...
P.S. У тебя сейчас какой роботс, Андрей?

у меня здесь сейчас такой:



но статистика очень странная. хотя и всё стабилизировалось и добавление происходит в "зелёном" цвете с "каноническим" уклоном...

Статистика форума:
Тем: 302
Сообщений: 1831 (по 10 на страницу)

По данным поисковика:
Страниц загружено: 584
В поиске: 489

а до начала наших экспериментов по убиранию дубликатов страниц

страниц в поиске было 2012

то есть тут вообще что-либо понять сложно...

я тоже пока делать нечего не буду. хотя и хак убирать тоже не планирую.

Да, думаю, не надо делать таких резких движений. Надо посмотреть что будет происходить и уже потом анализировать.

Как то стало совсем уныло, всего 39% из поисковых систем в яндекс метрике отображается. Хочу попробовать изначальный вариант с запретами, которых мы испугались

странно, конечно, это всё. я тоже сейчас потихоньку блокирую опять "портальные ссылки", ещё cron заблокировал. совсем потихоньку. наблюдая изменения. вроде стало лучше. сейчас в исключениях такая картина (но не отработало ещё последнее изменение - запрет опять на портальные):

У тебя очень все красиво получилось, Андрей!
У меня же все печально.
В приложении скрин

Добавлено спустя 4 минуты 22 секунды:
В первом посту файл роботс еще актуальный? Ты на нем тестишь?

наверное уже нет. я добавлял/удалял понемногу...
сейчас такой: (я не проверял на "вшивость" общий для всех, только Яшу сейчас мучаю)

Хочу на днях модифицировать свой роботс. Спс, Андрей.
Очень отвлекают от любимого дела, работой... Но надеюсь выберу время

успехов. правда я свой ещё тоже мучаю. на том скане (последнем) не была заблокирована "портальная ссылка". а их много и они все не канонические.

сейчас прописал запрет и смотрю, что будет. надо чтобы и количество загруженных тем приблизилось к количеству тем в поиске.

прогресс уже есть. загруженных было 1503, а в поиске всего 1250

сейчас загруженных 1303, а в поиске 1264, при этом сообщений на сайте 1330.

то есть "перекос" потихоньку исправляется, похоже на то.

Андрей, есть вопросики

Запрет на смайлы: Disallow: /forum/images/
Как будет реагировать поисковик, когда не увидит их в тексте. Просто игнор?
Запреты на туда-сюда отсутствуют, почему?:
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next

Вот это запрет вообще не понятен:
Disallow: /cron.php?cron_type=*

И в конце, на мой взгляд, ошибка.

Host: anibelka.ru

Sitemap: https://anibelka.ru/sitemap.php

Надо обязательно указать Host: https://anibelka.ru

P.S. Запускаю новый вариант робота

Добавлено спустя 15 минут 45 секунд:
До сегодняшних изменений статистика у меня была такой:

можете у себя не прописывать. я закрыл эту папку, потому что поисковик видел там "изображения неподдерживаемого формата".



ничего не меняло, как ни странно.



cron.php - функция управления форума. у меня поисковик яндекса упорно сканировал эти страницы, жаловался на ошибку и добавлял в исключённые. пришлось закрыть ему доступ к ним. если у вас в ошибках их нет - можете тоже не прописывать.



вроде нет. это - доменное имя. оно всегда безо всего.
яша ошибок в файле не видит:

На три последних строки ругается Гугль. На два юзер-агента ругается Я-вебмастер) Я лично убрал)

в последнее время и яша и гугла проводят модернизацию и успеть за их изменениями не всегда возможно...