phpbb-belk.ru

странно, конечно, это всё. я тоже сейчас потихоньку блокирую опять "портальные ссылки", ещё cron заблокировал. совсем потихоньку. наблюдая изменения. вроде стало лучше. сейчас в исключениях такая картина (но не отработало ещё последнее изменение - запрет опять на портальные):

У тебя очень все красиво получилось, Андрей!
У меня же все печально.
В приложении скрин

Добавлено спустя 4 минуты 22 секунды:
В первом посту файл роботс еще актуальный? Ты на нем тестишь?

наверное уже нет. я добавлял/удалял понемногу...
сейчас такой: (я не проверял на "вшивость" общий для всех, только Яшу сейчас мучаю)

Хочу на днях модифицировать свой роботс. Спс, Андрей.
Очень отвлекают от любимого дела, работой... Но надеюсь выберу время

успехов. правда я свой ещё тоже мучаю. на том скане (последнем) не была заблокирована "портальная ссылка". а их много и они все не канонические.

сейчас прописал запрет и смотрю, что будет. надо чтобы и количество загруженных тем приблизилось к количеству тем в поиске.

прогресс уже есть. загруженных было 1503, а в поиске всего 1250

сейчас загруженных 1303, а в поиске 1264, при этом сообщений на сайте 1330.

то есть "перекос" потихоньку исправляется, похоже на то.

Андрей, есть вопросики

Запрет на смайлы: Disallow: /forum/images/
Как будет реагировать поисковик, когда не увидит их в тексте. Просто игнор?
Запреты на туда-сюда отсутствуют, почему?:
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next

Вот это запрет вообще не понятен:
Disallow: /cron.php?cron_type=*

И в конце, на мой взгляд, ошибка.

Host: anibelka.ru

Sitemap: https://anibelka.ru/sitemap.php

Надо обязательно указать Host: https://anibelka.ru

P.S. Запускаю новый вариант робота

Добавлено спустя 15 минут 45 секунд:
До сегодняшних изменений статистика у меня была такой:

можете у себя не прописывать. я закрыл эту папку, потому что поисковик видел там "изображения неподдерживаемого формата".



ничего не меняло, как ни странно.



cron.php - функция управления форума. у меня поисковик яндекса упорно сканировал эти страницы, жаловался на ошибку и добавлял в исключённые. пришлось закрыть ему доступ к ним. если у вас в ошибках их нет - можете тоже не прописывать.



вроде нет. это - доменное имя. оно всегда безо всего.
яша ошибок в файле не видит:

На три последних строки ругается Гугль. На два юзер-агента ругается Я-вебмастер) Я лично убрал)

в последнее время и яша и гугла проводят модернизацию и успеть за их изменениями не всегда возможно...