info navigation

phpbb-belk.ru

темы, связанные с форумом phpbb 3.0.x



Новая тема  [ Сообщений: 49 ]  Просмотры: 4093

Автор Сообщение
Не в сети
(Андрей)  
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 6 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Файл robots.txt. Для чего он нужен

обновление темы 21 декабря 2019 года (проверка идёт)

Robots.txt — текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем.

файл для форума phpbb3:

Код: Выделить всё

User-agent: *
Disallow: /adm/
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$

User-agent: Yandex
Disallow: /adm/
Disallow: /faq.ph
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous

Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php


Основные настройки файла
Директивы Disallow и Allow

Чтобы запретить доступ робота к сайту или некоторым его разделам, используйте директиву Disallow.
Примеры:

Код: Выделить всё

User-agent: *
Disallow: / # блокирует доступ ко всему сайту

User-agent: *
Disallow: /cgi-bin # блокирует доступ к страницам, 
                   # начинающимся с '/cgi-bin'


В соответствии со стандартом перед каждой директивой User-agent рекомендуется вставлять пустой перевод строки.

Символ # предназначен для описания комментариев. Все, что находится после этого символа и до первого перевода строки не учитывается.


Чтобы разрешить доступ робота к сайту или некоторым его разделам, используйте директиву Allow
Примеры:

Код: Выделить всё

User-agent: *
Allow: /cgi-bin
Disallow: /
# запрещает скачивать все, кроме страниц
# начинающихся с '/cgi-bin'


Примечание. Недопустимо наличие пустых переводов строки между директивами User-agent, Disallow и Allow.


Директива sitemap

Если вы используете описание структуры сайта с помощью файла sitemap, укажите путь к файлу в качестве параметра директивы Sitemap (если файлов несколько, укажите все). Пример:

Код: Выделить всё

User-agent: *
Allow: /
Sitemap: http://mysite.com/site_structure/my_sitemaps1.xml
Sitemap: http://mysite.com/site_structure/my_sitemaps2.xml


Робот запомнит путь к файлу, обработает данные и будет использовать результаты при последующем формировании сессий загрузки.


Директива Host

Директива Host показывает роботам ссылку на основной сайт

Код: Выделить всё

#Пример корректно составленного robots.txt, при обработке
#которого директива Host учитывается

User-Agent: *
Disallow:
Host: www.myhost.ru


Для каждого файла robots.txt обрабатывается только одна директива Host. Если в файле указано несколько директив, робот использует первую.

Код: Выделить всё

Host: myhost.ru # используется

User-agent: *
Disallow: /cgi-bin

User-agent: Yandex
Disallow: /cgi-bin
Host: www.myhost.ru # не используется


Директива Clean-param

Если адреса страниц сайта содержат динамические параметры, которые не влияют на их содержимое (например: идентификаторы сессий, пользователей, рефереров и т. п.), вы можете описать их с помощью директивы Clean-param.
Робот Яндекса, используя эту информацию, не будет многократно перезагружать дублирующуюся информацию. Таким образом, увеличится эффективность обхода вашего сайта, снизится нагрузка на сервер.
Например, на сайте есть страницы:

Код: Выделить всё

www.site.com/some_dir/get_book.pl?ref=site_1&book_id=123
www.site.com/some_dir/get_book.pl?ref=site_2&book_id=123
www.site.com/some_dir/get_book.pl?ref=site_3&book_id=123


Параметр ref используется только для того, чтобы отследить с какого ресурса был сделан запрос и не меняет содержимое, по всем трем адресам будет показана одна и та же страница с книгой book_id=123. Тогда, если указать директиву следующим образом:

Код: Выделить всё

User-agent: Yandex
Disallow:
Clean-param: ref /some_dir/get_book.pl


робот Яндекса сведет все адреса страницы к одному:

Код: Выделить всё

www.site.com/some_dir/get_book.pl?ref=site_1&book_id=123


Если на сайте доступна страница без параметров:

Код: Выделить всё

www.site.com/some_dir/get_book.pl?book_id=123


то все сведется именно к ней, когда она будет проиндексирована роботом. Другие страницы вашего сайта будут обходиться чаще, так как нет необходимости обновлять страницы:

Код: Выделить всё

www.site.com/some_dir/get_book.pl?ref=site_2&book_id=123
www.site.com/some_dir/get_book.pl?ref=site_3&book_id=123


дополнение от 21.12.2019
Я ещё запретил сканировать ботам новостной канал (rss) в Яндексе, так как в форуме phpbb 3.0 формат данных этого канала не соответствует требованиям Яндекса и он выводит его как ошибку (неподдерживаемый формат).
для запрета необходимо добавить

Код: Выделить всё

Disallow: /feed.php


пример нового файла robots.txt:

Вложение:
Комментарий к файлу: обновление 21.12.2019
robots.rar [345 байт]
Скачиваний: 21


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
robots.txt
Не в сети
(Дмитрий)  
2019-12-23 
Аватара пользователя

Стаж: 7 лет 2 месяца 14 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Отличная статья, Андрей!
Начал вносить изменения. У меня ранее было одинаково прописано и для всех поисковиков и для Яши:

Код: Выделить всё

Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
Crawl-delay: 4


А тут кодинг разный. Посмотрим как отреагируют поисковые системы

Добавлено спустя 3 минуты 32 секунды:
Для статистики и для последующего сравнения прикреплю картинку
со старым моим роботс:
Вложение:
23.12.2019-del.png
23.12.2019-del.png [ 110.59 КБ | Просмотров: 2692 ] 23.12.2019-del.png



Добавлено спустя 16 минут 2 секунды:
Почему то в оригинальной статье, этот код отсутствует: :?

Код: Выделить всё

Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous


Добавлено спустя 13 минут 12 секунд:
Мой полный robots.txt теперь выглядит так:

Код: Выделить всё

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php 
Disallow: /wp-register.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */comments
Disallow: /*?replytocom
Disallow: /forum/adm/
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/index.php?
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewonline.php
Disallow: /forum/*&st=*
Disallow: /forum/*&sk=*
Disallow: /forum/*&sd=*
Disallow: /forum/*&hilit=*
Disallow: /forum/*&view=*
Disallow: /forum/viewtopic.php*p=*
Disallow: /forum/viewtopic.php?f=*
Disallow: /forum/view*&start=0$


User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php 
Disallow: /wp-register.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */comments
Disallow: /*?replytocom
Disallow: /forum/adm/
Disallow: /forum/faq.ph
Disallow: /forum/mcp.php
Disallow: /forum/index.php?
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewonline.php
Disallow: /forum/*&st=*
Disallow: /forum/*&sk=*
Disallow: /forum/*&sd=*
Disallow: /forum/*&hilit=*
Disallow: /forum/*&view=*
Disallow: /forum/viewtopic.php*p=*
Disallow: /forum/viewtopic.php?f=*
Disallow: /forum/view*&start=0$
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

Host: https://crimea-your.ru/

Sitemap: https://crimea-your.ru/sitemap.xml.gz
Sitemap: https://crimea-your.ru/sitemap.xml
Sitemap: https://crimea-your.ru/forum/sitemap.php

user-agent: AhrefsBot
Disallow: /

user-agent: dotbot
Disallow: /


При этом я заменил правило Disallow: /viewtopic.php?t=*, на Disallow: /viewtopic.php?f=*

А на счет feed хотел уточнить: у меня стоит запрет для сайта: Disallow: */feed
а для форума будет так: Disallow: forum/feed.php
Надо ли разделять пустой строкой запреты сайта от форума? :?

Добавлено спустя 13 минут 58 секунд:
Эх, не потеряем ли мы ссылочную массу, Андрей...
Вы это делали:
Цитата:
Если ваш форум не новый и уже был проиндексирован поисковиками, то вам также будет нужно сделать перенаправление (редирект) со старых адресов на новые, чтобы не потерять вес страниц. В этом случае не нужно добавлять правило Disallow: /viewtopic.php?f=* в роботс. Один из вариантов сделать редирект со старых страниц - добавить в .htaccess форума следующий код:


Код: Выделить всё

Options +FollowSymlinks
RewriteEngine On
RewriteBase /

RewriteCond %{QUERY_STRING} (.*)f=([0-9]+)&t=(.+) [NC]
RewriteRule ^viewtopic\.php$ viewtopic.php?%1t=%3 [R=301]


Добавлено спустя 2 минуты 1 секунду:
Короче говоря пока сделал так.

Убрал /viewtopic.php?f=* из роботс

Добавлено спустя 1 минуту 44 секунды:
и добавил в файл .htaccess

Код: Выделить всё

Options +FollowSymlinks
RewriteEngine On
RewriteBase /forum/

RewriteCond %{QUERY_STRING} (.*)f=([0-9]+)&t=(.+) [NC]
RewriteRule ^viewtopic\.php$ viewtopic.php?%1t=%3 [R=301]

Очень надеюсь, что все сделал верно :bm:


Не в сети
(Андрей)  
2019-12-23 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 6 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Вы немного не поняли насчёт правок, которые уберут данные, которые уже есть у поисковика. Там написано, что эти правки надо делать, если у вас стоит мод SEO оттуда - ни у вас, ни у меня его нет. Поэтому вы зря меняли строки в robots и волновались.

Насчёт прописки кода с forum/ или без я не знаю. Надо ещё почитать. А вы вообще какой сайт раскручиваете? С forum или без?


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2019-12-24 
Аватара пользователя

Стаж: 7 лет 2 месяца 14 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Т.е. строчку /viewtopic.php?f=* надо вернуть в роботс, а переадресацию в .htaccess удалить?
Я раскручиваю и сайт и форум. К сожалению сайтом уже несколько лет не занимаюсь, хотя надо бы... надеюсь взяться за него в следующем году )


Не в сети
(Андрей)  
2019-12-24 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 6 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Цитата:
Внимание! Уберите из представленного выше robots строчку Disallow: /viewtopic.php?t=*, если у вас установлен hook mini seo (для 3.0), SEO Topic & Canonical URL (для 3.1) или каким-то иным образом убран идентификатор форума из ссылок на темы.


и ваш

Цитата:
При этом я заменил правило Disallow: /viewtopic.php?t=*, на Disallow: /viewtopic.php?f=*


то есть строчка и перенаправление необходимо ТОЛЬКО при установке мода SEO, изменяющего вид ссылки. у вас же ничего не изменилось. значит НИКАКИХ правок и не надо. ни перенаправления, ни строки с f=


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2019-12-24 
Аватара пользователя

Стаж: 7 лет 2 месяца 14 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Belk писал(а):

то есть строчка и перенаправление необходимо ТОЛЬКО при установке мода SEO, изменяющего вид ссылки. у вас же ничего не изменилось. значит НИКАКИХ правок и не надо. ни перенаправления, ни строки с f=

Андрей а я понял по другому, здесь же не идет речь про мод SEO изменяющего ссылку, тут речь идет о hook_mini_seo:

Цитата:
Важные замечания по поводу установки hook_mini_seo:
Не забудьте отредактировать robots.txt для соответствия новому формату ссылок. Если в вашем robots присутствует правило Disallow: /viewtopic.php?t=*, то уберите его и замените на Disallow: /viewtopic.php?f=*. Подробнее о robots и правилах его составления читайте в соответствующей теме: robots.txt для форума phpbb
Если ваш форум не новый и уже был проиндексирован поисковиками, то вам также будет нужно сделать перенаправление (редирект) со старых адресов на новые, чтобы не потерять вес страниц. В этом случае не нужно добавлять правило Disallow: /viewtopic.php?f=* в роботс. Один из вариантов сделать редирект со старых страниц - добавить в .htaccess форума следующий код:

Код: Выделить всё

Options +FollowSymlinks
RewriteEngine On
RewriteBase /

RewriteCond %{QUERY_STRING} (.*)f=([0-9]+)&t=(.+) [NC]
RewriteRule ^viewtopic\.php$ viewtopic.php?%1t=%3 [R=301]


Или я чего то не догоняю :?


Не в сети
(Андрей)  
2019-12-24 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 6 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


а у вас hook_mini_seo, что ли, установлен? если да - тогда верно.

у меня его нет.

или вы имеете доработку по поводу hooks, что установили недавно из этой же темы? так это совершенно иное.


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2019-12-24 
Аватара пользователя

Стаж: 7 лет 2 месяца 14 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Belk писал(а):

а у вас hook_mini_seo, что ли, установлен? если да - тогда верно.

у меня его нет.

или вы имеете доработку по поводу hooks, что установили недавно из этой же темы? так это совершенно иное.


ааа, вот я тундра!!! Дошло! Тьфу ты блин! :dash3:
Не установлен у меня этот мод, только хук :)


Не в сети
(Андрей)  
2019-12-24 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 6 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


ушёл на работу. удачи.


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2019-12-24 
Аватара пользователя

Стаж: 7 лет 2 месяца 14 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Belk писал(а):

ушёл на работу. удачи.

Хорошего рабочего дня! :arigato:


Не в сети
(Дмитрий)  
2019-12-29 
Аватара пользователя

Стаж: 7 лет 2 месяца 14 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Андрей, что то мне кажется мы немного перестарались с запретами :-D

Изображение

Изображение

63 479 - Запрет в robots.txt (страница) :o
Или это норм, надо дождаться когда робот обойдет все страницы :?

Мой роботс:

Код: Выделить всё

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php 
Disallow: /wp-register.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */comments
Disallow: /*?replytocom
Disallow: /forum/adm/
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/index.php?
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewonline.php
Disallow: /forum/*&st=*
Disallow: /forum/*&sk=*
Disallow: /forum/*&sd=*
Disallow: /forum/*&hilit=*
Disallow: /forum/*&view=*
Disallow: /forum/viewtopic.php*p=*
Disallow: /forum/viewtopic.php?t=*
Disallow: /forum/view*&start=0$


User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php 
Disallow: /wp-register.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */comments
Disallow: /*?replytocom
Disallow: /forum/adm/
Disallow: /forum/faq.ph
Disallow: /forum/mcp.php
Disallow: /forum/index.php?
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewonline.php
Disallow: /forum/*&st=*
Disallow: /forum/*&sk=*
Disallow: /forum/*&sd=*
Disallow: /forum/*&hilit=*
Disallow: /forum/*&view=*
Disallow: /forum/viewtopic.php*p=*
Disallow: /forum/viewtopic.php?t=*
Disallow: /forum/view*&start=0$
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

Host: https://crimea-your.ru/

Sitemap: https://crimea-your.ru/sitemap.xml.gz
Sitemap: https://crimea-your.ru/sitemap.xml
Sitemap: https://crimea-your.ru/forum/sitemap.php

user-agent: AhrefsBot
Disallow: /

user-agent: dotbot
Disallow: /


Будем наблюдать... :)

Добавлено спустя 1 час 4 минуты 34 секунды:
Вот еще что интересно, у меня на форуме 78 тысяч постов, и ранее в поиске было примерно 50 тысяч. А теперь в поиске только 9 тысяч. Или обычные посты не должны индексироваться? Только страницы?


Не в сети
(Андрей)  
2019-12-29 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 6 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


так кто ж его знает.... у меня на этом сайте тоже большое падение "страниц в поиске". хотя что именно осталось - тоже не совсем понятно.
после падения пишет, что страниц в поиске - 467 (а было - 1984), но по статистике самого форума

Цитата:
Всего сообщений: 1803 | Тем: 302


у меня есть отдельные файлы, но их не сотня с лишним...

то есть эффект от всего этого есть - дубли точно исчезли. вот только что ещё мешает?

может стоит пока вернуть старый robots? пока не поймём что происходит?

создаётся такое ощущение, что робот блокирует страницы, то есть стоит запрет

Код: Выделить всё

Disallow: /viewtopic.php?f=*&t


но ведь его нет...

пока что удалил то, чего не было в оригинальном файле (не знаю зачем это):

Код: Выделить всё

Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2019-12-29 
Аватара пользователя

Стаж: 7 лет 2 месяца 14 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Думаю, что вся соль в этом запрете:

Код: Выделить всё

Disallow: /forum/viewtopic.php?t=*


Добавлено спустя 13 минут 8 секунд:
Андрей, вот еще интересный подход к проблеме:
https://soltyk.ru/koding-i-cms/phpbb/ht ... dlya-phpbb

Добавлено спустя 2 минуты 5 секунд:
Думаю разумнее всего будет тестировать не спеша, вводя по 1 запрету в неделю :)
И смотреть на аналитику ;)


Не в сети
(Андрей)  
2019-12-29 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 6 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


прочитал. да, интересно. у автора там похоже ещё много чего кроме галереи стоит... :-D

Цитата:
Думаю разумнее всего будет тестировать не спеша, вводя по 1 запрету в неделю
И смотреть на аналитику


да, я тоже так думаю. будем торопиться не спеша.


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2019-12-30 
Аватара пользователя

Стаж: 7 лет 2 месяца 14 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Обновил свой Роботс, немного убрав запреты. Сейчас выглядит так:

Код: Выделить всё

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php 
Disallow: /wp-register.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */comments
Disallow: /*?replytocom
Disallow: /forum/adm/
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/index.php?
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewonline.php
Disallow: /forum/*&hilit=*
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
Disallow: /forum/viewtopic.php*p=*
Disallow: /forum/viewtopic.php?t=*
Disallow: /forum/view*&start=0$


User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php 
Disallow: /wp-register.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */comments
Disallow: /*?replytocom
Disallow: /forum/adm/
Disallow: /forum/faq.ph
Disallow: /forum/mcp.php
Disallow: /forum/index.php?
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewonline.php
Disallow: /forum/*&hilit=*
Disallow: /forum/viewtopic.php*p=*
Disallow: /forum/view*&start=0$
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

Host: https://crimea-your.ru/

Sitemap: https://crimea-your.ru/sitemap.xml.gz
Sitemap: https://crimea-your.ru/sitemap.xml
Sitemap: https://crimea-your.ru/forum/sitemap.php

user-agent: AhrefsBot
Disallow: /

user-agent: dotbot
Disallow: /


Не в сети
(Андрей)  
2019-12-30 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 6 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


подождём, посмотрим. раз нет готовых ответов - надо экспериментировать самим... :?


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-01-02 
Аватара пользователя

Стаж: 7 лет 2 месяца 14 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


за несколько дней вообще ничего не поменялось. :? Откатил обратно + добавил hilit


Не в сети
(Андрей)  
2020-01-02 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 6 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


ясно.

может мало времени прошло? :?


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-01-03 
Аватара пользователя

Стаж: 7 лет 2 месяца 14 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Какая то фигня у меня творится ...

Изображение
Наблюдаю дальше...


Не в сети
(Андрей)  
2020-01-03 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 6 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


а разве это не после того, как мы запретили дубликаты страниц? у меня тоже примерно на 70 процентов упало.


Изображение

или вы думаете, что мы ещё что-то запретили?...


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-01-04 
Аватара пользователя

Стаж: 7 лет 2 месяца 14 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Belk писал(а):

а разве это не после того, как мы запретили дубликаты страниц? у меня тоже примерно на 70 процентов упало.

Ну да, после того как дубликаты запретили.
Ну я ведь откатил обратно и убрал запреты на дубликаты. Оставил только hilit:

Код: Выделить всё

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php 
Disallow: /wp-register.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */comments
Disallow: /*?replytocom
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/*&hilit=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php 
Disallow: /wp-register.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */comments
Disallow: /*?replytocom
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/*&hilit=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

Host: https://crimea-your.ru/

Sitemap: https://crimea-your.ru/sitemap.xml.gz
Sitemap: https://crimea-your.ru/sitemap.xml
Sitemap: https://crimea-your.ru/forum/sitemap.php

user-agent: AhrefsBot
Disallow: /

user-agent: dotbot
Disallow: /


Ситуация изменилась. Дубликаты не появились:

Изображение
Я вот понять не могу, у меня по статистике 78243 сообщений, только на форуме, а загружено 11 831, в поиске 10 036. :?
Ведь сообщения то разные, короче хз
Вообще правильная оптимизация должна исключать такие вещи как:
Дубль, Неканоническая, Недостаточно качественная, Ошибка HTTP, Не удалось скачать страницу, Статус неизвестен, Запрещено элементом noindex, Неподдерживаемый формат

Добавлено спустя 4 часа 22 секунды:
Продолжаю наблюдать. :) Оказывается оптимизация это очень занятная вещь. И именно благодаря ей сайты влетают в ТОП, даже говносайты!


Не в сети
(Дмитрий)  
2020-01-07 
Аватара пользователя

Стаж: 7 лет 2 месяца 14 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Андрей, зацени какие изменения произошли.

Изображение

Изображение

Не очень понимаю, как он работает и определяет какие страницы добавлять, а какие удалять, канонические.

Рассмотрим на примере.

Пример 1. Страница каноническая, но удаляемая роботом.
https://crimea-your.ru/forum/viewtopic.php?f=11&p=33853

Страница проиндексирована по каноническому адресу https://crimea-your.ru/forum/viewtopic. ... &start=350, который был указан в атрибуте rel="canonical" в исходном коде. Исправьте или удалите атрибут canonical, если он указан некорректно. Робот отследит изменения автоматически.

Пример 2. Страница каноническая, добавленная роботом.
https://crimea-your.ru/forum/viewtopic.php?f=11&p=37821

Страница попала в поиск, поскольку во время её сканирования роботом её содержимое существенно отличалось от содержимого страницы по адресу https://crimea-your.ru/forum/viewtopic. ... 7&start=10, который был указан в атрибуте rel="canonical" в исходном коде. Исправьте или удалите атрибут canonical, если он указан некорректно. Робот отследит изменения автоматически.

Получается, что в первом, что во втором примере, появились дубли. Но в одном случае они были удалены поисковиком, а в другом добавлены :?

Думаю, что дублями является страницы с префиксом &start

Добавлено спустя 6 минут 40 секунд:
Изображение


Не в сети
(Андрей)  
2020-01-07 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 6 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


я с этими "неканоническими страницами" тоже не понимаю. все сканирования, что происходят сейчас, одну страницу новой темы считают канонической, а другую - нет. хотя на обоих страницах просто статьи и адрес отличается только цифрой. и в коде страницы видно canonical.

большое количество "неканонических страниц" после установки хака действительно сменили статус, но как поисковик сканирует сейчас - я не сильно понимаю.

я сейчас начал ещё разбираться со страницами (на одном из моих сайтов - трекере) портала.
пока не сильно могу понять. страница одна - portal.php. везде она открывается одна. но поисковик сканирует кучу страниц с адресами /portal.php?np=цифра, которые в итоге все ведут на одну и ту же страницу portal.php. я их не вижу, но поисковик их трактует как "отдельные страницы". очень прикольно. причём не считая их дублями. только неканоническими. (а я их каноническими сделать не могу, так как их физически не существует).

сейчас запретил сканирование таких страниц - посмотрю что будет. количество в поиске само собой упадёт, потому что их больше 100...

сейчас обратил внимание на интересный факт:
по статистике на трекере
всего сообщений: 1280
а по данным поисковика
загружено: 1594, в поиске: 1441

стал просматривать данные - у меня поисковик почему-то ещё и изображения загружает и считает...

то есть у меня получается "ситуация наоборот" - сканируется больше, чем есть физически.


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-01-09 
Аватара пользователя

Стаж: 7 лет 2 месяца 14 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Belk писал(а):

поисковик сканирует кучу страниц с адресами /portal.php?np=цифра

Да, у меня тоже самое. Помню мы с Вами давно пытались понять, что это но так и забросили эту непонятную тему )
Belk писал(а):

сейчас запретил сканирование таких страниц - посмотрю что будет. количество в поиске само собой упадёт, потому что их больше 100...

А какой запрет поставили?
Belk писал(а):

сейчас обратил внимание на интересный факт:
по статистике на трекере
всего сообщений: 1280
а по данным поисковика
загружено: 1594, в поиске: 1441

Больше не меньше! ;)
У меня сейчас забавная статистика, из 78000 сообщений 40 214 являются неканоническими.
При этом загружено 55 2905, а в поиске лишь 14 198 :?
Буду наблюдать дальше. Тут главное не торопиться.


Не в сети
(Андрей)  
2020-01-09 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 6 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Цитата:
А какой запрет поставили?


попробовал так. надеюсь правильно...

Код: Выделить всё

Disallow: /portal.php?np=*


отработало. убрало из поиска 169 страниц, вот частичный список (значит правильный запрет написал):

10.01.2020

- /portal.php?np=1000
- /portal.php?np=1004
- /portal.php?np=1016
- /portal.php?np=1020
- /portal.php?np=1024
- /portal.php?np=1028
- /portal.php?np=1036
- /portal.php?np=1044
- /portal.php?np=1048
- /portal.php?np=1052


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-01-12 
Аватара пользователя

Стаж: 7 лет 2 месяца 14 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Андрей, хочешь прикол? Совершенно случайно заметил:

Изображение

Открываю страницу по обоим адресам и что я вижу? :o
https://crimea-your.ru/forum/viewtopic. ... &start=990
https://crimea-your.ru/forum/viewtopic. ... &start=990
Казалось бы совершенно одинаковая страница, с одним и тем же адресом имеет разное содержимое в реальности!!! Как такое может быть :?

А вот, что система считает дублями:
https://crimea-your.ru/forum/viewtopic.php?f=16&p=45324
https://crimea-your.ru/forum/viewtopic. ... 5&start=40


Не в сети
(Андрей)  
2020-01-12 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 6 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


я всё меньше понимаю вообще логику сканирования и оценки поисковиком. что-то они там намудрили, точно.

кстати, насчёт запрета на сканирование страниц портала с цифрами. запретил - ни одна страница не сканируется, зато теперь поисковик и упорно игнорирует саму страницу (основную) /portal.php. он её "не видит". прикольно.

попробую сейчас прописать принудительное разрешение Allow: /portal.php , посмотрю, что будет.

:bm:


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-01-12 
Аватара пользователя

Стаж: 7 лет 2 месяца 14 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Вот аналогично. Вообще не понимаю, как работает алгоритм :?
У меня тоже полно таких страниц, типа таких:
https://crimea-your.ru/forum/index.php? ... 1523dfb6ba
Откуда берется эта хрень, я так и не понял


Не в сети
(Андрей)  
2020-01-12 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 6 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


эти страницы, вроде, обработка cookies, то есть кэш и регистрация.

я имею в виду sid=3328516eea83ffca57e8001523dfb6ba.

хоть и нет прямого запрета на сканирование таких страниц - его можно сделать, потому что вся эта хрень сзади не несёт информации и страница та же самая. странно, но у меня таких страниц не видел. ни здесь, ни на трекере.

вроде такой запрет можно поставить...

Код: Выделить всё

Disallow: /forum/index.php?sid=*


хотя вот у меня есть запрет

Код: Выделить всё

Disallow: /index.php?


то есть не сканировать всё, что со знаком вопроса после index. то есть она, вроде, и так должна "срезать" всю эту галиматью с sid=


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-01-12 
Аватара пользователя

Стаж: 7 лет 2 месяца 14 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


И как срезает? Или еще рано говорить про это?


Не в сети
(Андрей)  
2020-01-12 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 6 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


наверное "срезает", так как у меня нет проблем со страницами с sid=****


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-01-14 Re:
Аватара пользователя

Стаж: 7 лет 2 месяца 14 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Я вот чего подумал, Андрей.
Мы поставили мини хак на канонические страницы и это хорошо. Но плохо то, что поставив этот хак мы присвоили этот атрибут canonical абсолютно всем страницам и это не правильно.
Соответсвенно, запретами в роботс, мы отсекаем канонические дубли, а если не ставим запреты, то алгоритм думает, что бывшие дубли и индексируемые страницы теперь все стали каноническими, и что считать первоисточником он не знает, поэтому выкидывает их из поиска.

Этот вопрос снаскоку и в лоб не решается! :( Тут надо подходить более грамотно и взвешано. ;)

Т.е. надо определиться каким страницам и с каким префиксом указывать этот атрибут. Затем только этим страницам добавлять эту каноничность, а дубли либо запрещать в роботсе, либо не трогать, робот сам их отсечет.

Короче говоря, я убираю данный хак, он не улучшает нашу оптимизацию, а скорее даже наоборот...

Добавлено спустя 15 минут 42 секунды:
Обрати внимание как сделано на другом форуме, который пользуется популярностью:

Код: Выделить всё

<link rel="canonical" href="https://forum.awd.ru/viewtopic.php?f=40&t=38483" /><link rel="next" href="https://forum.awd.ru/viewtopic.php?f=40&amp;t=38483&amp;sid=218078548c7c3ef5dd2caa28969d2c28&amp;start=20" />

Короче чем дальше в лес, тем больше дров. Но что то мы явно делаем не правильно :?

Добавлено спустя 3 минуты 49 секунд:
+ смущает еще то, что в вебмастере яндекса я не вижу не одной добавленной страницы к которой бы яндекс написал каноническая.
Он добавляет и пишет - не каноническая? У тебя также? :?


Не в сети
(Андрей)  
2020-01-14 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 6 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Код: Выделить всё

<link rel="next"


я прочитал в сети, что эта штука была реализована для Googlе и уже не используется.

с каноническими страницами я тоже ничего не понимаю.

у меня сейчас на портале стоит хак, в коде страницы он есть, а робот пишет, что страница portal.php не каноническая.

Dmitry писал(а):

Он добавляет и пишет - не каноническая? У тебя также?


да.

и ещё по вашему примеру. смотрите, что интересно:
написано, что каноническая - это адрес другого вида, но в вашем примере ссылка стандартная с форума и она является канонической. у меня, кстати, тоже были добавления страниц до установки хака с тэгом "каноническая".

смотрите, вот ваш пример:

Код: Выделить всё

<link rel="canonical" href="https://forum.awd.ru/viewtopic.php?f=40&t=38483" />


а вот ссылка с моего трекера (после установки хака):

Код: Выделить всё

<link rel="canonical" href="https://anibelka.ru/viewtopic.php?f=32&amp;t=377" />


а вот та же ссылка в браузере:

Код: Выделить всё

https://anibelka.ru/viewtopic.php?f=32&t=377


то есть получается, что у них на сайте в качестве ссылки для канонической используется стандартный вариант...

кстати, уберу запрет на "портальные ссылки". смысла нет. тем более, что оно теперь портала вообще не видит. (точнее видит, но игнорирует).


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-01-14 Re:
Аватара пользователя

Стаж: 7 лет 2 месяца 14 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Андрей, кажись до меня доперло! :)
И все приведенные запреты были верными, в первом посте (вероятнее всего).
У меня на форуме 78000 сообщений, но! Я не учел тот факт, что количество сообщений и количество страниц разное!
Соответственно, если на странице 10 ответов, то это значит останется 7800 страниц!
Если отдельно посты не индексируются, то тогда примерно все стыкуется.
Или отдельно посты все же индексируются?


Не в сети
(Андрей)  
2020-01-14 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 6 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


я думаю, что не должны. ведь сканируется и определяется именно страница.

у меня сейчас тоже после "убирания дубликатов" количество страниц стало приближаться к количеству тем...

Добавлено спустя 1 час 13 минут 41 секунду:
Сейчас посмотрел на этом сайте - происходит добавление канонических страниц. правда тоже странно:


Изображение


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-01-14 
Аватара пользователя

Стаж: 7 лет 2 месяца 14 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Пробую продолжать экспериментировать, на этот раз оставлю такой роботс на пару месяцев, а там видно будет:

Код: Выделить всё

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php 
Disallow: /wp-register.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */comments
Disallow: /*?replytocom
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/*&hilit=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
Disallow: /forum/viewtopic.php*p=*
Disallow: /forum/viewtopic.php?t=*
Disallow: /forum/view*&start=0$

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php 
Disallow: /wp-register.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */comments
Disallow: /*?replytocom
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/*&hilit=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?t=*
Disallow: /forum/view*&start=0$

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

Host: https://crimea-your.ru/

Sitemap: https://crimea-your.ru/sitemap.xml.gz
Sitemap: https://crimea-your.ru/sitemap.xml
Sitemap: https://crimea-your.ru/forum/sitemap.php

user-agent: AhrefsBot
Disallow: /

user-agent: dotbot
Disallow: /


Добавлено спустя 1 минуту 43 секунды:
Belk писал(а):

у меня сейчас тоже после "убирания дубликатов" количество страниц стало приближаться к количеству тем...


А должно быть по количеству страниц, мне так кажется ... :?
P.S. У тебя сейчас какой роботс, Андрей?


Не в сети
(Андрей)  
2020-01-14 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 6 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


у меня здесь сейчас такой:

Код: Выделить всё

User-agent: *
Disallow: /adm/
Disallow: /download/
Disallow: /styles/
Disallow: /faq.php
Disallow: /feed.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&p=*
Disallow: /viewtopic.php?f=*&t=*&hilit=*
Disallow: /viewtopic.php?f=*&t=*&p=*&hilit=*
Disallow: /viewtopic.php?t=*&p=*
Disallow: /viewtopic.php?f=*&t=*&view=print
Disallow: /viewtopic.php?f=*&t=*&start=*&view=print
Disallow: /ltopic*
Disallow: /ftopic*-.html
Disallow: /ftopic*-0.html
Disallow: /ftopic*.html]*
Disallow: /ftopic*.html%3E*
Disallow: /ftopic*.html%22*
Disallow: /ftopic*.html/ftopic*
Disallow: /ftopic*.html/download/*
Disallow: /forum*-.html
Disallow: /forum*-*.html
Disallow: /ftopic*/
Disallow: /ftopic*.html&*
Disallow: /ftopic*.htmlM*
Disallow: /ftopic*.html:*
Disallow: /ftopic*.html1*
Disallow: /ftopic*.htmlw*
Disallow: /ftopic*.htmle*
Disallow: /ftopic*.html)*
Disallow: /ftopic*-*1.html*
Disallow: /ftopic*-*2.html*
Disallow: /ftopic*-*3.html*
Disallow: /ftopic*-*4.html*
Disallow: /ftopic*-*5.html*
Disallow: /ftopic*-*6.html*
Disallow: /ftopic*-*7.html*
Disallow: /ftopic*-*8.html*
Disallow: /ftopic*-*9.html*
Disallow: /topic*-*1.html*
Disallow: /topic*-*2.html*
Disallow: /topic*-*3.html*
Disallow: /topic*-*4.html*
Disallow: /topic*-*5.html*
Disallow: /topic*-*6.html*
Disallow: /topic*-*7.html*
Disallow: /topic*-*8.html*
Disallow: /topic*-*9.html*
Disallow: /1_t*.html
Disallow: /post*
Disallow: /spost*
Disallow: /away.html
Disallow: /navigate/navigate.html
Disallow: /guest/settings.html


User-agent: Yandex
Disallow: /adm/
Disallow: /faq.php
Disallow: /feed.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /viewtopic.php?f=*&t=*&hilit=*
Disallow: /viewtopic.php?f=*&t=*&p=*&hilit=*
Disallow: /viewtopic.php?t=*&p=*
Disallow: /viewtopic.php?f=*&t=*&view=print
Disallow: /viewtopic.php?f=*&t=*&start=*&view=print
Disallow: /view*&start=0$
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /away.html
Disallow: /navigate/navigate.html
Disallow: /guest/settings.html

Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Host: phpbb-belk.ru

Sitemap: https://phpbb-belk.ru/sitemap.php



но статистика очень странная. хотя и всё стабилизировалось и добавление происходит в "зелёном" цвете с "каноническим" уклоном...

Статистика форума:
Тем: 302
Сообщений: 1831 (по 10 на страницу)

По данным поисковика:
Страниц загружено: 584
В поиске: 489

а до начала наших экспериментов по убиранию дубликатов страниц

страниц в поиске было 2012

то есть тут вообще что-либо понять сложно...

я тоже пока делать нечего не буду. хотя и хак убирать тоже не планирую.


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-01-14 
Аватара пользователя

Стаж: 7 лет 2 месяца 14 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Да, думаю, не надо делать таких резких движений. Надо посмотреть что будет происходить и уже потом анализировать.


Не в сети
(Андрей)  
2020-01-14 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 6 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


:)


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-03-02 
Аватара пользователя

Стаж: 7 лет 2 месяца 14 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Как то стало совсем уныло, всего 39% из поисковых систем в яндекс метрике отображается. Хочу попробовать изначальный вариант с запретами, которых мы испугались


Не в сети
(Андрей)  
2020-03-03 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 6 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


странно, конечно, это всё. я тоже сейчас потихоньку блокирую опять "портальные ссылки", ещё cron заблокировал. совсем потихоньку. наблюдая изменения. вроде стало лучше. сейчас в исключениях такая картина (но не отработало ещё последнее изменение - запрет опять на портальные):


Вложение:
Комментарий к файлу: на 2 марта
исключения.png
исключения.png [ 52.77 КБ | Просмотров: 2531 ] исключения.png



трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-03-03 
Аватара пользователя

Стаж: 7 лет 2 месяца 14 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


У тебя очень все красиво получилось, Андрей!
У меня же все печально. :cry:
В приложении скрин

Добавлено спустя 4 минуты 22 секунды:
В первом посту файл роботс еще актуальный? Ты на нем тестишь?


Вложения:
03.03.2020-1.png
03.03.2020-1.png [ 84.17 КБ | Просмотров: 2528 ] 03.03.2020-1.png

Не в сети
(Андрей)  
2020-03-03 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 6 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


наверное уже нет. я добавлял/удалял понемногу...
сейчас такой: (я не проверял на "вшивость" общий для всех, только Яшу сейчас мучаю)

Код: Выделить всё

User-agent: *
Disallow: /adm/
Disallow: /download/
Disallow: /images/
Disallow: /styles/
Disallow: /faq.php
Disallow: /feed.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&p=*
Disallow: /viewtopic.php?f=*&t=*&hilit=*
Disallow: /viewtopic.php?f=*&t=*&p=*&hilit=*
Disallow: /viewtopic.php?t=*&p=*
Disallow: /viewtopic.php?f=*&t=*&view=print
Disallow: /viewtopic.php?f=*&t=*&start=*&view=print


User-agent: Yandex
Disallow: /portal.php?np=*
Disallow: /adm/
Disallow: /cron.php?cron_type=*
Disallow: /download/
Disallow: /images/
Disallow: /styles/
Disallow: /faq.php
Disallow: /feed.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /viewchat.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&p=*
Disallow: /viewtopic.php?f=*&t=*&hilit=*
Disallow: /viewtopic.php?f=*&t=*&p=*&hilit=*
Disallow: /viewtopic.php?t=*&p=*
Disallow: /viewtopic.php?f=*&t=*&view=print
Disallow: /viewtopic.php?f=*&t=*&start=*&view=print

Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Host: anibelka.ru

Sitemap: https://anibelka.ru/sitemap.php


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-03-10 
Аватара пользователя

Стаж: 7 лет 2 месяца 14 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Хочу на днях модифицировать свой роботс. Спс, Андрей.
Очень отвлекают от любимого дела, работой... Но надеюсь выберу время :)


Не в сети
(Андрей)  
2020-03-10 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 6 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


успехов. правда я свой ещё тоже мучаю. на том скане (последнем) не была заблокирована "портальная ссылка". а их много и они все не канонические.

сейчас прописал запрет и смотрю, что будет. надо чтобы и количество загруженных тем приблизилось к количеству тем в поиске.

прогресс уже есть. загруженных было 1503, а в поиске всего 1250

сейчас загруженных 1303, а в поиске 1264, при этом сообщений на сайте 1330.

то есть "перекос" потихоньку исправляется, похоже на то.

:dash3:


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-03-21 
Аватара пользователя

Стаж: 7 лет 2 месяца 14 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Андрей, есть вопросики :)

Запрет на смайлы: Disallow: /forum/images/
Как будет реагировать поисковик, когда не увидит их в тексте. Просто игнор?
Запреты на туда-сюда отсутствуют, почему?:
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next

Вот это запрет вообще не понятен: :?
Disallow: /cron.php?cron_type=*

И в конце, на мой взгляд, ошибка.

Host: anibelka.ru

Sitemap: https://anibelka.ru/sitemap.php

Надо обязательно указать Host: https://anibelka.ru

P.S. Запускаю новый вариант робота

Добавлено спустя 15 минут 45 секунд:
До сегодняшних изменений статистика у меня была такой:

Изображение

Изображение


Не в сети
(Андрей)  
2020-03-21 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 6 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Цитата:
Запрет на смайлы: Disallow: /forum/images/
Как будет реагировать поисковик, когда не увидит их в тексте. Просто игнор?


можете у себя не прописывать. я закрыл эту папку, потому что поисковик видел там "изображения неподдерживаемого формата".

Код: Выделить всё

Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next


ничего не меняло, как ни странно.

Код: Выделить всё

Disallow: /cron.php?cron_type=*


cron.php - функция управления форума. у меня поисковик яндекса упорно сканировал эти страницы, жаловался на ошибку и добавлял в исключённые. пришлось закрыть ему доступ к ним. если у вас в ошибках их нет - можете тоже не прописывать.

Цитата:
И в конце, на мой взгляд, ошибка.

Host: anibelka.ru


вроде нет. это - доменное имя. оно всегда безо всего.
яша ошибок в файле не видит:

Вложение:
Комментарий к файлу: анализ файла яндексом
robots.png
robots.png [ 21.3 КБ | Просмотров: 2502 ] robots.png



трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Алексей)  

Стаж: 2 года 2 дня
Сообщения: 1


Стиль: prosilver


Репутация: 0


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Belk писал(а):

Файл robots.txt. Для чего он нужен


файл для форума phpbb3:

Код: Выделить всё

User-agent: *
Disallow: /adm/
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$

User-agent: Yandex
Disallow: /adm/
Disallow: /faq.ph
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous

Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php


На три последних строки ругается Гугль. На два юзер-агента ругается Я-вебмастер) Я лично убрал)


Не в сети
(Андрей)  
2022-04-08 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 6 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


в последнее время и яша и гугла проводят модернизацию и успеть за их изменениями не всегда возможно...


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Показать сообщения за:  Поле сортировки  
Ответить на тему  [ Сообщений: 49 ] 

Кто сейчас на сайте:

Всего посетителей: 1, из них зарегистрированных: 0, скрытых: 0 и гостей: 1 (основано на активности пользователей за последние 5 минут)
Больше всего посетителей (122) здесь было 19 дек 2023, 12:10

Сейчас этот раздел просматривают: нет зарегистрированных пользователей и гости: 1

Часовой пояс: UTC + 2 часа



Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения
Вы не можете защищать свои темы паролем

Найти:
Перейти:  




cron

Текущее время: 28 мар 2024, 11:14

Создано на основе phpBB® Forum Software © phpBB Group
Яндекс.Метрика

Полная версия Мобильный вид