info navigation

phpbb-belk.ru

темы, связанные с форумом phpbb 3.0.x



Новая тема  [ Сообщений: 49 ]  Просмотры: 4097

Автор Сообщение
Не в сети
(Дмитрий)  
 
Аватара пользователя

Стаж: 7 лет 2 месяца 15 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Belk писал(а):

а разве это не после того, как мы запретили дубликаты страниц? у меня тоже примерно на 70 процентов упало.

Ну да, после того как дубликаты запретили.
Ну я ведь откатил обратно и убрал запреты на дубликаты. Оставил только hilit:

Код: Выделить всё

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php 
Disallow: /wp-register.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */comments
Disallow: /*?replytocom
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/*&hilit=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php 
Disallow: /wp-register.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */comments
Disallow: /*?replytocom
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/*&hilit=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

Host: https://crimea-your.ru/

Sitemap: https://crimea-your.ru/sitemap.xml.gz
Sitemap: https://crimea-your.ru/sitemap.xml
Sitemap: https://crimea-your.ru/forum/sitemap.php

user-agent: AhrefsBot
Disallow: /

user-agent: dotbot
Disallow: /


Ситуация изменилась. Дубликаты не появились:

Изображение
Я вот понять не могу, у меня по статистике 78243 сообщений, только на форуме, а загружено 11 831, в поиске 10 036. :?
Ведь сообщения то разные, короче хз
Вообще правильная оптимизация должна исключать такие вещи как:
Дубль, Неканоническая, Недостаточно качественная, Ошибка HTTP, Не удалось скачать страницу, Статус неизвестен, Запрещено элементом noindex, Неподдерживаемый формат

Добавлено спустя 4 часа 22 секунды:
Продолжаю наблюдать. :) Оказывается оптимизация это очень занятная вещь. И именно благодаря ей сайты влетают в ТОП, даже говносайты!


robots.txt
Не в сети
(Дмитрий)  
2020-01-07 
Аватара пользователя

Стаж: 7 лет 2 месяца 15 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Андрей, зацени какие изменения произошли.

Изображение

Изображение

Не очень понимаю, как он работает и определяет какие страницы добавлять, а какие удалять, канонические.

Рассмотрим на примере.

Пример 1. Страница каноническая, но удаляемая роботом.
https://crimea-your.ru/forum/viewtopic.php?f=11&p=33853

Страница проиндексирована по каноническому адресу https://crimea-your.ru/forum/viewtopic. ... &start=350, который был указан в атрибуте rel="canonical" в исходном коде. Исправьте или удалите атрибут canonical, если он указан некорректно. Робот отследит изменения автоматически.

Пример 2. Страница каноническая, добавленная роботом.
https://crimea-your.ru/forum/viewtopic.php?f=11&p=37821

Страница попала в поиск, поскольку во время её сканирования роботом её содержимое существенно отличалось от содержимого страницы по адресу https://crimea-your.ru/forum/viewtopic. ... 7&start=10, который был указан в атрибуте rel="canonical" в исходном коде. Исправьте или удалите атрибут canonical, если он указан некорректно. Робот отследит изменения автоматически.

Получается, что в первом, что во втором примере, появились дубли. Но в одном случае они были удалены поисковиком, а в другом добавлены :?

Думаю, что дублями является страницы с префиксом &start

Добавлено спустя 6 минут 40 секунд:
Изображение


Не в сети
(Андрей)  
2020-01-07 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 7 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


я с этими "неканоническими страницами" тоже не понимаю. все сканирования, что происходят сейчас, одну страницу новой темы считают канонической, а другую - нет. хотя на обоих страницах просто статьи и адрес отличается только цифрой. и в коде страницы видно canonical.

большое количество "неканонических страниц" после установки хака действительно сменили статус, но как поисковик сканирует сейчас - я не сильно понимаю.

я сейчас начал ещё разбираться со страницами (на одном из моих сайтов - трекере) портала.
пока не сильно могу понять. страница одна - portal.php. везде она открывается одна. но поисковик сканирует кучу страниц с адресами /portal.php?np=цифра, которые в итоге все ведут на одну и ту же страницу portal.php. я их не вижу, но поисковик их трактует как "отдельные страницы". очень прикольно. причём не считая их дублями. только неканоническими. (а я их каноническими сделать не могу, так как их физически не существует).

сейчас запретил сканирование таких страниц - посмотрю что будет. количество в поиске само собой упадёт, потому что их больше 100...

сейчас обратил внимание на интересный факт:
по статистике на трекере
всего сообщений: 1280
а по данным поисковика
загружено: 1594, в поиске: 1441

стал просматривать данные - у меня поисковик почему-то ещё и изображения загружает и считает...

то есть у меня получается "ситуация наоборот" - сканируется больше, чем есть физически.


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-01-09 
Аватара пользователя

Стаж: 7 лет 2 месяца 15 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Belk писал(а):

поисковик сканирует кучу страниц с адресами /portal.php?np=цифра

Да, у меня тоже самое. Помню мы с Вами давно пытались понять, что это но так и забросили эту непонятную тему )
Belk писал(а):

сейчас запретил сканирование таких страниц - посмотрю что будет. количество в поиске само собой упадёт, потому что их больше 100...

А какой запрет поставили?
Belk писал(а):

сейчас обратил внимание на интересный факт:
по статистике на трекере
всего сообщений: 1280
а по данным поисковика
загружено: 1594, в поиске: 1441

Больше не меньше! ;)
У меня сейчас забавная статистика, из 78000 сообщений 40 214 являются неканоническими.
При этом загружено 55 2905, а в поиске лишь 14 198 :?
Буду наблюдать дальше. Тут главное не торопиться.


Не в сети
(Андрей)  
2020-01-09 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 7 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Цитата:
А какой запрет поставили?


попробовал так. надеюсь правильно...

Код: Выделить всё

Disallow: /portal.php?np=*


отработало. убрало из поиска 169 страниц, вот частичный список (значит правильный запрет написал):

10.01.2020

- /portal.php?np=1000
- /portal.php?np=1004
- /portal.php?np=1016
- /portal.php?np=1020
- /portal.php?np=1024
- /portal.php?np=1028
- /portal.php?np=1036
- /portal.php?np=1044
- /portal.php?np=1048
- /portal.php?np=1052


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-01-12 
Аватара пользователя

Стаж: 7 лет 2 месяца 15 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Андрей, хочешь прикол? Совершенно случайно заметил:

Изображение

Открываю страницу по обоим адресам и что я вижу? :o
https://crimea-your.ru/forum/viewtopic. ... &start=990
https://crimea-your.ru/forum/viewtopic. ... &start=990
Казалось бы совершенно одинаковая страница, с одним и тем же адресом имеет разное содержимое в реальности!!! Как такое может быть :?

А вот, что система считает дублями:
https://crimea-your.ru/forum/viewtopic.php?f=16&p=45324
https://crimea-your.ru/forum/viewtopic. ... 5&start=40


Не в сети
(Андрей)  
2020-01-12 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 7 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


я всё меньше понимаю вообще логику сканирования и оценки поисковиком. что-то они там намудрили, точно.

кстати, насчёт запрета на сканирование страниц портала с цифрами. запретил - ни одна страница не сканируется, зато теперь поисковик и упорно игнорирует саму страницу (основную) /portal.php. он её "не видит". прикольно.

попробую сейчас прописать принудительное разрешение Allow: /portal.php , посмотрю, что будет.

:bm:


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-01-12 
Аватара пользователя

Стаж: 7 лет 2 месяца 15 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Вот аналогично. Вообще не понимаю, как работает алгоритм :?
У меня тоже полно таких страниц, типа таких:
https://crimea-your.ru/forum/index.php? ... 1523dfb6ba
Откуда берется эта хрень, я так и не понял


Не в сети
(Андрей)  
2020-01-12 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 7 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


эти страницы, вроде, обработка cookies, то есть кэш и регистрация.

я имею в виду sid=3328516eea83ffca57e8001523dfb6ba.

хоть и нет прямого запрета на сканирование таких страниц - его можно сделать, потому что вся эта хрень сзади не несёт информации и страница та же самая. странно, но у меня таких страниц не видел. ни здесь, ни на трекере.

вроде такой запрет можно поставить...

Код: Выделить всё

Disallow: /forum/index.php?sid=*


хотя вот у меня есть запрет

Код: Выделить всё

Disallow: /index.php?


то есть не сканировать всё, что со знаком вопроса после index. то есть она, вроде, и так должна "срезать" всю эту галиматью с sid=


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-01-12 
Аватара пользователя

Стаж: 7 лет 2 месяца 15 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


И как срезает? Или еще рано говорить про это?


Не в сети
(Андрей)  
2020-01-12 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 7 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


наверное "срезает", так как у меня нет проблем со страницами с sid=****


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-01-14 Re:
Аватара пользователя

Стаж: 7 лет 2 месяца 15 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Я вот чего подумал, Андрей.
Мы поставили мини хак на канонические страницы и это хорошо. Но плохо то, что поставив этот хак мы присвоили этот атрибут canonical абсолютно всем страницам и это не правильно.
Соответсвенно, запретами в роботс, мы отсекаем канонические дубли, а если не ставим запреты, то алгоритм думает, что бывшие дубли и индексируемые страницы теперь все стали каноническими, и что считать первоисточником он не знает, поэтому выкидывает их из поиска.

Этот вопрос снаскоку и в лоб не решается! :( Тут надо подходить более грамотно и взвешано. ;)

Т.е. надо определиться каким страницам и с каким префиксом указывать этот атрибут. Затем только этим страницам добавлять эту каноничность, а дубли либо запрещать в роботсе, либо не трогать, робот сам их отсечет.

Короче говоря, я убираю данный хак, он не улучшает нашу оптимизацию, а скорее даже наоборот...

Добавлено спустя 15 минут 42 секунды:
Обрати внимание как сделано на другом форуме, который пользуется популярностью:

Код: Выделить всё

<link rel="canonical" href="https://forum.awd.ru/viewtopic.php?f=40&t=38483" /><link rel="next" href="https://forum.awd.ru/viewtopic.php?f=40&amp;t=38483&amp;sid=218078548c7c3ef5dd2caa28969d2c28&amp;start=20" />

Короче чем дальше в лес, тем больше дров. Но что то мы явно делаем не правильно :?

Добавлено спустя 3 минуты 49 секунд:
+ смущает еще то, что в вебмастере яндекса я не вижу не одной добавленной страницы к которой бы яндекс написал каноническая.
Он добавляет и пишет - не каноническая? У тебя также? :?


Не в сети
(Андрей)  
2020-01-14 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 7 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Код: Выделить всё

<link rel="next"


я прочитал в сети, что эта штука была реализована для Googlе и уже не используется.

с каноническими страницами я тоже ничего не понимаю.

у меня сейчас на портале стоит хак, в коде страницы он есть, а робот пишет, что страница portal.php не каноническая.

Dmitry писал(а):

Он добавляет и пишет - не каноническая? У тебя также?


да.

и ещё по вашему примеру. смотрите, что интересно:
написано, что каноническая - это адрес другого вида, но в вашем примере ссылка стандартная с форума и она является канонической. у меня, кстати, тоже были добавления страниц до установки хака с тэгом "каноническая".

смотрите, вот ваш пример:

Код: Выделить всё

<link rel="canonical" href="https://forum.awd.ru/viewtopic.php?f=40&t=38483" />


а вот ссылка с моего трекера (после установки хака):

Код: Выделить всё

<link rel="canonical" href="https://anibelka.ru/viewtopic.php?f=32&amp;t=377" />


а вот та же ссылка в браузере:

Код: Выделить всё

https://anibelka.ru/viewtopic.php?f=32&t=377


то есть получается, что у них на сайте в качестве ссылки для канонической используется стандартный вариант...

кстати, уберу запрет на "портальные ссылки". смысла нет. тем более, что оно теперь портала вообще не видит. (точнее видит, но игнорирует).


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-01-14 Re:
Аватара пользователя

Стаж: 7 лет 2 месяца 15 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Андрей, кажись до меня доперло! :)
И все приведенные запреты были верными, в первом посте (вероятнее всего).
У меня на форуме 78000 сообщений, но! Я не учел тот факт, что количество сообщений и количество страниц разное!
Соответственно, если на странице 10 ответов, то это значит останется 7800 страниц!
Если отдельно посты не индексируются, то тогда примерно все стыкуется.
Или отдельно посты все же индексируются?


Не в сети
(Андрей)  
2020-01-14 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 7 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


я думаю, что не должны. ведь сканируется и определяется именно страница.

у меня сейчас тоже после "убирания дубликатов" количество страниц стало приближаться к количеству тем...

Добавлено спустя 1 час 13 минут 41 секунду:
Сейчас посмотрел на этом сайте - происходит добавление канонических страниц. правда тоже странно:


Изображение


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-01-14 
Аватара пользователя

Стаж: 7 лет 2 месяца 15 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Пробую продолжать экспериментировать, на этот раз оставлю такой роботс на пару месяцев, а там видно будет:

Код: Выделить всё

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php 
Disallow: /wp-register.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */comments
Disallow: /*?replytocom
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/*&hilit=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
Disallow: /forum/viewtopic.php*p=*
Disallow: /forum/viewtopic.php?t=*
Disallow: /forum/view*&start=0$

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php 
Disallow: /wp-register.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */comments
Disallow: /*?replytocom
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/*&hilit=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?t=*
Disallow: /forum/view*&start=0$

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

Host: https://crimea-your.ru/

Sitemap: https://crimea-your.ru/sitemap.xml.gz
Sitemap: https://crimea-your.ru/sitemap.xml
Sitemap: https://crimea-your.ru/forum/sitemap.php

user-agent: AhrefsBot
Disallow: /

user-agent: dotbot
Disallow: /


Добавлено спустя 1 минуту 43 секунды:
Belk писал(а):

у меня сейчас тоже после "убирания дубликатов" количество страниц стало приближаться к количеству тем...


А должно быть по количеству страниц, мне так кажется ... :?
P.S. У тебя сейчас какой роботс, Андрей?


Не в сети
(Андрей)  
2020-01-14 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 7 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


у меня здесь сейчас такой:

Код: Выделить всё

User-agent: *
Disallow: /adm/
Disallow: /download/
Disallow: /styles/
Disallow: /faq.php
Disallow: /feed.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&p=*
Disallow: /viewtopic.php?f=*&t=*&hilit=*
Disallow: /viewtopic.php?f=*&t=*&p=*&hilit=*
Disallow: /viewtopic.php?t=*&p=*
Disallow: /viewtopic.php?f=*&t=*&view=print
Disallow: /viewtopic.php?f=*&t=*&start=*&view=print
Disallow: /ltopic*
Disallow: /ftopic*-.html
Disallow: /ftopic*-0.html
Disallow: /ftopic*.html]*
Disallow: /ftopic*.html%3E*
Disallow: /ftopic*.html%22*
Disallow: /ftopic*.html/ftopic*
Disallow: /ftopic*.html/download/*
Disallow: /forum*-.html
Disallow: /forum*-*.html
Disallow: /ftopic*/
Disallow: /ftopic*.html&*
Disallow: /ftopic*.htmlM*
Disallow: /ftopic*.html:*
Disallow: /ftopic*.html1*
Disallow: /ftopic*.htmlw*
Disallow: /ftopic*.htmle*
Disallow: /ftopic*.html)*
Disallow: /ftopic*-*1.html*
Disallow: /ftopic*-*2.html*
Disallow: /ftopic*-*3.html*
Disallow: /ftopic*-*4.html*
Disallow: /ftopic*-*5.html*
Disallow: /ftopic*-*6.html*
Disallow: /ftopic*-*7.html*
Disallow: /ftopic*-*8.html*
Disallow: /ftopic*-*9.html*
Disallow: /topic*-*1.html*
Disallow: /topic*-*2.html*
Disallow: /topic*-*3.html*
Disallow: /topic*-*4.html*
Disallow: /topic*-*5.html*
Disallow: /topic*-*6.html*
Disallow: /topic*-*7.html*
Disallow: /topic*-*8.html*
Disallow: /topic*-*9.html*
Disallow: /1_t*.html
Disallow: /post*
Disallow: /spost*
Disallow: /away.html
Disallow: /navigate/navigate.html
Disallow: /guest/settings.html


User-agent: Yandex
Disallow: /adm/
Disallow: /faq.php
Disallow: /feed.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /viewtopic.php?f=*&t=*&hilit=*
Disallow: /viewtopic.php?f=*&t=*&p=*&hilit=*
Disallow: /viewtopic.php?t=*&p=*
Disallow: /viewtopic.php?f=*&t=*&view=print
Disallow: /viewtopic.php?f=*&t=*&start=*&view=print
Disallow: /view*&start=0$
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /away.html
Disallow: /navigate/navigate.html
Disallow: /guest/settings.html

Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Host: phpbb-belk.ru

Sitemap: https://phpbb-belk.ru/sitemap.php



но статистика очень странная. хотя и всё стабилизировалось и добавление происходит в "зелёном" цвете с "каноническим" уклоном...

Статистика форума:
Тем: 302
Сообщений: 1831 (по 10 на страницу)

По данным поисковика:
Страниц загружено: 584
В поиске: 489

а до начала наших экспериментов по убиранию дубликатов страниц

страниц в поиске было 2012

то есть тут вообще что-либо понять сложно...

я тоже пока делать нечего не буду. хотя и хак убирать тоже не планирую.


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-01-14 
Аватара пользователя

Стаж: 7 лет 2 месяца 15 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Да, думаю, не надо делать таких резких движений. Надо посмотреть что будет происходить и уже потом анализировать.


Не в сети
(Андрей)  
2020-01-14 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 7 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


:)


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-03-02 
Аватара пользователя

Стаж: 7 лет 2 месяца 15 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Как то стало совсем уныло, всего 39% из поисковых систем в яндекс метрике отображается. Хочу попробовать изначальный вариант с запретами, которых мы испугались


Не в сети
(Андрей)  
2020-03-03 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 7 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


странно, конечно, это всё. я тоже сейчас потихоньку блокирую опять "портальные ссылки", ещё cron заблокировал. совсем потихоньку. наблюдая изменения. вроде стало лучше. сейчас в исключениях такая картина (но не отработало ещё последнее изменение - запрет опять на портальные):


Вложение:
Комментарий к файлу: на 2 марта
исключения.png
исключения.png [ 52.77 КБ | Просмотров: 2535 ] исключения.png



трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-03-03 
Аватара пользователя

Стаж: 7 лет 2 месяца 15 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


У тебя очень все красиво получилось, Андрей!
У меня же все печально. :cry:
В приложении скрин

Добавлено спустя 4 минуты 22 секунды:
В первом посту файл роботс еще актуальный? Ты на нем тестишь?


Вложения:
03.03.2020-1.png
03.03.2020-1.png [ 84.17 КБ | Просмотров: 2532 ] 03.03.2020-1.png

Не в сети
(Андрей)  
2020-03-03 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 7 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


наверное уже нет. я добавлял/удалял понемногу...
сейчас такой: (я не проверял на "вшивость" общий для всех, только Яшу сейчас мучаю)

Код: Выделить всё

User-agent: *
Disallow: /adm/
Disallow: /download/
Disallow: /images/
Disallow: /styles/
Disallow: /faq.php
Disallow: /feed.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&p=*
Disallow: /viewtopic.php?f=*&t=*&hilit=*
Disallow: /viewtopic.php?f=*&t=*&p=*&hilit=*
Disallow: /viewtopic.php?t=*&p=*
Disallow: /viewtopic.php?f=*&t=*&view=print
Disallow: /viewtopic.php?f=*&t=*&start=*&view=print


User-agent: Yandex
Disallow: /portal.php?np=*
Disallow: /adm/
Disallow: /cron.php?cron_type=*
Disallow: /download/
Disallow: /images/
Disallow: /styles/
Disallow: /faq.php
Disallow: /feed.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /viewchat.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&p=*
Disallow: /viewtopic.php?f=*&t=*&hilit=*
Disallow: /viewtopic.php?f=*&t=*&p=*&hilit=*
Disallow: /viewtopic.php?t=*&p=*
Disallow: /viewtopic.php?f=*&t=*&view=print
Disallow: /viewtopic.php?f=*&t=*&start=*&view=print

Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Host: anibelka.ru

Sitemap: https://anibelka.ru/sitemap.php


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-03-10 
Аватара пользователя

Стаж: 7 лет 2 месяца 15 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Хочу на днях модифицировать свой роботс. Спс, Андрей.
Очень отвлекают от любимого дела, работой... Но надеюсь выберу время :)


Не в сети
(Андрей)  
2020-03-10 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 7 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


успехов. правда я свой ещё тоже мучаю. на том скане (последнем) не была заблокирована "портальная ссылка". а их много и они все не канонические.

сейчас прописал запрет и смотрю, что будет. надо чтобы и количество загруженных тем приблизилось к количеству тем в поиске.

прогресс уже есть. загруженных было 1503, а в поиске всего 1250

сейчас загруженных 1303, а в поиске 1264, при этом сообщений на сайте 1330.

то есть "перекос" потихоньку исправляется, похоже на то.

:dash3:


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-03-21 
Аватара пользователя

Стаж: 7 лет 2 месяца 15 дней
Сообщения: 734


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Андрей, есть вопросики :)

Запрет на смайлы: Disallow: /forum/images/
Как будет реагировать поисковик, когда не увидит их в тексте. Просто игнор?
Запреты на туда-сюда отсутствуют, почему?:
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next

Вот это запрет вообще не понятен: :?
Disallow: /cron.php?cron_type=*

И в конце, на мой взгляд, ошибка.

Host: anibelka.ru

Sitemap: https://anibelka.ru/sitemap.php

Надо обязательно указать Host: https://anibelka.ru

P.S. Запускаю новый вариант робота

Добавлено спустя 15 минут 45 секунд:
До сегодняшних изменений статистика у меня была такой:

Изображение

Изображение


Не в сети
(Андрей)  
2020-03-21 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 7 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Цитата:
Запрет на смайлы: Disallow: /forum/images/
Как будет реагировать поисковик, когда не увидит их в тексте. Просто игнор?


можете у себя не прописывать. я закрыл эту папку, потому что поисковик видел там "изображения неподдерживаемого формата".

Код: Выделить всё

Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next


ничего не меняло, как ни странно.

Код: Выделить всё

Disallow: /cron.php?cron_type=*


cron.php - функция управления форума. у меня поисковик яндекса упорно сканировал эти страницы, жаловался на ошибку и добавлял в исключённые. пришлось закрыть ему доступ к ним. если у вас в ошибках их нет - можете тоже не прописывать.

Цитата:
И в конце, на мой взгляд, ошибка.

Host: anibelka.ru


вроде нет. это - доменное имя. оно всегда безо всего.
яша ошибок в файле не видит:

Вложение:
Комментарий к файлу: анализ файла яндексом
robots.png
robots.png [ 21.3 КБ | Просмотров: 2506 ] robots.png



трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Алексей)  

Стаж: 2 года 3 дня
Сообщения: 1


Стиль: prosilver


Репутация: 0


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Belk писал(а):

Файл robots.txt. Для чего он нужен


файл для форума phpbb3:

Код: Выделить всё

User-agent: *
Disallow: /adm/
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$

User-agent: Yandex
Disallow: /adm/
Disallow: /faq.ph
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous

Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php


На три последних строки ругается Гугль. На два юзер-агента ругается Я-вебмастер) Я лично убрал)


Не в сети
(Андрей)  
2022-04-08 
Администратор
Аватара пользователя

Стаж: 8 лет 6 месяцев 7 дней
Сообщения: 1223
Откуда: здешние мы


Стиль: subsilver2


Репутация: 11


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


в последнее время и яша и гугла проводят модернизацию и успеть за их изменениями не всегда возможно...


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Показать сообщения за:  Поле сортировки  
Ответить на тему  [ Сообщений: 49 ] 

Кто сейчас на сайте:

Всего посетителей: 0, из них зарегистрированных: 0, скрытых: 0 и гостей: 0 (основано на активности пользователей за последние 5 минут)
Больше всего посетителей (122) здесь было 19 дек 2023, 12:10

Сейчас этот раздел просматривают: нет зарегистрированных пользователей и гости: 0

Часовой пояс: UTC + 2 часа



Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения
Вы не можете защищать свои темы паролем

Найти:
Перейти:  




cron

Текущее время: 29 мар 2024, 12:32

Создано на основе phpBB® Forum Software © phpBB Group
Яндекс.Метрика

Полная версия Мобильный вид