info navigation page administrator

phpbb-belk.ru

темы, связанные с форумом phpbb 3.0.x



Новая тема  [ Сообщений: 39 ]  1 2 3 4

Автор Сообщение
Не в сети
(Дмитрий)  
2019-12-29 
Аватара пользователя

Стаж: 3 года 1 месяц 4 дня
Сообщения: 659


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Андрей, что то мне кажется мы немного перестарались с запретами :-D

Изображение

Изображение

63 479 - Запрет в robots.txt (страница) :o
Или это норм, надо дождаться когда робот обойдет все страницы :?

Мой роботс:

Код: Выделить всё

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php 
Disallow: /wp-register.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */comments
Disallow: /*?replytocom
Disallow: /forum/adm/
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/index.php?
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewonline.php
Disallow: /forum/*&st=*
Disallow: /forum/*&sk=*
Disallow: /forum/*&sd=*
Disallow: /forum/*&hilit=*
Disallow: /forum/*&view=*
Disallow: /forum/viewtopic.php*p=*
Disallow: /forum/viewtopic.php?t=*
Disallow: /forum/view*&start=0$


User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php 
Disallow: /wp-register.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */comments
Disallow: /*?replytocom
Disallow: /forum/adm/
Disallow: /forum/faq.ph
Disallow: /forum/mcp.php
Disallow: /forum/index.php?
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewonline.php
Disallow: /forum/*&st=*
Disallow: /forum/*&sk=*
Disallow: /forum/*&sd=*
Disallow: /forum/*&hilit=*
Disallow: /forum/*&view=*
Disallow: /forum/viewtopic.php*p=*
Disallow: /forum/viewtopic.php?t=*
Disallow: /forum/view*&start=0$
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

Host: https://crimea-your.ru/

Sitemap: https://crimea-your.ru/sitemap.xml.gz
Sitemap: https://crimea-your.ru/sitemap.xml
Sitemap: https://crimea-your.ru/forum/sitemap.php

user-agent: AhrefsBot
Disallow: /

user-agent: dotbot
Disallow: /


Будем наблюдать... :)

Добавлено спустя 1 час 4 минуты 34 секунды:
Вот еще что интересно, у меня на форуме 78 тысяч постов, и ранее в поиске было примерно 50 тысяч. А теперь в поиске только 9 тысяч. Или обычные посты не должны индексироваться? Только страницы?


robots.txt
Не в сети
(Андрей)  
2019-12-29 
Администратор
Аватара пользователя

Стаж: 4 года 4 месяца 27 дней
Сообщения: 1009
Откуда: здешние мы


Стиль: subsilver2


Репутация: 6


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


так кто ж его знает.... у меня на этом сайте тоже большое падение "страниц в поиске". хотя что именно осталось - тоже не совсем понятно.
после падения пишет, что страниц в поиске - 467 (а было - 1984), но по статистике самого форума

Цитата:
Всего сообщений: 1803 | Тем: 302


у меня есть отдельные файлы, но их не сотня с лишним...

то есть эффект от всего этого есть - дубли точно исчезли. вот только что ещё мешает?

может стоит пока вернуть старый robots? пока не поймём что происходит?

создаётся такое ощущение, что робот блокирует страницы, то есть стоит запрет

Код: Выделить всё

Disallow: /viewtopic.php?f=*&t


но ведь его нет...

пока что удалил то, чего не было в оригинальном файле (не знаю зачем это):

Код: Выделить всё

Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2019-12-29 
Аватара пользователя

Стаж: 3 года 1 месяц 4 дня
Сообщения: 659


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Думаю, что вся соль в этом запрете:

Код: Выделить всё

Disallow: /forum/viewtopic.php?t=*


Добавлено спустя 13 минут 8 секунд:
Андрей, вот еще интересный подход к проблеме:
https://soltyk.ru/koding-i-cms/phpbb/ht ... dlya-phpbb

Добавлено спустя 2 минуты 5 секунд:
Думаю разумнее всего будет тестировать не спеша, вводя по 1 запрету в неделю :)
И смотреть на аналитику ;)


Не в сети
(Андрей)  
2019-12-29 
Администратор
Аватара пользователя

Стаж: 4 года 4 месяца 27 дней
Сообщения: 1009
Откуда: здешние мы


Стиль: subsilver2


Репутация: 6


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


прочитал. да, интересно. у автора там похоже ещё много чего кроме галереи стоит... :-D

Цитата:
Думаю разумнее всего будет тестировать не спеша, вводя по 1 запрету в неделю
И смотреть на аналитику


да, я тоже так думаю. будем торопиться не спеша.


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2019-12-30 
Аватара пользователя

Стаж: 3 года 1 месяц 4 дня
Сообщения: 659


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Обновил свой Роботс, немного убрав запреты. Сейчас выглядит так:

Код: Выделить всё

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php 
Disallow: /wp-register.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */comments
Disallow: /*?replytocom
Disallow: /forum/adm/
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/index.php?
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewonline.php
Disallow: /forum/*&hilit=*
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
Disallow: /forum/viewtopic.php*p=*
Disallow: /forum/viewtopic.php?t=*
Disallow: /forum/view*&start=0$


User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php 
Disallow: /wp-register.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */comments
Disallow: /*?replytocom
Disallow: /forum/adm/
Disallow: /forum/faq.ph
Disallow: /forum/mcp.php
Disallow: /forum/index.php?
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewonline.php
Disallow: /forum/*&hilit=*
Disallow: /forum/viewtopic.php*p=*
Disallow: /forum/view*&start=0$
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

Host: https://crimea-your.ru/

Sitemap: https://crimea-your.ru/sitemap.xml.gz
Sitemap: https://crimea-your.ru/sitemap.xml
Sitemap: https://crimea-your.ru/forum/sitemap.php

user-agent: AhrefsBot
Disallow: /

user-agent: dotbot
Disallow: /


Не в сети
(Андрей)  
2019-12-30 
Администратор
Аватара пользователя

Стаж: 4 года 4 месяца 27 дней
Сообщения: 1009
Откуда: здешние мы


Стиль: subsilver2


Репутация: 6


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


подождём, посмотрим. раз нет готовых ответов - надо экспериментировать самим... :?


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-01-02 
Аватара пользователя

Стаж: 3 года 1 месяц 4 дня
Сообщения: 659


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


за несколько дней вообще ничего не поменялось. :? Откатил обратно + добавил hilit


Не в сети
(Андрей)  
2020-01-02 
Администратор
Аватара пользователя

Стаж: 4 года 4 месяца 27 дней
Сообщения: 1009
Откуда: здешние мы


Стиль: subsilver2


Репутация: 6


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


ясно.

может мало времени прошло? :?


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-01-03 
Аватара пользователя

Стаж: 3 года 1 месяц 4 дня
Сообщения: 659


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Какая то фигня у меня творится ...

Изображение
Наблюдаю дальше...


Не в сети
(Андрей)  
2020-01-03 
Администратор
Аватара пользователя

Стаж: 4 года 4 месяца 27 дней
Сообщения: 1009
Откуда: здешние мы


Стиль: subsilver2


Репутация: 6


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


а разве это не после того, как мы запретили дубликаты страниц? у меня тоже примерно на 70 процентов упало.


Изображение

или вы думаете, что мы ещё что-то запретили?...


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Показать сообщения за:  Поле сортировки  
Ответить на тему  [ Сообщений: 39 ]  1 2 3 4

Кто сейчас на сайте:

Всего посетителей: 1, из них зарегистрированных: 0, скрытых: 0 и гостей: 1 (основано на активности пользователей за последние 5 минут)
Больше всего посетителей (17) здесь было 23 янв 2017, 17:20

Сейчас этот раздел просматривают: нет зарегистрированных пользователей и гости: 1

Часовой пояс: UTC + 2 часа



Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения
Вы не можете защищать свои темы паролем

Найти:
Перейти:  

cron

Текущее время: 19 фев 2020, 00:02

Создано на основе phpBB® Forum Software © phpBB Group
Яндекс.Метрика

Полная версия Мобильный вид