info navigation page administrator

phpbb-belk.ru

темы, связанные с форумом phpbb 3.0.x - 3.1.x



Новая тема  [ Сообщений: 39 ]  1 2 3 4

Автор Сообщение
Не в сети
(Дмитрий)  
2020-01-04 
Аватара пользователя

Стаж: 3 года 6 дней
Сообщения: 657


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Belk писал(а):

а разве это не после того, как мы запретили дубликаты страниц? у меня тоже примерно на 70 процентов упало.

Ну да, после того как дубликаты запретили.
Ну я ведь откатил обратно и убрал запреты на дубликаты. Оставил только hilit:

Код: Выделить всё

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php 
Disallow: /wp-register.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */comments
Disallow: /*?replytocom
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/*&hilit=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php 
Disallow: /wp-register.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */comments
Disallow: /*?replytocom
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/*&hilit=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

Host: https://crimea-your.ru/

Sitemap: https://crimea-your.ru/sitemap.xml.gz
Sitemap: https://crimea-your.ru/sitemap.xml
Sitemap: https://crimea-your.ru/forum/sitemap.php

user-agent: AhrefsBot
Disallow: /

user-agent: dotbot
Disallow: /


Ситуация изменилась. Дубликаты не появились:

Изображение
Я вот понять не могу, у меня по статистике 78243 сообщений, только на форуме, а загружено 11 831, в поиске 10 036. :?
Ведь сообщения то разные, короче хз
Вообще правильная оптимизация должна исключать такие вещи как:
Дубль, Неканоническая, Недостаточно качественная, Ошибка HTTP, Не удалось скачать страницу, Статус неизвестен, Запрещено элементом noindex, Неподдерживаемый формат

Добавлено спустя 4 часа 22 секунды:
Продолжаю наблюдать. :) Оказывается оптимизация это очень занятная вещь. И именно благодаря ей сайты влетают в ТОП, даже говносайты!


robots.txt
Не в сети
(Дмитрий)  
2020-01-07 
Аватара пользователя

Стаж: 3 года 6 дней
Сообщения: 657


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Андрей, зацени какие изменения произошли.

Изображение

Изображение

Не очень понимаю, как он работает и определяет какие страницы добавлять, а какие удалять, канонические.

Рассмотрим на примере.

Пример 1. Страница каноническая, но удаляемая роботом.
https://crimea-your.ru/forum/viewtopic.php?f=11&p=33853

Страница проиндексирована по каноническому адресу https://crimea-your.ru/forum/viewtopic. ... &start=350, который был указан в атрибуте rel="canonical" в исходном коде. Исправьте или удалите атрибут canonical, если он указан некорректно. Робот отследит изменения автоматически.

Пример 2. Страница каноническая, добавленная роботом.
https://crimea-your.ru/forum/viewtopic.php?f=11&p=37821

Страница попала в поиск, поскольку во время её сканирования роботом её содержимое существенно отличалось от содержимого страницы по адресу https://crimea-your.ru/forum/viewtopic. ... 7&start=10, который был указан в атрибуте rel="canonical" в исходном коде. Исправьте или удалите атрибут canonical, если он указан некорректно. Робот отследит изменения автоматически.

Получается, что в первом, что во втором примере, появились дубли. Но в одном случае они были удалены поисковиком, а в другом добавлены :?

Думаю, что дублями является страницы с префиксом &start

Добавлено спустя 6 минут 40 секунд:
Изображение


Не в сети
(Андрей)  
2020-01-07 
Администратор
Аватара пользователя

Стаж: 4 года 3 месяца 28 дней
Сообщения: 1007
Откуда: здешние мы


Стиль: subsilver2


Репутация: 6


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


я с этими "неканоническими страницами" тоже не понимаю. все сканирования, что происходят сейчас, одну страницу новой темы считают канонической, а другую - нет. хотя на обоих страницах просто статьи и адрес отличается только цифрой. и в коде страницы видно canonical.

большое количество "неканонических страниц" после установки хака действительно сменили статус, но как поисковик сканирует сейчас - я не сильно понимаю.

я сейчас начал ещё разбираться со страницами (на одном из моих сайтов - трекере) портала.
пока не сильно могу понять. страница одна - portal.php. везде она открывается одна. но поисковик сканирует кучу страниц с адресами /portal.php?np=цифра, которые в итоге все ведут на одну и ту же страницу portal.php. я их не вижу, но поисковик их трактует как "отдельные страницы". очень прикольно. причём не считая их дублями. только неканоническими. (а я их каноническими сделать не могу, так как их физически не существует).

сейчас запретил сканирование таких страниц - посмотрю что будет. количество в поиске само собой упадёт, потому что их больше 100...

сейчас обратил внимание на интересный факт:
по статистике на трекере
всего сообщений: 1280
а по данным поисковика
загружено: 1594, в поиске: 1441

стал просматривать данные - у меня поисковик почему-то ещё и изображения загружает и считает...

то есть у меня получается "ситуация наоборот" - сканируется больше, чем есть физически.


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-01-09 
Аватара пользователя

Стаж: 3 года 6 дней
Сообщения: 657


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Belk писал(а):

поисковик сканирует кучу страниц с адресами /portal.php?np=цифра

Да, у меня тоже самое. Помню мы с Вами давно пытались понять, что это но так и забросили эту непонятную тему )
Belk писал(а):

сейчас запретил сканирование таких страниц - посмотрю что будет. количество в поиске само собой упадёт, потому что их больше 100...

А какой запрет поставили?
Belk писал(а):

сейчас обратил внимание на интересный факт:
по статистике на трекере
всего сообщений: 1280
а по данным поисковика
загружено: 1594, в поиске: 1441

Больше не меньше! ;)
У меня сейчас забавная статистика, из 78000 сообщений 40 214 являются неканоническими.
При этом загружено 55 2905, а в поиске лишь 14 198 :?
Буду наблюдать дальше. Тут главное не торопиться.


Не в сети
(Андрей)  
2020-01-09 
Администратор
Аватара пользователя

Стаж: 4 года 3 месяца 28 дней
Сообщения: 1007
Откуда: здешние мы


Стиль: subsilver2


Репутация: 6


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Цитата:
А какой запрет поставили?


попробовал так. надеюсь правильно...

Код: Выделить всё

Disallow: /portal.php?np=*


отработало. убрало из поиска 169 страниц, вот частичный список (значит правильный запрет написал):

10.01.2020

- /portal.php?np=1000
- /portal.php?np=1004
- /portal.php?np=1016
- /portal.php?np=1020
- /portal.php?np=1024
- /portal.php?np=1028
- /portal.php?np=1036
- /portal.php?np=1044
- /portal.php?np=1048
- /portal.php?np=1052


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-01-12 
Аватара пользователя

Стаж: 3 года 6 дней
Сообщения: 657


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Андрей, хочешь прикол? Совершенно случайно заметил:

Изображение

Открываю страницу по обоим адресам и что я вижу? :o
https://crimea-your.ru/forum/viewtopic. ... &start=990
https://crimea-your.ru/forum/viewtopic. ... &start=990
Казалось бы совершенно одинаковая страница, с одним и тем же адресом имеет разное содержимое в реальности!!! Как такое может быть :?

А вот, что система считает дублями:
https://crimea-your.ru/forum/viewtopic.php?f=16&p=45324
https://crimea-your.ru/forum/viewtopic. ... 5&start=40


Не в сети
(Андрей)  
2020-01-12 
Администратор
Аватара пользователя

Стаж: 4 года 3 месяца 28 дней
Сообщения: 1007
Откуда: здешние мы


Стиль: subsilver2


Репутация: 6


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


я всё меньше понимаю вообще логику сканирования и оценки поисковиком. что-то они там намудрили, точно.

кстати, насчёт запрета на сканирование страниц портала с цифрами. запретил - ни одна страница не сканируется, зато теперь поисковик и упорно игнорирует саму страницу (основную) /portal.php. он её "не видит". прикольно.

попробую сейчас прописать принудительное разрешение Allow: /portal.php , посмотрю, что будет.

:bm:


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-01-12 
Аватара пользователя

Стаж: 3 года 6 дней
Сообщения: 657


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


Вот аналогично. Вообще не понимаю, как работает алгоритм :?
У меня тоже полно таких страниц, типа таких:
https://crimea-your.ru/forum/index.php? ... 1523dfb6ba
Откуда берется эта хрень, я так и не понял


Не в сети
(Андрей)  
2020-01-12 
Администратор
Аватара пользователя

Стаж: 4 года 3 месяца 28 дней
Сообщения: 1007
Откуда: здешние мы


Стиль: subsilver2


Репутация: 6


Russia

Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


эти страницы, вроде, обработка cookies, то есть кэш и регистрация.

я имею в виду sid=3328516eea83ffca57e8001523dfb6ba.

хоть и нет прямого запрета на сканирование таких страниц - его можно сделать, потому что вся эта хрень сзади не несёт информации и страница та же самая. странно, но у меня таких страниц не видел. ни здесь, ни на трекере.

вроде такой запрет можно поставить...

Код: Выделить всё

Disallow: /forum/index.php?sid=*


хотя вот у меня есть запрет

Код: Выделить всё

Disallow: /index.php?


то есть не сканировать всё, что со знаком вопроса после index. то есть она, вроде, и так должна "срезать" всю эту галиматью с sid=


трёхголовый белк семейства рептилоидов:
"три головы - хорошо, на как же трудно придти к согласию..."
Не в сети
(Дмитрий)  
2020-01-12 
Аватара пользователя

Стаж: 3 года 6 дней
Сообщения: 657


Стиль: prosilver


Репутация: 15




Тиц и PR

перейти на сайт пользователя
Найти темы пользователя


И как срезает? Или еще рано говорить про это?


Показать сообщения за:  Поле сортировки  
Ответить на тему  [ Сообщений: 39 ]  1 2 3 4

Кто сейчас на сайте:

Всего посетителей: 1, из них зарегистрированных: 0, скрытых: 0 и гостей: 1 (основано на активности пользователей за последние 5 минут)
Больше всего посетителей (17) здесь было 23 янв 2017, 17:20

Сейчас этот раздел просматривают: нет зарегистрированных пользователей и гости: 1

Часовой пояс: UTC + 2 часа



Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения
Вы не можете защищать свои темы паролем

Найти:
Перейти:  

cron

Текущее время: 20 янв 2020, 11:33

Создано на основе phpBB® Forum Software © phpBB Group
Яндекс.Метрика

Полная версия Мобильный вид