Автор |
Сообщение |
|
|
Администратор |
|
Стаж: 8 лет 6 месяцев 7 дней Сообщения: 1223 Откуда: здешние мы
Стиль: subsilver2
Репутация: 11
перейти на сайт пользователя
Найти темы пользователя
|
.htaccess у меня стандартный, только страницы ошибок в стиле форума и код перевода в https. больше ничего. а robots (вроде тоже ничего такого...):
"robots"
Код: Выделить всё User-agent: * Disallow: *?sid=* Disallow: /adm/* Disallow: /cgi-bin Disallow: /download/* Disallow: /faq.php* Disallow: /mcp.php* Disallow: /ucp.php* Disallow: /style.php* Disallow: /report.php* Disallow: /search.php* Disallow: /posting.php* Disallow: /memberlist.php* Disallow: /viewforum.php* Disallow: /viewtopic.php* Disallow: /viewtopic.php?p=* Disallow: /viewtopic.php?t=* Disallow: /viewtopic.php?f=* Disallow: /viewtopic.php?f=*&t=*&start=0$ Disallow: /viewforum.php?f=*&start=0$ Disallow: /viewtopic.php?f=*&t=*&view=next Disallow: /viewtopic.php?f=*&t=*&view=previous Disallow: /ltopic* Disallow: /ftopic*-.html Disallow: /ftopic*-0.html Disallow: /ftopic*.html]* Disallow: /ftopic*.html%3E* Disallow: /ftopic*.html%22* Disallow: /ftopic*.html/ftopic* Disallow: /ftopic*.html/download/* Disallow: /forum*-.html Disallow: /forum*-*.html Disallow: /ftopic*/ Disallow: /ftopic*.html&* Disallow: /ftopic*.htmlM* Disallow: /ftopic*.html:* Disallow: /ftopic*.html1* Disallow: /ftopic*.htmlw* Disallow: /ftopic*.htmle* Disallow: /ftopic*.html)* Disallow: /ftopic*-*1.html* Disallow: /ftopic*-*2.html* Disallow: /ftopic*-*3.html* Disallow: /ftopic*-*4.html* Disallow: /ftopic*-*5.html* Disallow: /ftopic*-*6.html* Disallow: /ftopic*-*7.html* Disallow: /ftopic*-*8.html* Disallow: /ftopic*-*9.html* Disallow: /topic*-*1.html* Disallow: /topic*-*2.html* Disallow: /topic*-*3.html* Disallow: /topic*-*4.html* Disallow: /topic*-*5.html* Disallow: /topic*-*6.html* Disallow: /topic*-*7.html* Disallow: /topic*-*8.html* Disallow: /topic*-*9.html* Disallow: /1_t*.html Disallow: /post* Disallow: /spost* Disallow: /away.html Disallow: /navigate/navigate.html Disallow: /guest/settings.html
Sitemap: https://phpbb-belk.ru/sitemap.php
User-agent: Yandex Disallow: /faq.php Disallow: /mcp.php Disallow: /memberlist.php Disallow: /posting.php Disallow: /report.php Disallow: /search.php Disallow: /style.php Disallow: /ucp.php Disallow: /viewtopic.php?p=* Disallow: /viewtopic.php?f=*&t=*&start=0$ Disallow: /viewtopic.php?f=*&t=*&view=next Disallow: /viewtopic.php?f=*&t=*&view=previous Disallow: /away.html Disallow: /navigate/navigate.html Disallow: /guest/settings.html Host: phpbb-belk.ru Sitemap: https://phpbb-belk.ru/sitemap.php
|
|
трёхголовый белк семейства рептилоидов: "три головы - хорошо, на как же трудно придти к согласию..."
|
|
раскрутка сайта, оптимизация сайта, продвижение сайта, форум phpbb
|
|
|
|
Администратор |
|
Стаж: 8 лет 6 месяцев 7 дней Сообщения: 1223 Откуда: здешние мы
Стиль: subsilver2
Репутация: 11
перейти на сайт пользователя
Найти темы пользователя
|
может быть. только я тоже не знаю как запретить именно это. надо выбрать время и через какие-то программы тестировать вносимые изменения. потому как ожидая, пока их отсканирует Яша - можем получить гораздо больше проблем. короче надо экспериментировать, но у меня, к сожалению, нет сейчас столько времени, чтобы сосредоточится на этом вопросе. у меня тоже дублей около двухсот, вроде, и вычищать их, видимо, будет долго..
|
|
трёхголовый белк семейства рептилоидов: "три головы - хорошо, на как же трудно придти к согласию..."
|
|
|
|
|
|
Администратор |
|
Стаж: 8 лет 6 месяцев 7 дней Сообщения: 1223 Откуда: здешние мы
Стиль: subsilver2
Репутация: 11
перейти на сайт пользователя
Найти темы пользователя
|
пошарил по сети, заинтересовавшись вашим вопросом. повезло, нашёл файл для примера и статью с объяснениями, которая подходит к сайтам на основе форума phpbb 3.0
"robots.txt"
Код: Выделить всё User-agent: * Disallow: /adm/ Disallow: /faq.php Disallow: /mcp.php Disallow: /index.php? Disallow: /memberlist.php Disallow: /posting.php Disallow: /report.php Disallow: /search.php Disallow: /style.php Disallow: /ucp.php Disallow: /viewonline.php Disallow: /*&st=* Disallow: /*&sk=* Disallow: /*&sd=* Disallow: /*&hilit=* Disallow: /*&view=* Disallow: /viewtopic.php*p=* Disallow: /viewtopic.php?t=* Disallow: /view*&start=0$
# Google Image User-agent: Googlebot-Image Disallow:
# Google AdSense User-agent: Mediapartners-Google Disallow:
User-agent: Yandex Disallow: /adm/ Disallow: /faq.php Disallow: /mcp.php Disallow: /index.php? Disallow: /memberlist.php Disallow: /posting.php Disallow: /report.php Disallow: /search.php Disallow: /style.php Disallow: /ucp.php Disallow: /viewonline.php Disallow: /*&st=* Disallow: /*&sk=* Disallow: /*&sd=* Disallow: /*&hilit=* Disallow: /*&view=* Disallow: /viewtopic.php*p=* Disallow: /viewtopic.php?t=* Disallow: /view*&start=0$
Host: www.phpbb-work.ru Sitemap: http://www.phpbb-work.ru/sitemap.php
Clean-param: sid /index.php Clean-param: sid /viewforum.php Clean-param: sid /viewtopic.php
как видите в файле закрыты для индексации и страницы с &hilit=я добавил в свой файл недостающее отсюда... будем посмотреть. главное - есть информация для размышления. в статье довольно интересно описан файл robots именно для нашего форума. почитайте: https://www.phpbb-work.ru/robots-txt-t55.html
|
|
трёхголовый белк семейства рептилоидов: "три головы - хорошо, на как же трудно придти к согласию..."
|
|
|
|
|
|
Администратор |
|
Стаж: 8 лет 6 месяцев 7 дней Сообщения: 1223 Откуда: здешние мы
Стиль: subsilver2
Репутация: 11
перейти на сайт пользователя
Найти темы пользователя
|
Сейчас посмотрел другой свой сайт, торрент-трекер на основе этого форума. так вот - там эти правки для viewtopic c &hilit= и со всем остальным прописаны и итог: страниц в поиске 1556, а дублей - всего 2. прописал правки и там, что не хватало. плюс ещё увидел на Яше, что он жалуется на ссылки "неканонического вида". нашёл по этой же ссылке (сверху) хак. установил и в коде страницы начал выводится код канонического вида. описание установки этой модификации здесь. вот так будет выглядеть вывод этой ссылки в коде страницы: Вложение:
Комментарий к файлу: скан кода страницы с этого сайта
canonical.png [ 16.38 КБ | Просмотров: 561 ]
canonical.png
вроде сделал всё, что хотел... а, да, забыл: я в запрет для Яши добавил и код новостного канала feed.php, то есть прописал ещё и по той простой причине, что Яша использует другой формат данных, а сканирует именно этот файл, в результате для него все наши новости - абракадабра. (я имею в виду RSS) к сожалению я не нашёл мода, который устанавливает на наш форум систему подходящего RSS.
|
|
трёхголовый белк семейства рептилоидов: "три головы - хорошо, на как же трудно придти к согласию..."
|
|
|
|
|
|
Администратор |
|
Стаж: 8 лет 6 месяцев 7 дней Сообщения: 1223 Откуда: здешние мы
Стиль: subsilver2
Репутация: 11
перейти на сайт пользователя
Найти темы пользователя
|
удачи. а у меня как раз наоборот - я не начинаю искать всякие баги и недоразумения, пока жизнь не заставит. (пример: на трекере все дубликаты были закрыты в robots.txt, а здесь - ни одного). то есть я не занимаюсь этим глобально. я как-то больше на саму работу сайта внимание обращаю. (а надо бы на всё). так что ваш "поиск багов" для меня тоже "нужная вещь".
|
|
трёхголовый белк семейства рептилоидов: "три головы - хорошо, на как же трудно придти к согласию..."
|
|
|
|
|
|
Стаж: 7 лет 2 месяца 14 дней Сообщения: 734
Стиль: prosilver
Репутация: 15
перейти на сайт пользователя
Найти темы пользователя
|
Вот еще что заметил. И мне на это прямо указал мой знакомый. Что текстовый вопрос, статичный это прям ужОс, ужасный. И можно при желание за 5 минут, забить запросами форум. Он показал как это делается и сервер ляжет.... Ну типа если кто то захочет подосрать Надо ставить капчу от гугла: https://www.google.com/recaptcha/intro/v3.htmlЯ вроде все прочитал, настроил ее в админке, но этого оказалась мало! Надо шаблон корректировать. В интере почитал, инфы нет совсем только эту нашел: https://www.phpbbguru.net/community/vie ... hp?t=44944Но вроде это не совсем то... Андрей, ты какую защиту используешь? Атак на форум не бывает? У меня было раза 4 за все время. Форум просто ложился часа на 4
|
|
|
|
|
|
|
|
Администратор |
|
Стаж: 8 лет 6 месяцев 7 дней Сообщения: 1223 Откуда: здешние мы
Стиль: subsilver2
Репутация: 11
перейти на сайт пользователя
Найти темы пользователя
|
да вроде бог миловал... у меня не настолько раскрученные ресурсы (оба) чтобы кому-то "помешали". трекер уникальный, но другого такого я не видел, поэтому конкуренцию тоже никому не создаю. я защиту никакую не использую. вообще-то я где-то читал, что реальной защиты от DDOS-атак не существует. то есть канал трафика уже забит запросами спамера и очистить этот канал не возможно. потому что он формируется извне. и, обычно, для этого используется куча разных ip-адресов, что делает невозможным блокировку источника спама. можно защитить от атак свои "исполнительные" механизмы, то есть регистрацию, аккаунты и т.д., но не возможно разгрузить канал. то есть есть когда он забит кучей информации сайт "лежать" не будет, но "получить к нему доступ" будет нереально. надо типа "ждать очереди". ещё я читал, что когда идёт ddos-атака на какой-либо сайт - хостер сам отключает этот сайт от от своего сервера, чтобы не легли остальные сайты и не "потух" ВЕСЬ канал хостера.
|
|
трёхголовый белк семейства рептилоидов: "три головы - хорошо, на как же трудно придти к согласию..."
|
|
|
|
|
|
Администратор |
|
Стаж: 8 лет 6 месяцев 7 дней Сообщения: 1223 Откуда: здешние мы
Стиль: subsilver2
Репутация: 11
перейти на сайт пользователя
Найти темы пользователя
|
та капча, что стоит у меня здесь (с перетаскиванием) отлично себя зарекомендовала. боты её не преодолевают, а спамеров-людей не так много, потому как им надо платить, а я столько не стою. ) я об этой капче: https://phpbb-belk.ru/viewtopic.php?f=4&t=148
|
|
трёхголовый белк семейства рептилоидов: "три головы - хорошо, на как же трудно придти к согласию..."
|
|
|
|
|
|
Администратор |
|
Стаж: 8 лет 6 месяцев 7 дней Сообщения: 1223 Откуда: здешние мы
Стиль: subsilver2
Репутация: 11
перейти на сайт пользователя
Найти темы пользователя
|
да нет. у меня всё нормально. счётчик метрики явно стоит подключить. не помешает дополнительная информация. а турбо-страницы они сейчас всем предлагают. тренд такой, на улучшение качества. проблема в том, что для наших форумов-сайтов подходит только rss-лента. а она у нас выводит данные в другом формате и для яши не подходит. есть там ещё один путь: создавать для каждой страницы отдельную "турбо" вручную. во-первых это - дикая работа, во-вторых - это "статика", то есть она не будет учитывать изменений на странице, происходящих потом. я над этим уже думал и не нашёл пути решения для "турбо-страниц".
|
|
трёхголовый белк семейства рептилоидов: "три головы - хорошо, на как же трудно придти к согласию..."
|
|
|
|
|
|
Администратор |
|
Стаж: 8 лет 6 месяцев 7 дней Сообщения: 1223 Откуда: здешние мы
Стиль: subsilver2
Репутация: 11
перейти на сайт пользователя
Найти темы пользователя
|
рад, что получается. с каноническими/неканоническими страницами так и не разобрался. у меня сейчас яша добавляет в "исключённые" по одной-две страницы, как неканонические. тут же точно такую же (по оформлению и коду (кроме содержания)) страницу считает канонической. я уже в сети читал про эти страницы и так абсолютно точно и не понял "чем одни отличаются от других", кроме того, что это - дубли. очень запутанно. да ещё на днях поисковик яши отметился - добавил в "исключённые" как "неподдерживаемый формат" сам файл robots.txt. Вложение:
bred.png [ 10.98 КБ | Просмотров: 565 ]
bred.png
что там происходит - я уже просто не понимаю.
|
|
трёхголовый белк семейства рептилоидов: "три головы - хорошо, на как же трудно придти к согласию..."
|
|
|
|
|
|
Администратор |
|
Стаж: 8 лет 6 месяцев 7 дней Сообщения: 1223 Откуда: здешние мы
Стиль: subsilver2
Репутация: 11
перейти на сайт пользователя
Найти темы пользователя
|
19 мая 2020 года. честно говоря - надоело воевать с Яшей насчёт ссылок неканонического вида. тем более, что реального выхода из этой ситуации я так и не нашёл. поэтому решил поставить здесь (для проверки) SEO Mod с ЧПУ. само собой все данные оптимизации слетят, так как ссылки изменятся, но зато дубликатов явно не будет (так как каждая уникальна). ссылка для поисковика здесь теперь выглядит так: Вложение:
canonical.png [ 41.94 КБ | Просмотров: 555 ]
canonical.png
(да, удалил вывод ссылки канонического вида, установленного через hooks). итак, будем посмотреть, что будет дальше. сам ничего в веб-мастере менять не стал - подожду пока тот сам обновит данные. выложу здесь что будет дальше. Добавлено спустя 18 часов 43 минуты 59 секунд:ну вот, Яндекс-бот отреагировал очень быстро, буквально на следующий день. пришло письмо на почту. Вложение:
tape_1.png [ 13.88 КБ | Просмотров: 551 ]
tape_1.png
код страницы сменился с 200 (доступен) на 301 (редирект-перенаправление) само собой код изменился. был Код: Выделить всё https://phpbb-belk.ru/viewtopic.php?f=19&t=305 стал смотрим дальше.
|
|
трёхголовый белк семейства рептилоидов: "три головы - хорошо, на как же трудно придти к согласию..."
|
|
|
|
|
|
Администратор |
|
Стаж: 8 лет 6 месяцев 7 дней Сообщения: 1223 Откуда: здешние мы
Стиль: subsilver2
Репутация: 11
перейти на сайт пользователя
Найти темы пользователя
|
да, там удалось добиться определённых успехов, но завершить проект не удалось. нет чётких критериев "неканонизма". Добавлено спустя 23 часа 21 минуту 34 секунды:22 мая. начинается изменение. интересно как-то происходит... на главной странице веб-мастера изменение перехода уже видно. резко выросло число страниц в поиске. как и загруженных. хотя вся статистика пока осталась без изменений. Вложение:
Комментарий к файлу: главная страница
tape_2.png [ 25.75 КБ | Просмотров: 690 ]
tape_2.png
Вложение:
Комментарий к файлу: статистика
tape_2-1.png [ 19.9 КБ | Просмотров: 690 ]
tape_2-1.png
посмотрим, что будет дальше. когда сменится статистика будет очень интересно посмотреть перераспределение по новому коду. Добавлено спустя 10 часов 55 минут 20 секунд:23 мая. утро. статистика начала меняться. похоже поисковик просканировал сейчас и страницы со старым кодом и с новым. видимо надо подождать пока он удалит старые. редирект 301 подразумевает, что сканируется именно та ссылка на страницу, куда указывает редирект. Вложение:
Комментарий к файлу: статистика. обновление
tape_3.png [ 36.03 КБ | Просмотров: 685 ]
tape_3.png
Добавлено спустя 2 минуты 44 секунды:в этой ситуации мне интересны несколько моментов, а именно: 1. изменится ли количество страниц в поиске и в исключениях. 2. "потеряется" ли "икс" сайта в результате такого изменения. смотрим дальше.
|
|
трёхголовый белк семейства рептилоидов: "три головы - хорошо, на как же трудно придти к согласию..."
|
|
|
|
|
|
Администратор |
|
Стаж: 8 лет 6 месяцев 7 дней Сообщения: 1223 Откуда: здешние мы
Стиль: subsilver2
Репутация: 11
перейти на сайт пользователя
Найти темы пользователя
|
5 июня. прошло около двух недель, но поисковик продолжает обрабатывать обе системы вывода. и старую с ссылками стандартного вида, и новую с ЧПУ. рейтинг сайта не изменился, но при такой скорости реагирования сложно сказать сколько поисковикам потребуется времени на переориентацию на новые адреса страниц... Вложение:
Комментарий к файлу: страницы в поиске
tape_5.png [ 30.01 КБ | Просмотров: 670 ]
tape_5.png
|
|
трёхголовый белк семейства рептилоидов: "три головы - хорошо, на как же трудно придти к согласию..."
|
|
|
|
|
|
Администратор |
|
Стаж: 8 лет 6 месяцев 7 дней Сообщения: 1223 Откуда: здешние мы
Стиль: subsilver2
Репутация: 11
перейти на сайт пользователя
Найти темы пользователя
|
прошло больше месяца. система отрабатывает туговато и продолжает сканировать и старый вариант (просто ссылки) и новый (с редиректом и ЧПУ). но уже, в принципе, можно заметить тенденцию.. к сожалению "неканонических" страниц меньше не стало. а всё, в принципе, затевалось ради этого. теперь я ещё меньше понимаю алгоритм работы поисковых систем по этому параметру. вдобавок появились "дубли", от которых в предыдущей версии удалось избавиться... просканировал трафик с апреля месяца - никаких улучшений тоже нет. сейчас идёт падение, как обычно летом и бывает. итог: кроме "красивых ссылок" никаких положительных факторов эта система не даёт. эксперимент закончен. (так как мне абсолютно всё равно на "продвижение" этого сайта и он создан "для души" - ничего менять не буду.) сканы сегодняшних параметров сайта в системе: Вложение:
Комментарий к файлу: История. Страницы в поиске
6.07.2020.history.png [ 21.84 КБ | Просмотров: 625 ]
6.07.2020.history.png
Вложение:
Комментарий к файлу: Исключённые страницы
6.07.2020.off.png [ 38.69 КБ | Просмотров: 623 ]
6.07.2020.off.png
Вложение:
Комментарий к файлу: Траффик
6.07.2020.statistic.png [ 25.62 КБ | Просмотров: 623 ]
6.07.2020.statistic.png
|
|
трёхголовый белк семейства рептилоидов: "три головы - хорошо, на как же трудно придти к согласию..."
|
|
|
|
|
|
Стаж: 7 лет 2 месяца 14 дней Сообщения: 734
Стиль: prosilver
Репутация: 15
перейти на сайт пользователя
Найти темы пользователя
|
Андрей, возможно тебе тоже прилетело такое вот сообщение от гугл:
Набор атрибутов data-vocabulary.org больше не поддерживается.
Что то в связи с этим ты предпринимал?
|
|
|
|
|
|
|
|
Администратор |
|
Стаж: 8 лет 6 месяцев 7 дней Сообщения: 1223 Откуда: здешние мы
Стиль: subsilver2
Репутация: 11
перейти на сайт пользователя
Найти темы пользователя
|
вообще-то не было. если не поддерживается - надо переходить на другую систему.
Во всех предупреждениях такой красный текст: Google больше не поддерживает разметку data-vocabulary.org. Используйте разметку schema.org.
эта фишка - это микроразметка. вам надо переписать, если у вас есть такая. у меня здесь и на других сайтах прописана уже в новой системе считывания: https://phpbb-belk.ru/semanticheskaya-razmetka-na-phpbb-30x_t307.htmlраз у вас выдаёт - значит она где-то есть. на Витебске нашёл такую: перейти. может у вас там же есть. проверьте.
|
|
трёхголовый белк семейства рептилоидов: "три головы - хорошо, на как же трудно придти к согласию..."
|
|
|
|
|