Это если у вас на сайте есть очень много битых ссылок внутри не имеющих в страницах канонического нового адреса, плюс закрыты rel пункты меню, ссылки внутренние для прямого перехода бота и распределения веса. Просто закрыты дубли по тегам и категориям и вы их закрыли, но оставили в карте, то нужно указать на каждой канонический в карте.
В общем при "кривых" структурах самого сайта карта безусловно поможет.
Конечно для форума или сайта всегда не плохо иметь карту, но уже не настолько критично как пяток лет назад, алгоритмы пс и мощности выросли не померно у пс.
В карте указывается частота захода на страницу, поэтому роботы лучше видят структуры разделов и тем, у меня без карты сейчас по форуму гуляет робот по страницам разделов, то добавляя их пачками, то удаляя их. В Явебмастере это видно.
Я вообще все дубли с ? и сессиями закрыл в роботс, т.к. на сайте ЧПУ.
garry сказал(а)
алгоритмы пс и мощности выросли не померно у пс.
У меня есть темы после переноса с SMF, которые участвуют в обходе робота имеют канонический адрес на главную форума, а все страницы вида %TOPICNAME% | Форум %FORUMNAME%. Мощности они есть, но расходуются не всегда с умом, пока еще роботам надо помогать)
garry сказал(а)
плюс закрыты rel пункты меню, ссылки внутренние для прямого перехода бота и распределения веса.
внутренние страницы меню вообще нельзя закрывать, вес утекает в любом случае только в холостую.
Получается карту надо формировать после каждого добавленного сообщения? Изменяя в ней lastmod секцию и сортируя по ней?
Ну на маленьких и средних (хотя с средними тоже вопрос) форумах это еще не затратно. А на более крупном - будет вешать сервак.
Если только по крону там раз в час например ее формировать... Тогда нужны настройки - чтоб админ мог выбирать когда ему формировать карту.
+ возможно по секретному гет запросу - типа ?primeForumXML=change - чтоб админ вручную мог ее сгенерить
По самой карте думаю можно ее отдельной сделать prime-forum-sitemap.xml - вроде оба поисковика позволяют несколько карт в вебмастере добавить?
С пагинацией в карте - вот тут хз что там с ней делать - я имею ввиду если тема форума на несколько страниц. Надо смотреть как устроено в других форумных плагинах.
Сама разбивка карты на части - если форум большой - то строк там за 50 000 может быть легко - рекомендуют ее разбивать на секции...
- как видим задача с переменными. Но если ориентироваться на местячковые (малые форумы) - то такую карту сгенерить легко.
p.s. Андрей - на кодеселлере сколько тем на форуме? Ну так - чтоб прикинуть масштабы. Я форум кодеселлера считаю ниже среднего по масштабам. Но и то думаю ему простая карта уже не пойдет - надо дробить ее на части
p.p.s. Сам лично считаю сео штуки достаточно интимными - выложишь в паблик такой доп и потом пойдет трата времени на решение вопросов с поисковиками и тонкостями их сканирования (конечно же каждый пользователь нам дорог - но у нас не СЕО специализация - чтобы заниматься потом этими вопросами и вникать в особенности чужих сайтов и их индексацией - вот о чем я...).
Не очень интересное это занятие. Для индивидуального использования свое сео сайта сам настраиваешь тонко - исключая что-то, чему-то повышая приоритет. Мне кажется самое простое в этом случае - написать статью как сделать. А дальше пусть экспериментируют сами. Потому что время на эти тонкие вопросы тратить неразумно. Мое имхо конечно
Пример карты сайта:
Пример реализации на SMF
Otshelnik-Fm сказал(а)
С пагинацией в карте - вот тут хз что там с ней делать - я имею ввиду если тема форума на несколько страниц.
В карте только первая страница темы, робот понимает, если есть пагинация, что по остальным страницам переходить нужно, ведь будет дата lastmod изменена, если добавлено новое сообщение.
Otshelnik-Fm сказал(а)
Сама разбивка карты на части - если форум большой - то строк там за 50 000 может быть легко - рекомендуют ее разбивать на секции...
Otshelnik-Fm сказал(а)
Если только по крону там раз в час например ее формировать
да можно и реже, роботы заходят на карту раз в две недели полностью пересканировать ее, быстроробот и так на сайте сидит постоянно.
В Yoast SEO это реализовано так
Здесьь про карту, как ее создавать
Motosimak@mail.ru сказал(а)
Здесьь про карту
А тут вот готовая карта для постов и страниц WP, возможно будет полезна. Генерируется после добавления или обновления(первая карта) постов или страниц. Не знаю, поможет это или нет, но она работает. Но для сайта, под форум надо делать, плюс пагинацию добавить, скажем по 500-1000 урлов. Не мое и даже не помню откуда она у меня. Но проверил только что работает. Возможно вам будет полезна и сможете ее докрутить для форума. Карта генерится в корне, для форума еще ее название поменять, что бы с сео плагинами не конфликтовала.
function my_create_sitemap() { $postsForSitemap = get_posts(array( 'numberposts' => -1, 'orderby' => 'modified', 'post_type' => array('post','page','product'), 'order' => 'DESC' )); $sitemap = '<?xml version="1.0" encoding="UTF-8"?>'; $sitemap .= '<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">'; foreach($postsForSitemap as $post) { setup_postdata($post); $postdate = explode(" ", $post->post_modified); $sitemap .= '<url>'. '<loc>'. get_permalink($post->ID) .'</loc>'. '<lastmod>'. $postdate[0] .'</lastmod>'. '<changefreq>daily</changefreq>'. '<priority>0.8</priority>'. '</url>'; } $sitemap .= '</urlset>'; $fp = fopen(ABSPATH . "sitemap.xml", 'w'); fwrite($fp, $sitemap); fclose($fp); } add_action("publish_post", "my_create_sitemap"); add_action("publish_page", "my_create_sitemap");
Otshelnik-Fm сказал(а)
рекомендуют ее разбивать на секции...
Вот с оф
Размер файлов Sitemap не должен превышать 50 МБ (52428800 байт), и эти файлы не должны включать более 50000 URL. Эти ограничения помогают исключить остановки веб-сервера при размещении очень больших файлов. Это означает, что если Ваш сайт содержит более 50000 URL или размер файла Sitemap превышает 50 МБ, необходимо создать несколько файлов Sitemap и использовать файл индекса Sitemap. Необходимо использовать файл индекса Sitemap даже для небольшого сайта, если предполагается, что количество URL превысит 50000 или размер файла будет больше 50 МБ. В файле индекса Sitemap может быть перечислено не более 50000 файлов Sitemap. Размер этого файла не может превышать 50 МБ. Кроме того, для сжатия файлов Sitemap можно использовать архиватор gzip.
Но я как то больше склоняюсь, что 1000 предел на страницу. Хотя у самого есть на одном сайтике по 5000 и все ок.
garry сказал(а)
что 1000 предел на страницу. Хотя у самого есть на одном сайтике по 5000 и все ок.
У меня было 16 тыс на одну страницу, вернее карта сайта состояла из одной страницы со всеми ссылками. в Yoast карте сайта хорошо они придумали создавать новые подкарты для постов при достижении определнного количества. 1000 будет в самый раз.
Решение для малых и средних форумов я в этом уроке объяснил:
Пробуйте. Валидаторы карт приняли его норм. Но опять же там я к примеру не делал таких вещей как исключение группы форума (например ветка форума "Свалка"). Поэтому индексировать его будет полностью (роботсом прикрывайте что не нужно).
Никаких настроек нету - все делайте в коде. Но я приму там все ваши пожелания. Не факт что они воплотятся в жизнь. В общем давайте диалог вести
правильно все сделал? В гугле на тест отправил, говорит без ошибок 🙂
В одном шайтан скрипте я сталкивался что памяти мне не хватало...
Попробуйте это внутри функций otfm_get_all_forum_topics
и otfm_create_prime_forum_sitemap
прописать:
ini_set('memory_limit', '-1'); // уберем лимит памяти
и
ini_set('max_execution_time', 300); //300 seconds = 5 minutes
но вообще загляните в логи ошибок сервера - может там пишется (на тот момент времени) чего не хватает?