35000
Тема задания:
Статус задания: Подбор исполнителя
Срок выполнения: 10 дн.

Требуется сделать плагин или дополнение к Recall или иной вариант, которое позволит добавлять сайты для мониторинга. А именно....

Требуется постоянный мониторинг страниц с сайтов с отзывами или статьями:
- новые добавленные страницы со старыми датами
- новые добавленные страницы с высоким рейтингом на странице
- страницы на которых изменили рейтинг с 0-3 на 4-5 звезд
- произошло удаление страницы, хотя она была на сайте.
- скрыли страницу из индекса, хотя она была доступна к индексации
- страницы где большая часть контента изменили или заменили (несколько таких сайтов). Тут вопрос как это реализовать.

О всех телодвижениях в идеале должно транслироваться на каком-нибудуь новом сайте (wordpress или фреймфорке) + или в телеграм чат с информацией что произошло....

Как я вижу пути мониторинга:
- мониторинг карты сайта xml, ведь там есть дата и время изменений, и можно отслеживать когда добавили страницу задним числом или изменили дату или удалили страницу.
- rss ленты. я не знаю какая там информация.
- сканирование всех страниц сайта, и отслеживание нужных изменений. зачастую сайты объемом 200-1000 страниц.

Хотелось бы в идеале универсальный продукт, который позволит добавлять любые сайты самим и настраивать, что и как сканировать и мониторить.

Было бы идеально, чтобы мы могли добавить сайт и задавать настройки как мониторить страницы и контент.

В момент сканирования, мониторинга или парсинга, нас могут блокировать по айпи. Заложить в систему прокси, чтобы можно было набить пул прокси-айпи, которые бы менялись на протяжении месяца или чередовались. К примеру, 10-20 прокси.

Сейчас требуется настроить и подключить 10-15 сайтов. Далее, при сотрудничестве готовы расширить источники для парсинга и мониторинга до 50 сайтов с доплатой за доработки плагина или модуля.

В общем, нужно понимание как это можно лучше реализовать и реализовать задачу.

Автор публикации

не в сети 3 дня

Риз

1
Комментарии: 4Публикации: 7Регистрация: 02-04-2017Продаж/Покупок: 0/0