5ответ(ов) в теме
mavr_hahaha
не в сети 5 месяцев
На сайте с 08.11.2018
Участник
Тем 104
Сообщения 265
1
19:50

Всем привет. Сейчас стало популярным среди людей создавать автонаполняемые сайты, настроивают на нем автоматический парсинг и все, сайт живёт своей жизнью.

Вот хотел бы узнать, можно ли как то от них защититься? Мало того что контент воруют, да это ещё и сервер нагружает из-за того что парсят сайт.

0
garry
не в сети 5 часов
На сайте с 04.01.2014
Участник
Тем 146
Сообщения 2925
2
19:55

Привет.
Только если правила настраивать в фаерволе перед сервером, а так по айпи банить до апача в .htaccess
Если вдс, в панеле посмотреть, может есть инструменты...

0
garry
не в сети 5 часов
На сайте с 04.01.2014
Участник
Тем 146
Сообщения 2925
3
19:57

По факту, защититься никак, можно только усложнить задачу))

0
mavr_hahaha
не в сети 5 месяцев
На сайте с 08.11.2018
Участник
Тем 104
Сообщения 265
4
20:05

Все понятно, спасибо, по айпи банить тоже не дело,думал может есть какие нибудь простые методы которые не дают допуск для любого вида парсинга.

0
Вова (Otshelnik-Fm)
не в сети 6 дней
На сайте с 27.01.2013
Участник
Тем 43
Сообщения 18647
5
22:37

Привет.

Парсить сайты стали еще в 2012 на автомате у меня. Только перевел синопсис к фильму, фигакс - его спёрли.
Как с этим боролся? И менял в теме вёрстку - т.к. парсеры натравлены были забирать из определенного Div блока. И вставлял в описание наборы слов которые были только у меня и были скрыты. По этой тарабарщине и находил тех кто воровал.
Были и приятные моменты, когда например Хихидок (занимается озвучкой фильмов ужасов) говорил спасибо моему ресурсу за информацию. И на торренте 1 в 1 описание к фильму давал взятое у меня.
Я и скрипт вставлял что при копипасте с контентной части вставляет в конец ссылку на мой ресурс. Это конечно же не работало. От роботов парсеров это не спасало - они его не видели, а люди, что руками уносили текст, в 99% вырезали ссылку.

По началу я переживал за такую несправедливость. Но фиг что поделаешь. Банить по ip нереально - потому как парсеры умеют многое и отличить от реального пользователя никак.

Первое что делал - уникальные тексты в яндексе. Пихал туда. Да вот не работает это у самого яндекса. Может он и знал что тексты мои, а ранжировал сайт парсер выше. Яндекс вообще зло не зря я его метрику выкинул со своего сайта.
Гуглу тоже подсовывал ссылки на быструю индексацию. Но устав бороться с этой нечистью, и самому надоело делать переводы синопсисов к новым фильмам - сайт я закрыл после того как на нем 2 года совсем ничего не публиковал.

Сейчас я пишу техническую информацию на новом сайте. Код по простому закрыт и надо залогиниться. В общем я за такой условно доступный клуб. Пусть он будет на 100% открыт залогиненным. А кто что парсит... да и фиг с ними. От интернета не спрятать. Если это доставляет баттхёрт - то лучше ничего тут и не выкладывать. Но физические аудионосители тоже воруют, видео - тоже, книги - также. Это эпоха потребительства.

Я давно смеюсь как паблики ВК парсят обычные сайты. Как сайты парсят ВК паблики и FB паблики и в этом треугольнике - остается только запастись попкорном 🙂

2
Вы не имеете права на публикацию сообщений в этой теме