Всем привет. Сейчас стало популярным среди людей создавать автонаполняемые сайты, настроивают на нем автоматический парсинг и все, сайт живёт своей жизнью.
Вот хотел бы узнать, можно ли как то от них защититься? Мало того что контент воруют, да это ещё и сервер нагружает из-за того что парсят сайт.
Привет.
Парсить сайты стали еще в 2012 на автомате у меня. Только перевел синопсис к фильму, фигакс - его спёрли.
Как с этим боролся? И менял в теме вёрстку - т.к. парсеры натравлены были забирать из определенного Div блока. И вставлял в описание наборы слов которые были только у меня и были скрыты. По этой тарабарщине и находил тех кто воровал.
Были и приятные моменты, когда например Хихидок (занимается озвучкой фильмов ужасов) говорил спасибо моему ресурсу за информацию. И на торренте 1 в 1 описание к фильму давал взятое у меня.
Я и скрипт вставлял что при копипасте с контентной части вставляет в конец ссылку на мой ресурс. Это конечно же не работало. От роботов парсеров это не спасало - они его не видели, а люди, что руками уносили текст, в 99% вырезали ссылку.
По началу я переживал за такую несправедливость. Но фиг что поделаешь. Банить по ip нереально - потому как парсеры умеют многое и отличить от реального пользователя никак.
Первое что делал - уникальные тексты в яндексе. Пихал туда. Да вот не работает это у самого яндекса. Может он и знал что тексты мои, а ранжировал сайт парсер выше. Яндекс вообще зло не зря я его метрику выкинул со своего сайта.
Гуглу тоже подсовывал ссылки на быструю индексацию. Но устав бороться с этой нечистью, и самому надоело делать переводы синопсисов к новым фильмам - сайт я закрыл после того как на нем 2 года совсем ничего не публиковал.
Сейчас я пишу техническую информацию на новом сайте. Код по простому закрыт и надо залогиниться. В общем я за такой условно доступный клуб. Пусть он будет на 100% открыт залогиненным. А кто что парсит... да и фиг с ними. От интернета не спрятать. Если это доставляет баттхёрт - то лучше ничего тут и не выкладывать. Но физические аудионосители тоже воруют, видео - тоже, книги - также. Это эпоха потребительства.
Я давно смеюсь как паблики ВК парсят обычные сайты. Как сайты парсят ВК паблики и FB паблики и в этом треугольнике - остается только запастись попкорном 🙂
