Artyemov писал(а):
Т.е. на robots.txt и его содержимое им "пилюват"?
совершенно, абсолютно и полностью. они делают вид, что Настоящие Люди, используют юзерагенты от реальных браузеров, IP раскиданы по всему шарику и довольно редко повторяются, выкачивают всё по всем ссылкам.
я пока что сделал им простенький челлендж (без жабоскрипа и печенек), который хуманс пройдёт сразу, а робат нет. поскольку я очень маленький, и так никто не делает — они даже не пытаются его пройти, гыг. в общем, репу снова можно смотреть и даже клонировать, но предварительно надо зайти на сайт и ответить на Очень Сложный Вопрос. тогда целый час получится быть гордым хумансом — до следующего вопроса.
конечно, когда все начнут так делать, то робаты адаптируются. но никто не начнёт, потому что проще повесить кучу жабоскрипового гуано — а мой подход требует перед веб-сервером ещё один маленький сервер иметь. или пилить модуль.
ну, и заодно я получил стопроцентное доказательство, что все эти запросы — робаты, а не хумансы, они врут в юзерагенте, и запросы приходят не из браузеров. не то чтобы мне лично это доказательство было нужно, но оно всё равно получилось.
p.s.: по ходу, единственный файл, который никто из них никогда даже не пытался скачать — "robots.txt". лол.