Komentarze do wpisu: Blokowanie zbędnych botów

Przez: webdesigner

webdesigner — Thu, 02 Jun 2011 18:09:22 +0000

Kilka tych komend opisanych jest w webmastertools. Ale artykuł ciekawiej to tłumaczy

Przez: Mifet

Mifet — Sat, 30 Oct 2010 22:45:48 +0000

No pasożyty rzeczywiscie potrawia wykorzystac duza ílosc transferu, ale na szczecie istnieja sposoby na ich blokowanie, takie jak np wspomniane robot.txt.

Przez: Paweł

Paweł — Sat, 20 Dec 2008 14:38:08 +0000

Witam, mam pytanie: odwiedza mnie bot:
“DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)”
i generuje transfer 8krotnie większy niż zwykły Googlebot.
Jak ma wyglądać plik robots.txt, który zablokuje wszyskie boty poza, botami yahoo i google, jednocześnie blokując tego bota?
pozdrawiam Paweł

Przez: Zen Vantalye

Zen Vantalye — Fri, 20 Jun 2008 10:06:05 +0000

Albo można by spróbować na jakimś algorytmie typu:
+1 pkt że bot jeśli:
-nie pobiera favicona
-pobiera robots.txt
-1 pkt że człowiek jeśli:
-pobiera wszystkie elementy(obrazki,js)
-interpretuję js.
Na koniec miesiąca łapać sobie te IP które są według algorytmu botami oraz robią sporo zapytań żeby nie blokować użytkowników przeglądarek tekstowych i po problemie.

Przez: kl

kl — Wed, 07 May 2008 22:20:37 +0000

Można blokować po IP, np. http:BL rozstawia w sieci pułapki na boty nie respektujące robots.txt i udostępnia blokowaczkę do Apache (mod_httpbl)

Prościej można czarną listą http://sblam.com/czarnalista.html – kilkanaście tysięcy ip. może kropka w morzu, ale zawsze coś.

Przez: pajmon. do diabła. » Blog Archive » Dwa słowa o Wikipediach.

pajmon. do diabła. » Blog Archive » Dwa słowa o Wikipediach. — Mon, 11 Feb 2008 14:04:00 +0000

[...] update po kilku dniach: formułka jaką proponuje Mendax na blogu Fabrykaspamu.pl nie działa. Robot onetu “Holmes” dalej wchodzi na moje wikipedie i dalej zjada transfer. Fakt, że [...]

Przez: Co zrobić w czasie modernizacji strony? | Fabryka Spamu

Co zrobić w czasie modernizacji strony? | Fabryka Spamu — Tue, 11 Dec 2007 12:43:36 +0000

[...] możliwym wyjściem jest tymczasowe utworzenie pliku robots.txt, w którym umieszcza się blokadę botów. Niestety byłoby to gorsze nawet od jakiegokolwiek błędu na stronie. Na szczęście z pomocą [...]

Przez: Kornel

Kornel — Fri, 24 Aug 2007 13:48:39 +0000

Każde rozwiązanie jest nieskuteczne, jeżeli znajdzie się pasożyt “z głową”.

Przez: mendax

mendax — Fri, 24 Aug 2007 13:46:07 +0000

Tych naprawdę najgorszych botów to nawet przez htaccess się nie zablokuje (umieją udawać normalną przeglądarkę); nawet metoda z mierzeniem czasu między kolejnymi wywołaniami stron nie zawsze skutkuje (a jest mocno zasobożerna).

robots.txt to najprostszy sposób na ograniczenie chociaż najpopularniejszych “pasożytów”.

Przez: Eddy

Eddy — Fri, 24 Aug 2007 13:29:59 +0000

Rozwiązanie oparte o robots.txt jest mało skuteczne, bo te prawdziwe pasożyty nie interpretują tych reguł, więc te trzeba blokować całkowicie, np. w pliku .htaccess