Anubis przed botami i scrapingiem: co musisz wiedzieć o ochronie stron

System Anubis to zabezpieczenie stosowane przez właścicieli stron internetowych, które ogranicza automatyczne kopiowanie treści, zwłaszcza przez firmy zbierające dane do trenowania modeli sztucznej inteligencji.

Dlaczego strony chronią się przed scrapingiem?

Scraping polega na masowym odczytywaniu zawartości witryny przez programy, a nie przez ludzi. Przy dużej liczbie takich zapytań serwer przeciąża się, a strona może przestać działać lub zwalniać dla zwykłych odwiedzających. Właściciele serwisów coraz częściej szukają sposobów, które nie wymagają ręcznego blokowania adresów IP ani skomplikowanych reguł, a jednocześnie nie utrudniają życia czytelnikom.

Jak działa Anubis?

Anubis opiera się na schemacie proof-of-work, zainspirowanym rozwiązaniem Hashcash. Zanim użytkownik zobaczy treść, jego przeglądarka musi wykonać niewielkie obliczenie. Dla człowieka odwiedzającego pojedynczą stronę jest to praktycznie niezauważalne. Dla robota, który przetwarza tysiące adresów naraz, suma tych obliczeń staje się jednak kosztowna. Cel jest więc prosty: podnieść koszt masowego scrapingu, bez wpływu na codzienne korzystanie z serwisu.

Dlaczego obciążenie dla czytelnika jest pomijalne?

Pojedyncze zadanie jest na tyle lekkie, że nie odczuwa się go podczas przeglądania. Problem pojawia się dopiero w skali, dlatego mechanizm działa selektywnie: przeciwko automatom, a nie przeciwko ludziom.

Jakie elementy składają się na system?

Dlaczego wtyczka JShelter blokuje Anubis?

JShelter to dodatek chroniący prywatność, który ogranicza wykonywanie skryptów i manipulowanie cechami przeglądarki. Te same mechanizmy, które dbają o prywatność, uniemożliwiają działanie Anubisa, ponieważ system wymaga wykonania obliczeń w JavaScript. Efekt jest taki, że strona nie załaduje treści, dopóki wtyczka pozostaje aktywna dla danej domeny.

Co zalecają administratorzy?

Administratorzy zalecają wyłączenie JShelter wyłącznie dla domeny, na której działa Anubis. Pozostałe witryny mogą nadal korzystać z ochrony wtyczki, a jedynie zaufany serwis dostaje wyjątek.

Co to oznacza dla Ciebie?

Jeśli regularnie przeglądasz serwisy chronione przez Anubis, warto wiedzieć, skąd wynika problem z wyświetlaniem treści. Najczęstszą przyczyną nie jest awaria strony, lecz blokada skryptów w wtyczce prywatności. Wystarczy wyłączyć JShelter dla konkretnej domeny, zamiast rezygnować z ochrony w całej przeglądarce. Jeśli prowadzisz własną stronę, pamiętaj, że podobne systemy mogą wymagać od odwiedzających nowoczesnej przeglądarki, a ich zachowanie może się zmieniać wraz z kolejnymi wersjami zabezpieczenia.