WebPitva
Veřejný web robota WebPitva pro provozovatele webů: jak se robot chová, jak ho zakázat v robots.txt a jak napsat provozovateli. Čisté PHP bez knihoven, přísná bezpečnostní pravidla a animovaná ilustrace bez JavaScriptu. Vlastní projekt studia.
O projektu
WebPitva je robot, který pomalu čte veřejné stránky. Jeho web je pro provozovatele webů, kteří ho najdou v záznamech: vysvětlí, jak se robot chová, jak ho zakázat v robots.txt a jak napsat provozovateli.
Web jsme navrhli a napsali celý sami, od ilustrace po kód. Stojí na čistém PHP bez knihoven a bez databáze, úvodní stránka nemá žádný JavaScript ani cookies.
Serverová část nic neukládá. Zprávu z formuláře ověří, prožene ochranou proti spamu a pošle e-mailem vlastním klientem SMTP. Web běží v Dockeru za Cloudflarem a nastavuje se jen proměnnými prostředí.
Robot běží jako samostatná služba a na stejné doméně vydává vlastní technické údaje pro provozovatele webů. Řídí se robots.txt, čte jen stránky bez přihlášení, posílá jeden požadavek za několik sekund a na jeden web nikdy souběžně. Žádné ochrany neobchází a při odmítnutí skončí.
Technologie
Co jsme dělali
Co projekt umí
Co stálo za řešení
Stránky povolují jen to nejnutnější. Když Cloudflare začal přepisovat e-mail v HTML a jeho skript pravidla zablokovala, web mu úpravy obsahu zakázal hlavičkou. Hlídá to automatický test.
Ochrana proti padělání požadavků, skryté pole na roboty, ověření Turnstile na serveru a limit zpráv z jedné adresy, ze které se ukládá jen otisk. Když ověření selže nebo Cloudflare neodpoví, zpráva se neodešle. Zprávy se neukládají ani nelogují, chodí rovnou e-mailem.
Web nemá databázi ani administraci. Do obrazu Dockeru jde jen veřejná část, kód a šablony a nastavení přichází z proměnných prostředí. Skutečnou adresu návštěvníka web bere jen od důvěryhodné proxy.
Jednotkové i integrační testy běží bez testovacího frameworku. Integrační spustí web, vlastní poštovní server se šifrováním a náhradu ověření Turnstile a projdou celý formulář.
Vlastní klient SMTP se šifrováním. Adresa z formuláře jde jen do pole pro odpověď, odesílatelem zůstává schránka provozovatele.
Schéma webu jako cévní strom: tečka požadavku putuje s pauzami a podvázaná větev ukazuje zakázanou část webu. Je to animace v SVG bez jediného skriptu.