Discussion
Aquests dies el servidor ha rebut un scraper massiu: un navegador automàtic que es feia passar per Chrome. El 6 de novembre va fer 3,37 milions de peticions, el 72 % de tot el trànsit del dia. Venia de més de 50.000 IPs diferents, repartides perquè no es pogués bloquejar per adreça.
1/5
Qui hi ha al darrere? No ho sabem, perquè no s'identifica. El patró (24 hores sense parar, proxies residencials, ignorar el robots.txt) encaixa amb els crawlers que recullen dades per entrenar models d'IA, però no ho podem demostrar.
3/5
Efectes: els logs d'nginx van passar d'uns 50 MB comprimits al dia a gairebé 2 GB sense comprimir, i un dels bots d'estadístiques del servidor es va quedar encallat processant-los. Per a Mastodon, la càrrega va ser assumible.
4/5
Què hem fet: des d'avui, nginx bloqueja aquest navegador quan no porta sessió iniciada. Si teniu la sessió oberta, no us afecta. Si veieu un error 403 en entrar sense sessió, aviseu-me.
Per a altres admins, el user agent era:
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/157.0.0.0 Safari/537.36
5/5
@spla Poder seria bona idea rotar els log també amb una mida màxima. Molt bésties els números que dius... L'administració de servidors es mereix una sèrie a Netflix 🍿
Què buscava? Sobretot publicacions. Unes 155.000 visites van ser a contingut d'altres servidors del fedivers que mastodont.cat té en memòria cau, i unes 8.000 a contingut local. La meitat d'aquestes últimes eren publicacions ja esborrades, senyal que treballava amb una llista d'URLs antiga. No va consultar el robots.txt ni una sola vegada.
2/5