@immae Pas d'amalgame : je vois passer des tas de ramasseurs d'IA sur mon site et certains sont bien élevés. (Et certainement d'autres ne le sont pas, mais ça existait avant l'IA.)

@bortzmeyer ben tout le monde paye pour ceux qui ne le sont pas, parce que j’ai pas les moyens de filtrer ces derniers. Je vois pas comment faire autrmeent en fait à part subir une charge de 50 (pour 6 procs) presque 40% du temps

@bortzmeyer @immae par "bien élevés", tu veux dire ils respectent le fichier robots.txt ? Parce que ceux qui passent chez moi le font pas, j'ai du faire des règles Apache pour les bloquer :/

@linuxine @bortzmeyer non juste ne pas faire 300 requêtes par seconde et recommencer à crawler le site depuis le début avant même d’avoir fini le premier crawl

@linuxine @immae Je n'ai pas de robots.txt donc bien élevés, pour moi, veut dire, mettre quelques secondes entre chaque requête et ne pas passer dix fois par jour pour la même ressource.

@bortzmeyer @linuxine voilà: tu décris exactement mon souci ;)

@linuxine @immae Ce qui doit être fait par défaut puisque, par défaut (sans robots.txt), on ne devrait pas être matraqué.

@bortzmeyer @immae ah ok. Ah bin pareil, ceux qui passent chez moi sont mal élevés de ce point de vue là, ils passent plein de fois sur la même ressource d'affilée, une horreur dans les logs 😅

@linuxine @bortzmeyer en plus ce que j’héberge c’est par exemple des sites avec nuage de tags (shaarli), donc une "inifinité" potentielle de pages à crawler

@bortzmeyer @linuxine bref, du coup j’ai tout bloqué (à part la première page) et les utilisateurs sont obligés de faire une authentification http pour autre chose que "quelques pages"

@immae @linuxine Oui, c'est aussi le problème des forges logicielles. Un site Web "traditionnel" (des pages statiques avec des liens) est moins "vulnérable".

@bortzmeyer @linuxine certes, mes sites sur pages statiques ne sont pas bloquées. Mais ma forge logicielle et les sites dynamiques style shaarli j’ai pas eu le choix si je voulais pas finir noyé.