[I typically do not use the clickbait "this is an unpopular opinion" but here it is well adapted.]
Unpopular opinion: a general blocking of AI crawlers may do more harm than good https://digitalmedusa.org/dumb-ais-smart-censors-the-future-of-web-fragmentation/ (by Farzaneh Badii)
@bortzmeyer j’ai été obligé de bloquer les IA (et les gens normaux par la même occasion, en laissant juste une page d’accueil avec un message indiquant comment se connecter avec un compte invité), parce que mon serveur était en permanence en surcharge à cause d’eux. J’estime que c’est pas à moi de payer pour eux, et je comprends très bien que tout le monde fasse un peu pareil (même si ça m’attriste qu’internet devienne de plus en plus pénible à naviguer pour les gens)
@bortzmeyer s’ils avaient un minimum de respect lors de leurs crawl (comme un bot "normal" en quelques sortes) je n’aurais pas été obligé d’en arriver là
@immae Pas d'amalgame : je vois passer des tas de ramasseurs d'IA sur mon site et certains sont bien élevés. (Et certainement d'autres ne le sont pas, mais ça existait avant l'IA.)
@linuxine @bortzmeyer en plus ce que j’héberge c’est par exemple des sites avec nuage de tags (shaarli), donc une "inifinité" potentielle de pages à crawler
@bortzmeyer @linuxine certes, mes sites sur pages statiques ne sont pas bloquées. Mais ma forge logicielle et les sites dynamiques style shaarli j’ai pas eu le choix si je voulais pas finir noyé.
@bortzmeyer @linuxine bref, du coup j’ai tout bloqué (à part la première page) et les utilisateurs sont obligés de faire une authentification http pour autre chose que "quelques pages"