[I typically do not use the clickbait "this is an unpopular opinion" but here it is well adapted.]
Unpopular opinion: a general blocking of AI crawlers may do more harm than good https://digitalmedusa.org/dumb-ais-smart-censors-the-future-of-web-fragmentation/ (by Farzaneh Badii)
@bortzmeyer j’ai été obligé de bloquer les IA (et les gens normaux par la même occasion, en laissant juste une page d’accueil avec un message indiquant comment se connecter avec un compte invité), parce que mon serveur était en permanence en surcharge à cause d’eux. J’estime que c’est pas à moi de payer pour eux, et je comprends très bien que tout le monde fasse un peu pareil (même si ça m’attriste qu’internet devienne de plus en plus pénible à naviguer pour les gens)
@bortzmeyer s’ils avaient un minimum de respect lors de leurs crawl (comme un bot "normal" en quelques sortes) je n’aurais pas été obligé d’en arriver là
@bortzmeyer ben tout le monde paye pour ceux qui ne le sont pas, parce que j’ai pas les moyens de filtrer ces derniers. Je vois pas comment faire autrmeent en fait à part subir une charge de 50 (pour 6 procs) presque 40% du temps