Cloudflare va bloca acum, în mod implicit, roboții de inteligență artificială să acceseze site-urile web ale clienților săi.

Compania de infrastructură de internet Cloudflare a anunțat astăzi că va bloca în mod implicit accesul roboților de inteligență artificială la site-urile web pe care le găzduiește. Cloudflare va oferi, de asemenea, clienților posibilitatea de a permite sau interzice manual acești roboți de inteligență artificială, de la caz la caz, și va introduce așa-numita „plată per accesare cu crawlere”. serviciu pe care clienții le pot folosi pentru a primi compensații de fiecare dată când un bot de inteligență artificială dorește să acceseze conținutul site-ului lor web.

Boții în cauză sunt un tip de crawler web, un algoritm care parcurge internetul pentru a digera și cataloga informațiile online de pe fiecare site web. În trecut, crawlerele web erau cel mai frecvent asociate cu colectarea de date pentru motoarele de căutare, dar dezvoltatorii le folosesc acum pentru a colecta datele de care au nevoie pentru a construi și utiliza sisteme de inteligență artificială. 

Totuși, astfel de sisteme nu oferă aceleași oportunități de monetizare și creditare ca motoarele de căutare din punct de vedere istoric. Modelele de inteligență artificială se bazează pe o cantitate mare de date de pe web pentru a genera rezultatele, dar aceste surse de date nu sunt adesea creditate, ceea ce limitează capacitatea creatorilor de a câștiga bani din munca lor. Motoarele de căutare care prezintă răspunsuri generate de inteligența artificială pot include link-uri către surse originale, dar pot reduce și interesul oamenilor de a accesa alte site-uri și ar putea chiar să introducă... un viitor cu „zero clicuri”.

„În mod tradițional, acordul nerostit era că un motor de căutare putea indexa conținutul dvs., apoi afișa linkurile relevante pentru o anumită interogare și trimitea trafic înapoi către site-ul dvs. web”, a scris Will Allen, șeful departamentului de confidențialitate, control și produse media bazate pe inteligență artificială la Cloudflare, într-un e-mail către... Revista Tehnologiei MIT„Asta se schimbă fundamental.”

În general, creatorii și editorii vor să decidă cum este utilizat conținutul lor, cum este asociat cu ei și cum sunt plătiți pentru acesta. Cloudflare susține că clienții săi pot acum permite sau dezactiva crawling-ul pentru fiecare etapă a ciclului de viață al inteligenței artificiale (în special, antrenament, reglare fină și inferență) și pot include pe lista albă anumite crawlere verificate. Clienții pot, de asemenea, să stabilească o rată pentru cât îi va costa boții de inteligență artificială să le crawleze site-ul web. 

Într-un comunicat de presă al Cloudflare, companii media precum Associated Press și Time, precum și forumuri precum Quora și Stack Overflow și-au exprimat sprijinul pentru această mișcare. „Platformele comunitare care susțin LLM-urile ar trebui compensate pentru contribuțiile lor, astfel încât să poată investi înapoi în comunitățile lor”, a declarat Prashanth Chandrasekar, CEO al Stack Overflow.

Crawlerele ar trebui să respecte instrucțiunile unui anumit site web (furnizate prin intermediul unui fișier robots.txt) fişier) pentru a determina dacă se pot târî acolo, dar unele companii de inteligență artificială au fost acuzate că au ignorat aceste instrucțiuni. 

Cloudflare are deja o verificare prin bot sistem unde crawlerele web bazate pe inteligență artificială pot spune site-urilor web pentru cine lucrează și ce vor să facă. Pentru acestea, Cloudflare speră că sistemul său poate facilita negocierile de bună-credință între companiile de inteligență artificială și proprietarii de site-uri web. Pentru crawlerele mai puțin oneste, Cloudflare intenționează să își folosească experiența în gestionarea atacurilor coordonate de tip denial-of-service din partea boților pentru a le opri. 

„Un crawler web care navighează pe internet în căutarea celui mai recent conținut este doar un alt tip de bot - așa că toată munca noastră depusă pentru a înțelege tiparele de trafic și de rețea pentru boții evident rău intenționați ne ajută să înțelegem ce face un crawler”, a scris Allen.

Cloudflare dezvoltase deja alte modalități de a descuraja crawlerele nedorite, cum ar fi permiterea site-urilor web să le trimită pe o cale de pagini web false generate de inteligență artificială pentru a le irosi eforturile. Deși această abordare se va aplica în continuare actorilor cu adevărat răi, compania spune că speră că noile sale servicii pot promova relații mai bune între companiile de inteligență artificială și producătorii de conținut. 

Unii avertizează că o interdicție implicită a crawlerelor de inteligență artificială ar putea interfera cu utilizările necomerciale, cum ar fi cercetarea. Pe lângă colectarea de date pentru sistemele de inteligență artificială și motoarele de căutare, crawlerele sunt utilizate și de serviciile de arhivare web, de exemplu. 

„Nu toate sistemele de inteligență artificială concurează cu toți editorii web. Nu toate sistemele de inteligență artificială sunt comerciale”, spune Shayne Longpre, doctorandă la MIT Media Lab, care lucrează la proveniența datelor. „Utilizarea personală și cercetarea deschisă nu ar trebui sacrificate aici.”

La rândul său, Cloudflare își propune să protejeze deschiderea internetului, ajutând editorii web să încheie acorduri mai sustenabile cu companiile de inteligență artificială. „Prin verificarea unui crawler și a intenției sale, proprietarul unui site web are un control mai granular, ceea ce înseamnă că îl poate lăsa mai deschis pentru oamenii reali, dacă dorește”, a scris Allen.