Acest detector de scriere cu inteligență artificială își arată funcționalitatea. Pentru mine, este un pas în direcția corectă

Acest articol a fost scris de o ființă umană reală, în carne și oase - eu - dar o cantitate tot mai mare din conținutul text și video pe care îl întâlniți online nu este. Provine de la instrumente de inteligență artificială generativă, care au devenit destul de bune la crearea de texte cu sunet realist și videoclip cu aspect naturalDeci, cum separăm ceea ce este creat de om de ceea ce este robotic?

Răspunsul este mai complicat decât te-ar face să crezi legenda urbană despre utilizarea excesivă a linetelor de punctuație. Mulți oameni scriu cu o (supra)abundență a acelui semn de punctuație, deoarece Orice editor îți va spuneIndiciile ar putea avea mai mult de-a face cu formularea și cu faptul că, la fel ca în cazul oricărui scriitor, modelele lingvistice extinse tind să se repete.

Aceasta este logica din spatele programelor de detectare a inteligenței artificiale. Problema este că aceste sisteme sunt adesea ele însele alimentate de inteligență artificială și oferă puține detalii despre cum au ajuns la evaluările lor. Asta le face greu de încredere.

O nouă funcție de la compania de detectare a inteligenței artificiale Scurgeri de drepturi, numită AI Logic, oferă mai multe informații nu doar despre dacă și cât dintr-un text ar fi putut fi scris de inteligența artificială, ci și pe ce dovezi se bazează decizia. Rezultatul este ceva care seamănă foarte mult cu un detector de plagiat, cu pasaje individuale evidențiate. Apoi, puteți vedea dacă Copyleaks l-a semnalat pentru că se potrivea cu textul de pe un site web despre care se știe că este generat de inteligența artificială sau dacă era o frază despre care cercetarea companiei a stabilit că este mult mai probabil să apară în textul produs de inteligența artificială decât în cel scris de oameni.

În zilele noastre, nici măcar nu trebuie neapărat să cauți un instrument de inteligență artificială de generație nouă pentru a produce text cu unul. Companii de tehnologie precum Microsoft și Google adaugă instrumente de inteligență artificială în aplicațiile de la locul de muncă, dar apare chiar și în aplicațiile de dating. Un sondaj realizat de Institutul Kinsey și Match, care deține Tinder și Hinge, a constatat că 261 de milioane de persoane singure erau... utilizarea inteligenței artificiale în întâlniri, fie că este vorba de a crea profiluri sau de a crea replici mai bune. Scrierea cu ajutorul inteligenței artificiale este inevitabilă și există momente când probabil vrei să știi dacă o persoană a scris cu adevărat ceea ce citești. 

Aceste informații suplimentare dintr-un text verificat de Copyleaks marchează un pas înainte în căutarea unei modalități de a separa ceea ce este creat de inteligența artificială de ceea ce este scris de om, dar elementul important nu este totuși software-ul. Este nevoie de o ființă umană pentru a analiza aceste date și a-și da seama ce este o coincidență și ce este îngrijorător.

„Ideea este să ajungem într-un punct în care să nu mai existe semne de întrebare, să oferim cât mai multe dovezi posibil”, mi-a spus Alon Yamin, CEO al Copyleaks.

Un sentiment nobil, dar am vrut, de asemenea, să văd cu ochii mei ce ar detecta detectorul de inteligență artificială și de ce.

Cum funcționează detectarea prin inteligență artificială

Copyleaks a început prin utilizarea modelelor de inteligență artificială pentru a identifica stiluri specifice de scriere ca modalitate de a detecta încălcarea drepturilor de autor. Când ChatGPT de la OpenAI a apărut în 2022, compania și-a dat seama că poate folosi aceleași modele pentru a detecta stilul modelelor lingvistice mari. Yamin a numit-o „IA versus IA”, în sensul că modelele erau antrenate să caute factori specifici, cum ar fi lungimea propozițiilor, utilizarea punctuației și expresii specifice. (Dezvăluire: Ziff Davis, compania-mamă a CNET, a intentat în aprilie un proces împotriva OpenAI, susținând că a încălcat drepturile de autor ale Ziff Davis în instruirea și operarea sistemelor sale de inteligență artificială.)

Problema cu utilizarea inteligenței artificiale pentru detectarea inteligenței artificiale este că modele lingvistice mari sunt adesea o „cutie neagră” — vor produce un rezultat care are sens și știi ce a implicat instruirea lor, dar nu își arată munca. Funcția AI Logic a Copyleaks încearcă să ridice vălul, astfel încât oamenii să aibă o idee mai bună despre ce ar putea fi de fapt scris cu inteligență artificială în textul pe care îl evaluează. 

„Ceea ce este cu adevărat important este să existe cât mai multă transparență în ceea ce privește modelele de inteligență artificială [pe cât posibil], chiar și intern”, a spus Yamin.

Citeşte mai mult: Elemente esențiale ale inteligenței artificiale: 29 de moduri de a face ca inteligența artificială generală să funcționeze pentru tine, potrivit experților noștri

AI Logic folosește două abordări diferite pentru a identifica textul potențial scris de un LLM. Una, numită AI Source Match, folosește o bază de date cu conținut generat de inteligență artificială din surse create fie intern de Copyleaks, fie de pe site-uri online produse de inteligență artificială. Aceasta funcționează foarte asemănător unui detector tradițional de plagiat. „Ceea ce am descoperit este că, de multe ori, dacă pui aceeași întrebare sau o întrebare similară iar și iar, vei primi răspunsuri similare sau o versiune similară a aceluiași răspuns”, a spus Yamin.

Cealaltă componentă, AI Phrases (Expresii bazate pe inteligență artificială), detectează termeni și grupuri de cuvinte pe care cercetarea Copyleaks le-a stabilit ca fiind mult mai probabil să fie utilizați de către LLM-uri decât de către scriitorii umani. Într-un raport eșantion, Copyleaks a identificat sintagma „cu progrese în tehnologie” ca fiind potențial scrisă de inteligență artificială. Analiza Copyleaks a conținutului generat a constatat că sintagma apărea de 125 de ori la un milion de documente scrise de inteligență artificială, comparativ cu doar șase ori la un milion de documente scrise de oameni.

Întrebarea este, funcționează?

Poate Copyleaks să identifice conținutul bazat pe inteligență artificială și să explice de ce?

Am verificat câteva documente prin Copyleaks pentru a vedea dacă AI Logic poate identifica ceea ce știu a fi conținut creat de inteligență artificială sau dacă marchează conținutul scris de oameni ca fiind scris de inteligență artificială.

Exemplu: Un clasic scris de oameni

Ce modalitate mai bună de a testa un instrument de inteligență artificială decât cu o poveste despre inteligența artificială? Am rugat Copyleaks să testeze o secțiune din povestirea clasică din 1956 a lui Isaac Asimov. Ultima întrebare, despre o inteligență artificială fictivă însărcinată cu rezolvarea unei probleme dificile. Copyleaks a identificat-o cu succes ca fiind 100% text potrivit pe internet și 0% scrisă cu inteligență artificială. 

Exemplu: Parțial scris cu inteligență artificială

Pentru acest exemplu, am întrebat ChatGPT să adaug două paragrafe suplimentare la o poveste pe care am scris-o și publicat mai devreme în cursul zileiAm difuzat textul rezultat — povestea mea originală cu cele două paragrafe scrise cu inteligență artificială adăugate la sfârșit — prin Copyleaks. 

Copyleaks a identificat cu succes că 65,8% din această copie se potriveau cu textul existent (deoarece era literalmente un articol deja existent pe internet), dar nu a detectat nimic generat de inteligența artificială. Acele două paragrafe pe care ChatGPT tocmai le-a scris? Au trecut complet neobservate. 

Măriți imaginea

Am încercat din nou, de data aceasta întrebând Gemenii de la Google pentru a adăuga text la povestea mea existentă. Copyleaks a identificat din nou că 67,2% din text se potriveau cu ceea ce era online, dar a raportat și că 100% din text ar fi putut fi generat de inteligența artificială. Chiar și textul pe care l-am scris a fost semnalat, unele expresii, precum „model generativ de inteligență artificială”, fiind descrise ca apărând mai frecvent în textul scris cu inteligență artificială. 

Exemplu: Scris în întregime cu inteligență artificială

Într-un test al capacității inteligenței artificiale generative de a crea lucruri complet rupte de realitate, i-am cerut să scrie o știre ca și cum Cincinnati Bengals ar fi câștigat Super Bowl-ul. (În acest univers fictiv, Cincinnati a învins San Francisco 49ers cu scorul de 31-17.) Când am verificat știrea falsă prin Copyleaks, aceasta a identificat-o cu succes ca fiind scrisă în întregime de inteligența artificială. 

Măriți imaginea

Ceea ce Copyleaks nu a făcut, însă, este să explice de ce. A spus că nu s-au găsit rezultate în AI Source Match sau în AI Phrases, dar a adăugat o notă: „Nu există nicio sintagmă specifică care să indice AI. Cu toate acestea, alte criterii sugerează că acest text a fost generat de AI.” 

Am încercat din nou, de data aceasta cu o altă știre generată de ChatGPT despre victoria echipei Bengals în Super Bowl cu 27-24 în fața echipei 49ers, iar Copyleaks a oferit o explicație mai detaliată. A calculat că 98,7% conținutul a fost creat de inteligența artificială, cu câteva fraze evidențiate. Acestea includeau câțiva termeni aparent inocenți, cum ar fi „a făcut mai multe critici” și „o mărturie a anilor de”. De asemenea, includea câteva șiruri de cuvinte care se răspândeau pe mai multe fraze sau propoziții, cum ar fi „continuă să evolueze, viitorul echipei Bengals”, care aparent apărea de 317 ori mai frecvent în conținutul generat de inteligența artificială al bazei de date decât în documentele text umane. (După ce am ridicat problema la prima încercare cu Copyleaks, am încercat din nou și am obținut rezultate similare cu acest al doilea test.)

Doar ca să mă asigur că nu se baza exclusiv pe faptul că echipa Bengals nu a câștigat niciodată un Super Bowl, am rugat ChatGPT să scrie un articol despre victoria echipei Los Angeles Dodgers în World Series. Copyleaks a descoperit că 50.5% se potrivea cu textul existent online, dar a raportat și că 100% era scris de inteligența artificială. 

Un exemplu de profil înalt

Copyleaks a realizat propriile teste, folosind un exemplu recent de utilizare controversată a inteligenței artificiale. În luna mai, agenția de știri NOTUS a spus că un raport din cadrul Comisiei „Make America Healthy Again” a administrației Trump conțineau referințe la studii academice care nu existau. Cercetătorii citați în raportul MAHA au declarat presei că nu ei au realizat lucrarea respectivă. Citările din surse inexistente sunt un rezultat frecvent al halucinațiilor IA, motiv pentru care este important să verifică orice citează un LLMAdministrația Trump a apărat raportul, un purtător de cuvânt dând vina pe „erori minore de citare și formatare” și afirmând că substanța raportului rămâne neschimbată. 

Copyleaks a verificat raportul prin sistemul său, care a raportat că a găsit 20,8% conținut potențial scris cu inteligență artificială. A descoperit că unele secțiuni despre sănătatea mintală a copiilor au ridicat semnale de alarmă în baza sa de date cu fraze AI. Printre expresiile care au apărut mult mai des în textele scrise cu inteligență artificială s-au numărat „impactul rețelelor sociale asupra lor” și „Impactul negativ al rețelelor sociale asupra sănătății lor mintale”.

Poate o inteligență artificială să detecteze cu adevărat textul scris de inteligență artificială?

Din experiența mea, transparența sporită oferită de Copyleaks cu privire la modul în care funcționează instrumentul este un pas înainte pentru lumea detectării prin inteligență artificială, dar acest lucru este încă departe de a fi infailibil. Există încă un risc îngrijorător de rezultate fals pozitive. În testele mele, uneori, cuvinte pe care le scrisesem cu doar câteva ore înainte (și știu că inteligența artificială nu a jucat niciun rol în ele) puteau fi semnalate din cauza unor formulări. Totuși, Copyleaks a reușit să identifice un articol de știri fals despre o echipă care nu a câștigat niciodată un campionat. 

Yamin a spus că scopul nu este neapărat acela de a fi sursa supremă de adevăr, ci de a oferi oamenilor care trebuie să evalueze dacă și cum a fost utilizată inteligența artificială instrumente pentru a lua decizii mai bune. O ființă umană trebuie să fie la curent, dar instrumente precum Copyleaks pot ajuta la creșterea încrederii. 

„Ideea, în cele din urmă, este de a ajuta oamenii în procesul de evaluare a conținutului”, a spus el. „Cred că trăim într-o epocă în care conținutul este peste tot și este produs din ce în ce mai mult și mai rapid ca niciodată. Este din ce în ce mai greu să identifici conținut în care poți avea încredere.”

Iată părerea mea: atunci când folosești un detector de inteligență artificială, o modalitate de a avea mai multă încredere este să te uiți în mod specific la ceea ce este semnalat ca fiind posibil scris de inteligența artificială. Ocazional, o frază suspectă poate fi, și probabil este, nevinovată. La urma urmei, există un număr limitat de moduri diferite de a rearanja cuvintele - o frază compactă precum „model generativ de inteligență artificială” este destul de utilă pentru noi, oamenii, la fel ca pentru inteligența artificială. Dar dacă este vorba de mai multe paragrafe întregi? Acest lucru ar putea fi mai îngrijorător.

Detectoarele de inteligență artificială, la fel ca zvonul că em dash-ul este un indicator al inteligenței artificiale, pot avea rezultate fals pozitive. Un instrument care este încă în mare parte o cutie neagră va face greșeli, iar acest lucru poate fi devastator pentru cineva a cărui scriere autentică a fost semnalată fără nicio vină din partea sa.

L-am întrebat pe Yamin cum pot scriitorii umani să se asigure că munca lor nu este prinsă în această capcană. „Fă-ți treaba”, a spus el. „Asigură-te că ai și tu o notă umană.”