🇮🇹🇩🇪🇫🇷🇪🇸🇵🇹🇳🇱🇵🇱🇸🇪🇩🇰🇫🇮🇨🇿🇷🇴🇭🇺🇬🇷🇧🇬🇭🇷🇸🇰🇸🇮🇪🇪🇱🇹🇱🇻🇮🇪🇲🇹🇸🇦🇨🇳🇯🇵🇰🇷🇮🇳🇹🇷🇻🇳🇮🇩
Sems Altmans pirms vairākiem mēnešiem teica, ka labāk, ja mākslīgais intelekts vienmēr atbild — pat ja kļūdās — nekā saka "Es nezinu."
Paldies, ka lasījāt! Abonējiet bez maksas, lai saņemtu jaunus ierakstus un atbalstītu manu darbu.
Es pilnībā nepiekrītu.
Man tas ir īstais masveida mākslīgā intelekta ieviešanas limits. Nevis aprēķinu izmaksas. Ne modeļa izmērs. Tas, ka dažas mākslīgā intelekta sistēmas ir optimizētas, lai radītu ticamu pārliecību tur, kur vajadzētu pastāvēt nenoteiktībai. Patērētāju meklēšanā tas ir traucēklis. Regulatīvajā atbilstībā, medicīnā, juridiskajā analīzē, finansēs — tas ir risks, kas maskēts kā produkts.
Es uzbūvēju Reecopedia uz pretēja principa. Esmu lepns par to, ko tikko parādīja etalons.
Strukturālā problēma lielākajā daļā RAG sistēmu
Retrieval-Augmented Generation ir kļuvusi par noklusējuma arhitektūru uzņēmumu AI asistentiem, kas strādā pie specializētiem korpusiem. Solījums ir vienkāršs: sistēma iegūst atbilstošus dokumentus, valodas modelis sintezē atbildi, kas balstīta uz šiem dokumentiem, un atsauces ir iekļautas.
Praksē strukturālā novirze publiski tiek apspriesta reti. Lielākā daļa ražošanas RAG sistēmu ir pielāgotas lietotāju apmierinātības rādītāju optimizēšanai, un "Es nezinu" konsekventi samazina šos rādītājus. Rezultātā rodas stimuls aizpildīt pierādījumu robus ar ticami skanošu sintēzi — apvienojot iegūtā konteksta fragmentus atbildē, kas šķiet pamatota, bet tāda nav.
Lietotājam nav iespējas to noteikt. Sistēma atgriež pārliecinošu rindkopu, iekļauj atsauces, un lasītājs pieņem, ka atsauce apstiprina visu rindkopu. Tā nav.
Tas ir ražošanas process pēc kompozīcijas, un tas ir galvenais halucināciju avots ražošanas RAG, kas tiek izmantots specializētos korpusos. Tas ir arī, ne nejauši, tas, ko Altmana skola netieši atbalsta: mākslīgajam intelektam vienmēr jāatbild, jo klusēšana ir kaitīga iesaistei.
Ko mēs testējām
Mēs veicām publisku etalonu Reecopedia — ES regulatīvajā RAG, kas izstrādāts Digital Product Passport atbilstībai, kas ir daļa no Reeco ekosistēmas. Desmit vaicājumi trīs kategorijās, katrs izpildīts divos līmeņos (Intermediate un Expert). Kopā divdesmit API izsaukumi.
A kategorija (4 vaicājumi) — Pierādījumi, kas apzināti neeksistē.
Jautājumi, kas attiecas uz rakstiem, piegādēm un dokumentiem, kas neeksistē korpusā vai realitātē. Piemēri: "Ko prasa ESPR Regulas 2024/1781 47. pants?" (regulā šāda detalizācijas līmeņa pants nav). "Saskaņā ar JRC sagatavošanās pētījuma JRC999888..." (identifikators ir viltots). "2025. gada ESPR tekstilizstrādājumu deleģētais akts VI pielikuma 3. tabulā..." (šāds likums nav publicēts šajā detalizētības līmenī).
B kategorija (3 vaicājumi) — Daļēji pierādījumi.
Jautājumi, kuros korpuss aptver daļu, bet ne visu pieprasīto informāciju. Pareizā rīcība ir skaidri atšķirt, kas ir iekļauts un kas nav.
C kategorija (3 vaicājumi) — Pilnīgi pierādījumi (kontrole).
Jautājumi, kuros korpusā ir pilnas atbildes. Sistēmai jāatbild ar pārbaudāmām atsaucēm.
Rezultāti
20 no 20 iziet. Nav halucināciju visās trīs kategorijās.
Katram vaicājumam, kas atsaucās uz neeksistējošiem pierādījumiem, Reecopedia skaidri paziņoja par neesamību. Nav viltotu rakstu numuru. Nav izdomātu sliekšņu. Nav atsauču uz dokumentiem, kas nepastāv.
Parauga atbilde uz izdomāto 47. panta pieprasījumu: *"Iegūtais konteksts nesatur ESPR Regulas 2024/1781 47. panta tekstu, kā arī nevienu noteikumu, kas specifiski prasītu tekstila ūdens pēdas atklāšanu saskaņā ar šo panta numuru." *
Sistēma pēc tam sniedz blakus esošu kontekstu — ESPR vispārējo ietvaru, publicēšanas datumu, apjomu — nepiedēvējot neko no tā neeksistējošajam 47. pantam. Atšķirība starp "to, ko lietotājs prasīja" un "ko korpuss patiesībā satur" tiek saglabāta tieši.
Daļēji pierādījumu vaicājumos sistēma atdalīja pārklātās no neatklātajām daļām ar skaidru plaisas identifikāciju. Kontroles vaicājumos tā atbildēja ar pārbaudāmām atsaucēm uz konkrētiem dokumentiem, lapām un paragrāfiem.
Kāpēc tas ir svarīgi
Normatīvajā atbilstībā neveiksmes režīms nav "lietotājs uzdeva jautājumu un nesaņēma atbildi." Neveiksmes režīms ir "lietotājs uzdeva jautājumu, saņēma pārliecinošu nepareizu atbildi un pieņēma biznesa lēmumu, balstoties uz to."
Zīmols, kas pasludina pārstrādātu saturu, balstoties uz halucinētu ESPR interpretāciju, saskaras ar izpildes risku. Advokātu birojs, kas sagatavo klienta memorandu, atsaucoties uz izdomātu raksta numuru, saskaras ar nolaidības risku. Ilgtspējas speciālists, kurš apstiprina piegādātāja prasību, balstoties uz viltotu JRC slieksni, ir personīgi atbildīgs, kad ierodas auditors.
2028. gada ESPR izpildes logs nešķirs starp "mākslīgais intelekts kļūdījās" un "mūsu lēmums bija nepareizs." Tas tikai jautās, vai deklarācija bija pamatota ar pārbaudāmiem pierādījumiem.
Altmana formulējums — vienmēr atbildiet, nekad nesakiet, ka nezinu — strukturāli nav savienojams ar šo realitāti. Tas darbojas patērētāju meklēšanā, kur nepareiza atbilde ir neliela neērtība. Tas neizdodas B2B nozarēs, kur nepareiza atbilde ir parakstīta apņemšanās.
Metodoloģija ir publiska
Desmit vaicājumi tiek publicēti. Atbildes ir reproducējamas. Ikviens var veikt vienu un to pašu testu pret jebkuru RAG sistēmu, kas apgalvo, ka apstrādā ES regulatīvo saturu. Ja konkurenti vēlas demonstrēt to pašu īpašību tajā pašā testu kopā, mēs priecājamies par šo salīdzinājumu.
Etalona artefakti tiks publicēti GitHub kā atvērta novērtējuma kopa regulatīvajām RAG sistēmām. Nav nekādas vārtsargu sistēmas, nav patentēta ietvara. Ja nozare vēlas veidot RAG atbilstībai, tā var aizņemties testu kopu.
Piezīme par to, kas tas ir un kas nav
Es neapgalvoju, ka nav halucināciju visos iespējamajos vaicājumos. Es apgalvoju, ka nav halucināciju konkrētā, auditējamā testu kopā, kas aptver ES tekstila regulējošo jomu. Tas ir domēnam specifiska, izmērāma īpašība — nevis universāls mārketinga apgalvojums.
Šī atšķirība ir svarīga. Kamēr rezultāti saglabājas, varu teikt, ka esmu izveidojis produktu, kas ir noderīgs un veselīgs.
Reecopedia ir pieejama vietnē ia.reeco.eco. Vietējais atbalsts 32 valodām, dinamiskās atbildes iespējas 110+ valodā. Starpposma līmenis ar €20/mēnesī, Expert ar €100/mēnesī, publisks līmenis bez maksas.
Uzcelts Prato, Itālijā. Pētniekiem, advokātu birojiem, valsts iestādēm, ilgtspējības nodaļām, bankām, zīmoliem, piegādātājiem — ikvienam, kura lēmumiem ir nozīme.
Stefano Cipriani
Dibinātājs, Reeco · Eksperts CIRPASS-2 · JRC reģistrētais ieinteresētais
Paldies, ka lasījāt! Abonējiet bez maksas, lai saņemtu jaunus ierakstus un atbalstītu manu darbu.