Kā novērtēt savu AI piegādātāju 30 minūtēs (un kāpēc ar to nepietiek)

Autors: Alex Blumentals — Twin Ladder

---

Esmu gadiem pavadījis iepirkumu organizācijās, vērojot vienu un to pašu zināšanu asimetriju. Pārdevējs fokusējas uz vienu produktu, vienu kategoriju. Viņi veido izsmalcinātas stāstījuma līnijas, rada šķietamu daudzveidību un perfekti pārzina savus datus. Pircējam jāiegādājas tūkstošiem lietu simtiem kategoriju un nav specializācijas, lai izskaitītu visus pārdošanas materiālus.

AI piegādātāju novērtēšana ir šī asimetrija bīstamākajā izpausmē. Jūsu piegādātājam ir specializēta atbilstības komanda, kas gatavo skaistus caurskatāmības ziņojumus. Jums ir iepirkumu analītiķis, datu aizsardzības speciālists un juridiskais konsultants — neviens no viņiem iepriekš nav vērtējis AI sistēmu atbilstoši ES AI regulai. 26. pants prasa, lai jūs pārbaudītu sava piegādātāja atbilstību. 27. pants var pieprasīt, lai jūs sagatavotu pamattiesību ietekmes novērtējumu. Termiņš ir 2026. gada 2. augusts.

Tāpēc mēs darīsim šādi. Mēs jums atdosim visu nepieciešamo, lai jūs to izdarītu paši.

---

Uzvednes

Zemāk ir sešas uzvednes, ko var izmantot ar jebkuru lielu valodas modeli — Claude, GPT, Gemini, Llama vai jebkuru citu. Augšupielādējiet sava piegādātāja dokumentāciju (caurskatāmības ziņojumu, modeļa karti, pakalpojumu noteikumus, datu apstrādes līgumu) un palaidiet šīs uzvednes. Katra no tām atbilst Twin Ladder standarta pīlāram un 26. panta izvietotāja pienākumam.

1. uzvedne: Izpratne un caurskatāmība

"Esmu šīs AI sistēmas izvietotājs saskaņā ar ES AI regulu. Analizējiet šī piegādātāja dokumentāciju un atbildiet: (1) Vai piegādātājs skaidri izskaidro, ko AI sistēma dara, kādus datus izmanto un kādus rezultātus ražo? (2) Vai dokumentācija izskaidro, kura ES AI regulas riska klasifikācija ir piemērojama un kāpēc? (3) Vai tā izskaidro, kādu informāciju un dokumentāciju piegādātājs nodrošina, lai palīdzētu man izpildīt manus 26. panta izvietotāja pienākumus? Atzīmējiet jebkādu neskaidru valodu, trūkstošu informāciju vai apgalvojumus, kas nav pamatoti ar pierādījumiem."

2. uzvedne: Datu aizsardzība un politika

"Analizējiet šī piegādātāja datu apstrādes dokumentāciju. Atbildiet: (1) Kādus personas datus sistēma apstrādā, kādiem mērķiem un uz kāda tiesiskā pamata? (2) Vai piegādātājs izmanto klientu datus modeļa apmācībai vai pielāgošanai — un vai es varu atteikties? (3) Kur dati tiek glabāti un apstrādāti, un vai pastāv pārrobežu pārsūtīšana? (4) Kāda ir datu glabāšanas un dzēšanas politika? (5) Vai piegādātājs ir veicis DPIA šai sistēmai? Ja nē, kāpēc? Atzīmējiet jebkādus trūkumus attiecībā uz VDAR 13.–14. pantu (caurskatāmība) un 35.–36. pantu (DPIA)."

3. uzvedne: Apmācība un kompetences atbalsts

"Analizējiet, kādu apmācību un atbalstu šis piegādātājs nodrošina. Atbildiet: (1) Kādi apmācības materiāli ir pieejami darbiniekiem, kas izmantos vai pārraudzīs šo sistēmu? (2) Vai ir lomai specifiska apmācība dažādām iesaistītajām pusēm (galalietotāji, administratori, atbilstības speciālisti)? (3) Vai apmācība aptver sistēmas ierobežojumus un kļūdu scenārijus — ne tikai funkcionalitāti? (4) Kā piegādātājs novērtē, vai izvietotāja darbinieki ir kompetenti lietot sistēmu? Atzīmējiet jebkādu apmācību, kas izskatās pēc produkta pamācības, nevis kompetences veidošanas."

4. uzvedne: Rīki un cilvēka pārraudzība

"Analizējiet šai AI sistēmai dokumentētās cilvēka pārraudzības iespējas. Atbildiet: (1) Kādus rīkus piegādātājs nodrošina AI lēmumu un rezultātu monitorēšanai? (2) Kādas žurnālēšanas un revīzijas izsekošanas iespējas pastāv? (3) Vai izvietotājs var sistēmu apturēt, pārrakstīt vai izslēgt? (4) Kādi aizspriedumu noteikšanas un taisnīguma monitorēšanas rīki ir iekļauti? (5) Kāda veiktspējas monitorēšana izseko precizitāti, uzticamību un novirzi laika gaitā? Salīdziniet ar 14. panta (cilvēka pārraudzība) prasībām."

5. uzvedne: Pierādījumi un dokumentācija

"Analizējiet šī piegādātāja pierādījumu dokumentāciju. Atbildiet: (1) Vai ir modeļa karte vai līdzvērtīga tehniskā dokumentācija, kas aptver apmācības datus, arhitektūru un zināmos ierobežojumus? (2) Kādas sertifikācijas, standartus vai trešo pušu auditus sistēma ir izgājusi? (3) Kādi testēšanas un validācijas pierādījumi par precizitāti, taisnīgumu un izturību ir pieejami? (4) Kādas incidentu reaģēšanas procedūras ir dokumentētas? (5) Kādi versiju kontroles un izmaiņu pārvaldības procesi pastāv modeļa atjauninājumiem? Novērtējiet dokumentāciju atbilstoši 11. panta (tehniskā dokumentācija) un 13. panta (caurskatāmība) prasībām."

6. uzvedne: Pārvaldība un atbildība

"Analizējiet šī piegādātāja pārvaldības ietvaru. Atbildiet: (1) Kurš ir galējais atbildīgais par AI sistēmas drošību? (2) Kādi risku pārvaldības procesi pastāv visam AI dzīves ciklam? (3) Vai pastāv ētikas pārskatīšanas procesi, sarkanās līnijas vai lietošanas gadījumu ierobežojumi? (4) Kādas līgumsaistības pastāv attiecībā uz veiktspēju, precizitāti un atbilstību — vai ir SLA vai garantijas? (5) Kā piegādātājs rīkojas ar audita pieprasījumiem un pienācīgas pārbaudes novērtējumiem? (6) Kāda ir pieeja atbildībai un zaudējumu atlīdzināšanai par AI rezultātiem? Atzīmējiet jebkādus pārvaldības trūkumus attiecībā uz 9. panta (risku pārvaldība) prasībām."

---

---

Vērtēšana

Pēc šo uzvedņu izpildes novērtējiet katru pīlāru skalā no 0 līdz 3:

• 0 — Nav pierādījumu. Piegādātājs nesniedz neko šajā jomā.
• 1 — Daļēji. Kāda informācija pastāv, bet ir neskaidra, nepilnīga vai nav specifiska AI sistēmai.
• 2 — Adekvāti. Skaidra, specifiska dokumentācija, kas aptver galvenās prasības.
• 3 — Visaptveroši. Detalizēta, ar pierādījumiem pamatota dokumentācija ar proaktīvām saistībām.

Aprēķiniet procentuālo rādītāju: kopējais punktu skaits no 18, reizināts ar 100. Attieciniet uz Twin Ladder standarta līmeņiem:

Punkti	Līmenis	Ko tas nozīmē
0–25%	Izpētes	Būtisks atbilstības risks. Neturpiniet bez piegādātāja labošanas plāna.
26–50%	Attīstības	Būtiski trūkumi. Pieņemami tikai minimāla riska izvietojumiem ar papildu kontrolēm.
51–75%	Ieviešanas	Laba atbilstības pozīcija. Izvietojiet ar dokumentētiem pārraudzības pasākumiem.
76–100%	Optimizācijas	Spēcīga atbilstības pozīcija. Pierādījumi par proaktīvu pārvaldību.

---

Veidnes

Strukturētākam novērtējumam mēs nodrošinām trīs pilnas RFI veidnes — katrā 36 līdz 48 jautājumi ar vērtēšanas kritērijiem un norādījumiem katram jautājumam:

1. Vispārīgā AI piegādātāja RFI — 36 jautājumi 6 pīlāru ietvaros. Piemērota jebkuram AI piegādātājam.
2. Augsta riska AI piegādātāja RFI — 48 jautājumi, tostarp 12 specifiski III pielikuma augsta riska sistēmām un FRIA sagatavošanai.
3. HR AI rīku RFI — 48 jautājumi, tostarp 12 specifiski nodarbinātības un personāla atlases AI saskaņā ar III pielikuma 4. kategoriju.

Katrs jautājums ir kartēts uz konkrētu 26. panta izvietotāja pienākumu un vērtēts pret Twin Ladder standarta pīlāriem. Katrs jautājums ietver norādījumus par to, kā izskatās labas, adekvātas un vājas atbildes.

Šīs veidnes ir bezmaksas. Reģistrējiet Twin Ladder kontu un lejupielādējiet tās nekavējoties. Bez izmēģinājuma perioda. Bez pārdošanas sarunas. Tās ir jūsu.

---

Tagad — kāpēc ar to nepietiek

Būtu negodīgi apstāties šeit. Uzvednes darbojas. Veidnes ir pamatīgas. Ja jūs tās izpildīsiet rūpīgi, jūs zināsiet vairāk par sava AI piegādātāja atbilstības pozīciju nekā 90% Eiropas vidēja lieluma uzņēmumu zina šodien.

Bet ir piecas lietas, ko neviena uzvedne, neviena veidne un neviens valodas modelis nevar sniegt — neatkarīgi no tā, cik labs ir modelis.

1. Kontekstam specifisks novērtējums

Valodas modelis analizē dokumentu, ko jūs tam iedodat. Tas nepārzina jūsu organizāciju. Tas nezina, ka jūs izvietojat šo HR atlases rīku Latvijā, kur ES AI regulas 26. panta un Latvijas darba likumdošanas krustpunkts rada specifiskus pienākumus, kas atšķiras no tā paša rīka izvietošanas Vācijā vai Francijā. Tas nezina, ka jūsu HR komandā ir trīs cilvēki un nav īpaši noteiktas AI pārraudzības lomas — kas maina to, ko "adekvāta cilvēka pārraudzība" nozīmē praksē.

Viena un tā pati piegādātāja dokumentācija dod atšķirīgu atbilstības slēdzienu atkarībā no tā, kas izvietot, kur, kādam lietošanas gadījumam un ar kādām iekšējām spējām. Valodas modelis uztver dokumentu kā pilnīgu kontekstu. Tas tāds nav.

2. Kompetences kalibrēšana

Jūsu organizācijas Twin Ladder brieduma rādītājs nosaka, kādi pārraudzības pasākumi jums faktiski ir nepieciešami. 1. līmeņa (Izpētes) komandai, kas izvietot augsta riska AI rīku, ir nepieciešamas fundamentāli atšķirīgas kontroles nekā 3. līmeņa (Ieviešanas) komandai, kas izvietot to pašu rīku. Piegādātāja dokumentācija var būt adekvāta vienai un nepietiekama otrai.

Šis ir 4. panta princips darbībā. AI pratība nav atzīme izvēles rūtiņā — tā ir spēja, kas nosaka, ko nozīmē "atbilstoša lietošana". Valodas modelis nevar kalibrēt piegādātāja prasības pret jūsu cilvēku faktisko kompetences līmeni, jo tas nepārzina jūsu cilvēkus.

3. Salīdzinošie etaloni

Kad mēs jums pasakām, ka piegādātājs iekļaujas 35. procentīlē apmācības dokumentācijā, šim skaitlim ir nozīme. Tas nozīmē, ka esam novērtējuši pietiekami daudz piegādātāju, lai izveidotu sadalījumu. Tas nozīmē, ka mēs zinām, kā izskatās labs rezultāts — ne teorētiski, bet no datiem simtiem novērtējumu.

Valodas modelim nav etalona. Tas var jums pateikt, ka dokumentācija "šķiet visaptveroša" vai "tai ir trūkumi". Tas nevar pateikt, vai šie trūkumi ir tipiski nozarei vai katastrofāli zem standarta. Bez salīdzinošiem datiem katrs novērtējums ir sala.

4. Juridiskā aizstāvēšanās spēja

Ja regulators lūgs jums demonstrēt pienācīgu pārbaudi saskaņā ar 26. pantu, ko jūs viņiem parādīsiet? Sarunu ar valodas modeli? Saglabātu čata pierakstu?

Twin Ladder piegādātāja atbilstības ziņojums ir strukturēts dokuments, kas kartēts uz konkrētiem 26. panta 1. punkta izvietotāja pienākumiem, vērtēts pēc atklātas, pārbaudāmas metodoloģijas (Twin Ladder standarts, CC BY-SA 4.0) un — Pro līmenī — pārskatīts un apstiprināts ar kvalificēta novērtētāja parakstu. Tas ir veidots kā pierādījums. Saruna ar valodas modeli nav.

5. FRIA tilts

Ja jūsu AI sistēma ir augsta riska saskaņā ar III pielikumu, 27. pants prasa pamattiesību ietekmes novērtējumu pirms sistēmas lietošanas. Tas nav neobligāts publiskām iestādēm, sabiedrisko pakalpojumu sniedzējiem vai organizācijām, kas izmanto AI kredītspējas vērtēšanai vai apdrošināšanai.

FRIA nav dokuments, ko var ģenerēt no uzvednes. Tam nepieciešama ietekmēto personu identificēšana, ES Pamattiesību hartas implikāciju kartēšana, strukturēta risku analīze ar varbūtības un smaguma vērtējumiem, mitigācijas pasākumu plānošana un pārraudzības mehānismu dokumentēšana. Piegādātāja novērtējuma dati tieši papildina FRIA — bet tikai tad, ja novērtējums bija strukturēts, lai uztvertu pareizos datus.

Mūsu FRIA darbplūsma ņem jūsu jau sagatavoto piegādātāja novērtējuma datus un iepriekš aizpilda 30–40% FRIA prasību. Neviena uzvedne to nespēj, jo saikne starp piegādātāja novērtējumu un FRIA ir arhitektūriska, nevis tekstuāla.

---

Godīgs piedāvājums

Lūk, ko mēs piedāvājam un kāpēc.

Bezmaksas līmenis (reģistrētiem lietotājiem):

• Sešas uzvednes (augstāk) — lietojiet ar jebkuru valodas modeli
• Trīs RFI veidnes (36–48 jautājumi katrā) ar vērtēšanas kritērijiem
• FRIA atbilstības pārbaudītājs — seši jautājumi, lai noteiktu, vai jums nepieciešams pamattiesību ietekmes novērtējums

Mēs tos atdodam, jo metodoloģijai jābūt pieejamai. Twin Ladder standarts ir atvērts (CC BY-SA 4.0). Mēs uzskatām, ka ietvaram jābūt sabiedriskam labumam. Ja jūs varat to izdarīt paši, dariet.

Maksas līmenis (kad vajag vairāk):

• 26. panta atbilstības ziņojums (no €490) — mēs novērtējam piegādātāju, sagatavojam ziņojumu, kartējam uz jūsu specifiskajiem pienākumiem
• 27. panta ietekmes novērtējums (no €1 500) — vadīta 7 soļu FRIA darbplūsma, iepriekš aizpildīta no novērtējuma datiem
• Izvietotāja atbilstības komplekts (no €2 500) — abi vienā integrētā darbplūsmā
• Izvietotāja atbilstības komplekts Pro (no €5 000) — ar eksperta novērtētāja pārskatīšanu un juridisko apstiprināšanu

Maksas līmenis pastāv tāpēc, ka konteksts, kalibrēšana, etaloni, juridiskā aizstāvēšanās spēja un FRIA integrācija ir lietas, kam nepieciešama platforma, nevis uzvedne. Mēs neslēpjam metodoloģiju. Mēs piedāvājam to pielietot — ar jūsu organizācijas specifisko kontekstu, pret mūsu uzkrātajiem etalona datiem, sagatavojot dokumentus, kas iztur regulatora pārbaudi.

---

Ko darīt tieši tagad

1. Veiciet bezmaksas FRIA atbilstības pārbaudi. Divas minūtes. Uzziniet, vai 27. pants attiecas uz jums.
2. Reģistrējieties un lejupielādējiet RFI veidnes. Pielietojiet tās savam kritiskākajam AI piegādātājam.
3. Izmantojiet augstāk minētās uzvednes ar sava piegādātāja dokumentāciju. Novērtējiet to. Skatiet, kur ir trūkumi.
4. Ja vajag vairāk — kontekstuālu novērtējumu, salīdzinošos etalonus, juridiskus pierādījumus, FRIA dokumentāciju — sāciet piegādātāja novērtējumu.

Termiņš ir 2026. gada 2. augusts. Jūsu piegādātājiem ir dokumentācija. Jautājums nav par to, vai jūs varat to izlasīt. Jautājums ir par to, vai jūs varat to novērtēt — jūsu cilvēkiem, jūsu darbplūsmām, jūsu regulatīvajai pozīcijai.

Tā ir plaisa, ko valodas modelis nespēj aizvērt.

---

Sources

1. Regulation (EU) 2024/1689, Article 26 -- Obligations of deployers of high-risk AI systems, including verification of provider compliance, human oversight, and documentation requirements. EUR-Lex

2. Regulation (EU) 2024/1689, Article 27 -- Fundamental rights impact assessment for high-risk AI systems deployed by public bodies, public service providers, and credit/insurance scoring. EUR-Lex

3. Regulation (EU) 2024/1689, Article 4 -- AI literacy obligation requiring providers and deployers to ensure sufficient AI literacy of staff. EUR-Lex

4. Twin Ladder Standard v1.0 -- Open methodology (CC BY-SA 4.0) for assessing organisational AI competence across six pillars. Twin Ladder Standard

5. EU Charter of Fundamental Rights -- Articles 1, 7, 8, 21, 31, 41, 47 -- referenced in Article 27 FRIA requirements for rights mapping. EUR-Lex