Rizika generativní AI

12 specifických rizik generativní AI dle NIST AI 600-1 a jak je řídit

Zdroj: NIST AI 600-1 - Generative AI Profile (Červenec 2024)

1. Úvod do GAI rizik

Co je generativní AI (GAI)

Generativní AI vytváří nový text, obraz, zvuk či jiný obsah na základě naučených vzorů. Následující přehled vychází z NIST AI 600-1; nejde o právní definici ani závaznou klasifikaci závažnosti.

NIST AI RMF a jeho profil pro generativní AI jsou dobrovolné. Kontroly, šablony a priority níže jsou vlastní doporučené příklady k přizpůsobení; nepřebírají doslova opatření NIST a samy neurčují zákonné povinnosti.

Proč jsou GAI rizika specifická

Aspekt	Tradiční AI	Generativní AI
Výstupy	Klasifikace, predikce	Syntetický obsah
Předvídatelnost	Závisí na modelu a vstupních datech	Závisí i na způsobu generování a nastavení
Škálovatelnost	Závisí na architektuře a infrastruktuře	Závisí na architektuře a infrastruktuře
Zneužití	Závisí na účelu, přístupu a dopadech	Nové scénáře zneužití syntetického obsahu a nástrojů
Emergent behaviors	Omezené	Nepředvídatelné

2. Přehled 12 GAI rizik

Rozdělení závažnosti v diagramu je ilustrativní, nikoli rating přidělený NIST. Například environmentální dopad se mění podle rozsahu a podmínek provozu.

3. Detailní rozbor rizik

R1: CBRN Information or Capabilities

Definice: Usnadněný přístup k nebezpečným informacím nebo návrhovým schopnostem souvisejícím s chemickými, biologickými, radiologickými či jadernými zbraněmi a jinými nebezpečnými materiály nebo činiteli.

Rizikové scénáře:

GAI poskytuje návody na syntézu nebezpečných látek
BDTs (v terminologii NIST nástroje pro chemický a biologický design) augmentují schopnosti designu
Kombinace GAI + specializovaných nástrojů zvyšuje riziko

Kontroly:

Kontrola	Typ	Implementace
Content filtering	Preventive	Blokovací filtry pro CBRN queries
Query monitoring	Detective	Alerting na podezřelé vzorce
User verification	Preventive	Ověření uživatele nebo přístupu, kde je relevantní
Incident reporting	Corrective	Odborná eskalace a hlášení příslušnému orgánu, kde je vyžadováno

Právní posouzení: Prověřte konkrétní zakázané praktiky a další předpisy; oblast CBRN jako celek není samostatnou zakázanou kategorií čl. 5 AI Actu.

R2: Confabulation (Halucinace)

Definice: Produkce sebejistě prezentovaného, ale fakticky chybného obsahu.

Proč se to děje:

Statistická predikce next token
Přirozený důsledek architektury LLM
Absence “ground truth” verifikace

Rizikové scénáře:

Falešné citace v právních dokumentech
Nesprávné lékařské rady
Vymyšlené fakty v novinových článcích
Chybné technické informace

Kontroly:

Kontrola	Typ	Implementace
Mandatory fact-checking	Preventive	Policy pro ověřování výstupů
Retrieval-Augmented Generation	Preventive	RAG pro práci s ověřenými zdroji; nezaručuje správnost citací ani odstranění halucinací
Confidence indicators	Detective	Použít kalibrované ukazatele; sebejistý slovní výstup není pravděpodobnost správnosti
Human-in-the-loop	Detective	Review pro kritické výstupy
Hallucination detection	Detective	Automatická detekce
User education	Preventive	Školení o limitech GAI

Praktická opatření:

## ANTI-HALLUCINATION POLICY

1. **Nikdy nepoužívejte GAI jako jediný zdroj** pro:
   - Právní dokumenty
   - Lékařské informace
   - Finanční rozhodnutí
   - Kritickou infrastrukturu

2. **Vždy ověřujte** fakta z nezávislých zdrojů

3. **Označujte** AI-generated content podle použitelného práva, smlouvy nebo interní politiky

4. **Dokumentujte** zjištěné halucinace pro learning

R3: Dangerous, Violent, or Hateful Content

Definice: Usnadněná produkce násilného, radikalizujícího nebo nenávistného obsahu.

Rizikové scénáře:

Jailbreaking obchází safety filtry
Generování extremistického obsahu
Návody k násilí nebo sebepoškozování
Šíření nenávisti

Kontroly:

Kontrola	Typ	Implementace
Content moderation	Preventive	Input/output filtering
Jailbreak resistance	Preventive	Pravidelné testování
User ToS	Preventive	Jasná pravidla použití
Content logging	Detective	Audit trail
Reporting mechanism	Corrective	Snadné hlášení
Account suspension	Corrective	Enforcement

R4: Data Privacy

Definice: Únik osobních údajů z trénovacích dat, inference citlivých informací.

Rizikové scénáře:

Model “pamatuje” PII z trénovacích dat
Inference citlivých atributů z zdánlivě neškodných dat
Nedodržení zásad GDPR podle čl. 5 (například účelového omezení) nebo chybějící právní základ podle čl. 6; souhlas je jedním z právních základů, nikoli samostatnou zásadou čl. 5

Kontroly:

Kontrola	Typ	Implementace
Data classification	Preventive	Co lze/nelze do GAI
PII detection	Detective	Scanning výstupů
Training opt-out	Preventive	Smluvní zajištění
DPIA	Preventive	Při pravděpodobném vysokém riziku podle čl. 35 GDPR
Anonymization	Preventive	Pre-processing
Access controls	Preventive	Kdo může používat GAI

Otázky k ochraně osobních údajů při používání generativní AI:

Právní základ pro zpracování
Transparence vůči subjektům údajů
Data minimization
Purpose limitation
Práva subjektů údajů zajištěna
Smlouva nebo jiný právní akt podle čl. 28 GDPR, pokud poskytovatel plní roli zpracovatele
DPIA provedena (pokud vyžadována)

R5: Environmental Impacts

Definice: Environmentální dopady trénování a inference GAI modelů.

Fakta:

Spotřeba při tréninku a provozu závisí na modelu, hardwaru, využití a objemu úloh.
Emise se mění s energetickým mixem a hranicí výpočtu.
Vodní stopa zahrnuje kontext chlazení a výroby energie; vyžaduje lokální data. Univerzální přepočet „jeden LLM = určitý počet letů“ není použitelný.

Kontroly:

Kontrola	Typ	Implementace
Provider selection	Preventive	Preferovat green providers
Model efficiency	Preventive	Menší modely kde možné
Caching	Preventive	Redukce redundantních queries
Carbon footprint tracking	Detective	Monitoring
ESG reporting	Detective	Zahrnutí do reportingu

R6: Harmful Bias and Homogenization

Definice: Škodlivé stereotypy a rozdíly ve výkonu pro skupiny či jazyky, ale také nežádoucí homogenita výstupů, která může vést k chybným rozhodnutím nebo posilovat zkreslení.

Projevy:

Stereotypy (CEO = muž, zdravotní sestra = žena)
Horší výkon pro minority/jazyky
Model collapse při syntetických datech
Algorithmic monoculture

Kontroly:

Kontrola	Typ	Implementace
Bias testing	Preventive	Pre-deployment assessment
Diverse evaluation	Preventive	Testování across groups
Fairness monitoring	Detective	Průběžné metriky
Human oversight	Detective	Review pro HR/hiring use
Diverse teams	Preventive	Různorodé hodnotící týmy
Feedback loops	Corrective	User reporting bias

Testovací benchmarky:

WinoBias, Winogender (gender bias)
BBQ (social biases)
RealToxicityPrompts (toxicity)

R7: Human-AI Configuration

Definice: Rizika z interakce člověk-AI: automation bias, algorithmic aversion, anthropomorphization.

Typy rizik:

Riziko	Popis	Mitigace
Automation bias	Nadměrná důvěra v AI	Critical thinking training
Algorithmic aversion	Neopodstatněná nedůvěra	Explanation, transparency
Emotional entanglement	Emocionální závislost	Clear AI identity
Anthropomorphization	Přisuzování lidských vlastností	UI design, disclaimers

Kontroly:

## HUMAN-AI INTERACTION GUIDELINES

1. **Jasná identifikace AI**
   - "Komunikujete s AI asistentem"
   - Rozhraní nemá klamat o tom, zda uživatel komunikuje s člověkem

2. **Kritické myšlení**
   - AI může chybovat
   - Vždy ověřujte důležité informace
   - Finální rozhodnutí je na člověku

3. **Zdravé hranice**
   - Sebejistá nebo empatická odpověď sama neprokazuje lidské porozumění ani osobní vztah
   - AI není přítel ani terapeut
   - Při obavách kontaktujte podporu

R8: Information Integrity

Definice: Misinformace, disinformace, deepfakes, eroze důvěry.

Rizikové scénáře:

Masová produkce fake news
Deepfake videa/audia
Syntetické “důkazy”
Eroze důvěry v instituce

Modelový příklad: Syntetický obraz neexistující události je sdílen bez ověření původu a lidé podle něj učiní rozhodnutí.

Kontroly:

Kontrola	Typ	Implementace
Content provenance	Preventive	Watermarking, metadata
Synthetic media detection	Detective	Detection tools
Disclosure requirements	Preventive	Označení AI obsahu podle použitelného práva, smlouvy nebo interní politiky
Fact-checking	Detective	Verification processes
Media literacy	Preventive	User education

Content provenance metody:

Digital watermarking
Metadata recording (C2PA standard)
Digital fingerprinting
Human authentication

R9: Information Security

Definice: GAI jako nástroj i cíl kyberútoků.

Dva aspekty:

GAI jako nástroj útoku:
- Generování phishing emailů
- Tvorba malware kódu
- Social engineering scripts
GAI jako cíl útoku:
- Prompt injection
- Data poisoning
- Model extraction

Kontroly:

Kontrola	Typ	Implementace
Input validation	Preventive	Ověřit schéma a velikost; samotné čištění promptu nestačí
Prompt injection defense	Preventive	Oddělit nedůvěryhodný obsah a omezit dopad případného obejití
Rate limiting	Preventive	Abuse prevention
Access controls	Preventive	Authentication
Logging	Detective	Audit trail
Incident response	Corrective	AI-specific playbook

Omezení rizika prompt injection:

Text od uživatele, webu, dokumentu nebo jiného nástroje považujte za nedůvěryhodný vstup. Instrukce v něm nesmějí udělovat oprávnění.
Oprávnění a validaci parametrů akcí vynucujte mimo model. Použijte nejmenší potřebný přístup, izolaci dat a omezení odchozí komunikace.
Akce s významným dopadem nechte schválit oprávněným člověkem; schválení musí ukazovat konkrétní akci a její cíl.
Ověřujte výstupy před použitím v kódu, SQL, HTML či dalších nástrojích. Kontextové escapování pomáhá proti těmto injekcím, není však univerzální obranou proti prompt injection.
Testujte přímé i nepřímé útoky a změny modelu. Logging, filtry a strukturované prompty jsou další vrstvy; nezaručují úplné odstranění rizika.

Podrobněji: OWASP — Prompt Injection.

R10: Intellectual Property

Definice: Porušení autorských práv, memorization trénovacích dat.

Rizikové scénáře:

Reprodukce copyrighted obsahu
Neoprávněné využití osobní identity
Nejasné vlastnictví AI výstupů

Kontroly:

Kontrola	Typ	Implementace
IP policy	Preventive	Pravidla pro AI outputs
Copyright review	Detective	Check před publikací
Attribution	Preventive	Citovat AI asistenci
Contractual clarity	Preventive	SLAs s poskytovateli
Training data transparency	Detective	Požadovat od vendorů

IP policy pro GAI:

## INTELLECTUAL PROPERTY & GAI

1. **Vlastnictví výstupů**
   - AI výstupy jsou basis pro další práci
   - Finální dílo vytvořené člověkem

2. **Zakázané použití**
   - Nepublikovat AI output jako vlastní originál
   - Nevkládat cizí copyrighted obsah

3. **Attribution**
   - Zmínit AI asistenci kde relevantní
   - Dodržovat ToS poskytovatele

4. **Due diligence**
   - Kontrolovat výstupy na copyright issues
   - Používat originální kreativní input

R11: Obscene, Degrading, and/or Abusive Content

Definice: Usnadněná tvorba a dostupnost obscénního, ponižujícího nebo zneužívajícího obsahu, který může způsobit újmu, včetně CSAM (Child Sexual Abuse Material) a NCII (Non-Consensual Intimate Images).

Kritičnost: ZERO TOLERANCE

Kontroly:

Kontrola	Typ	Implementace
Absolute prohibition	Preventive	Policy + technical blocks
Content filters	Preventive	Robust filtering
Detection	Detective	CSAM detection tools
Reporting	Corrective	Postup podle konkrétní jurisdikce, role a povinnosti
Regular testing	Preventive	Filter effectiveness

AI Act: od 2. prosince 2026 se použijí nové zákazy čl. 5 odst. 1 písm. ba) a bb), doplněné nařízením (EU) 2026/1744. Týkají se vymezeného realistického intimního či sexuálně explicitního materiálu identifikovatelné osoby bez jejího svobodného, konkrétního, informovaného, jednoznačného a výslovného souhlasu a materiálu či představení podle čl. 2 písm. c) a e) směrnice 2011/93/EU; u bb) je zachována okolnost vylučující protiprávnost podle vnitrostátního práva. Uvedení na trh nebo do provozu omezuje odst. 1a na případy, kdy jde buď o zamýšlený účel systému, nebo o důvodně předvídatelný a reprodukovatelný výsledek bez významné technické úpravy při chybějících přiměřených a odpovídajících zárukách spolehlivě bránících takové tvorbě či manipulaci a napravujících zjištěné nebo oznámené zneužití. Zákaz používání vyžaduje použití za tímto účelem. Pouze pro zákaz podle písm. ba) se podle odst. 1b za manipulaci nepovažují změny, které nezvyšují expozici vyobrazených intimních partií ani nemění povahu explicitně zobrazovaných sexuálních aktivit. Posuzujte celé čl. 5 odst. 1a–1b a čl. 113 písm. a).

Postup organizace:

Určit relevantní právní režim, kontakty a oznamovací povinnosti podle role a jurisdikce.
Nastavit odbornou eskalaci a přiměřené uchování důkazů; materiál zbytečně nekopírovat a nešířit.
Kontrolovat účinnost ochranných opatření. S odborníky určit konkrétního příjemce oznámení, včetně toho, zda v dané situaci vzniká povinnost hlásit NCMEC.

R12: Value Chain and Component Integration

Definice: Netransparentní integrace third-party komponent, neověřené datasety.

Rizikové scénáře:

Neznámý původ pre-trained modelu
Bias v third-party datasetech
Vulnerabilities v softwarových knihovnách
Label errors v benchmarks

Kontroly:

Kontrola	Typ	Implementace
Vendor due diligence	Preventive	Assessment před nákupem
Model documentation	Preventive	Požadovat model cards
SBOMs	Detective	Software Bill of Materials
SLAs	Preventive	Smluvní zajištění
Exit strategy	Preventive	Plán pro změnu vendora
Regular reviews	Detective	Ongoing monitoring

4. Implementační matice

Příklady výchozích priorit

Jde o podněty k diskusi. Skutečné priority určují účel systému, dotčení lidé a možné dopady; tabulka není závazným hodnocením odvětví.

Typ organizace	Top 5 priorit
Enterprise (obecně)	R2, R4, R9, R6, R12
Healthcare	R2, R4, R6, R11, R1
Finance	R2, R4, R6, R9, R10
Media/Marketing	R8, R10, R2, R6, R3
Education	R2, R6, R4, R8, R7
Critical Infrastructure	R9, R1, R8, R12, R4

Možné první kroky

Pracnost i přínos jsou orientační a musí se ověřit ve vašem prostředí.

Akce	Effort	Impact	Pokrývá rizika
Povinné fact-checking	Low	High	R2, R8
PII policy pro GAI	Low	High	R4
Content filters review	Medium	High	R3, R11
AI identity disclosure	Low	Medium	R7, R8
Vendor assessment	Medium	High	R12

5. GAI Risk Assessment

Pro konkrétní použití generativní AI zaznamenejte relevantní rizika z tohoto průvodce, jejich důsledky, opatření a způsob ověření. U každého zjištění určete odpovědnou osobu a termín dalšího přezkumu.

Jak vybrat vhodné posouzení — Rozdíl mezi orientačním dotazníkem, klasifikací a podrobným posouzením.
NIST GAI Profile — Kontext dvanácti oblastí a doporučených kroků.

Orientační skóre ani počet vyplněných kontrol nenahrazují ověření účinnosti opatření a posouzení konkrétních právních požadavků.

6. Reference

AI-Native Entry Framework | CC BY-NC-SA 4.0