NIST AI 600-1: profil pro generativní AI

1. O dokumentu

Vlastnost	Hodnota
Označení	NIST AI 600-1
Název	Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile
Vydání	Červenec 2024
Instituce	Americký National Institute of Standards and Technology
Povaha	Dobrovolný mezioborový profil pro řízení rizik generativní AI
Vztah k AI RMF	Doplněk NIST AI RMF 1.0 využívající funkce GOVERN, MAP, MEASURE a MANAGE

Profil vznikl v kontextu americké politiky roku 2024 včetně Executive Order 14110. Tento historický kontext z něj nedělá závazné právo EU ani současnou právní povinnost pro každou organizaci. Definice a doporučené kroky ověřujte v původním dokumentu NIST.

2. Generativní AI a základní modely

Generativní AI vytváří syntetický obsah, například text, obrazy, video či zvuk, na základě vzorů naučených z dat. Základní model (foundation model) lze přizpůsobovat různým navazujícím úlohám; přesná definice závisí na technickém nebo právním kontextu.

Obecný počet parametrů nestačí k rozhodnutí, zda model spadá pod ustanovení AI Actu o GPAI. Pojmy „foundation model“, „dual-use foundation model“, „frontier AI“ a „GPAI se systémovým rizikem“ patří do různých kontextů a nejsou zaměnitelnými právními kategoriemi.

3. Dvanáct oblastí rizik generativní AI

Oblasti se mohou překrývat. Jejich význam a závažnost závisejí na použití, dotčených lidech, datech, přístupech a rozsahu nasazení. Profil každé oblasti nepřiřazuje univerzální hodnocení kritické, vysoké či střední.

3.1 Informace nebo schopnosti v oblasti CBRN

AI může usnadnit přístup k informacím či schopnostem využitelným ke způsobení chemické, biologické, radiologické nebo jaderné újmy. Posuďte účel použití, dostupné nástroje, přístupová oprávnění a možné zneužití.

3.2 Konfabulace

Modely mohou sebejistě předkládat nepravdivý či zavádějící obsah. Ověřujte věcnou přesnost, zdroje a důsledky chyb. Plynulý text není důkazem správnosti.

3.3 Nebezpečný, násilný nebo nenávistný obsah

Generativní systémy mohou usnadnit tvorbu škodlivého obsahu a být manipulovány k obcházení ochranných opatření. Vyhodnoťte relevantní scénáře zneužití, kontroly obsahu a postupy reakce.

3.4 Soukromí a osobní údaje

Rizikem je zpřístupnění osobních údajů z trénování či používání modelu i odvozování citlivých informací. Zohledněte životní cyklus dat, podmínky zpracování, přístupy a příslušná práva.

3.5 Dopady na životní prostředí

Trénování a provoz modelů spotřebovávají zdroje. Dopady závisejí na modelu, infrastruktuře, zátěži, místě a hranicích měření; obecná srovnání vyžadují podkladová data.

3.6 Škodlivé zkreslení a homogenizace

Výstupy mohou opakovat stereotypy, fungovat různě pro různé skupiny nebo být příliš jednotvárné. Testujte reprezentativní populace, jazyky a kontexty a zvažte dopady široké závislosti na podobných modelech.

3.7 Uspořádání interakce člověka a AI

Interakce může vést k přehnanému spoléhání na AI, nepodložené nedůvěře, polidšťování systému či nevhodné závislosti. Navrhujte rozhraní, dohled a vzdělávání podle úlohy a omezení systému.

3.8 Integrita informací

Syntetický obsah může podporovat nepravdivé informace, dezinformace a podvržené důkazy. Zvažte ověřování, původ obsahu, vhodné označování a omezení detekčních nástrojů.

3.9 Informační bezpečnost

Generativní AI může pomáhat útočníkům a sama být cílem útoku. Relevantní jsou například prompt injection, otrávení dat, extrakce a oprávnění připojených nástrojů. Bezpečnostní kontroly musí přesahovat samotné znění promptu.

3.10 Duševní vlastnictví

Vstupy či výstupy mohou vyvolat otázky autorských a dalších práv, včetně reprodukce chráněného obsahu. Prověřte oprávnění, licence, podmínky dodavatelů a zamýšlené zveřejnění nebo komerční využití.

3.11 Obscénní, ponižující nebo zneužívající obsah

Oblast zahrnuje materiál zobrazující sexuální zneužívání dětí a nekonsenzuální intimní materiál. Stanovte přísná omezení použití, ochranná opatření a zákonné postupy hlášení a reakce odpovídající roli organizace a jurisdikci.

3.12 Hodnotový řetězec a integrace komponent

Modely, datové sady, knihovny a externí služby přinášejí závislosti. Posuzujte původ, dokumentaci, zranitelnosti, řízení změn a možnost komponenty nahradit.

Oblasti rizik souvisejí s více vlastnostmi důvěryhodné AI. Jednoduché mapování jedna ku jedné není úplné: selhání ochrany soukromí může současně ovlivnit bezpečnost, odpovědnost i zabezpečení.

4. Jak převést doporučení do práce

Doporučené kroky vybírejte s uvedením důvodu a odpovědné osoby. Před citováním identifikátoru konkrétní akce jej ověřte v originálu; příklady v tomto průvodci si identifikátory nevymýšlejí.

Funkce	Příklad práce
GOVERN	Určit odpovědnosti, přijatelné použití, dohled nad dodavateli a kritéria pro zastavení nebezpečného vývoje či provozu
MAP	Popsat účel, zainteresované strany, závislosti a relevantní scénáře rizik generativní AI
MEASURE	Vyhodnotit výsledky úlohy, škodlivé zkreslení, odolnost a ochranná opatření pomocí odůvodněných metod a důkazů
MANAGE	Prioritizovat zjištění, zavést opatření, řešit incidenty a znovu posoudit situaci po změnách

U vybraného kroku zaznamenejte systém a verzi, účel, důkazy, odpovědnou osobu, rozhodnutí a podnět k dalšímu přezkumu. Implementační průvodce obsahuje podrobnější scénáře a příklady opatření ke všem dvanácti oblastem.

5. Souvislosti s EU AI Actem

Jde o tematické souvislosti. Oblasti rizik NIST nejsou právní klasifikací AI Actu. Roli, působnost a datum použitelnosti posuzujte samostatně.

Téma profilu	Možná souvislost s AI Actem	Hranice
Identifikace rizik	Článek 6 a přílohy I a III	Vysoké riziko určujte podle konkrétního výrobku či použití; dvanáct oblastí NIST jej neklasifikuje
Governance a řízení rizik	Články 9, 16 a 17	Především povinnosti týkající se vysoce rizikových systémů a jejich poskytovatelů
Testování před nasazením	Články 9 a 15; čl. 55 odst. 1 písm. a) pro GPAI modely se systémovým rizikem	Články 9 a 15 se týkají vysoce rizikových systémů AI. Poskytovatelé GPAI modelů se systémovým rizikem mají samostatné povinnosti hodnocení modelu včetně dokumentovaného kontradiktorního testování podle čl. 55 odst. 1 písm. a)
Původ obsahu	Článek 50	Povinnosti závisejí na interakci, obsahu a příslušném aktérovi
Lidský dohled	Článek 14	U vysoce rizikových systémů AI: účinný dohled vyžaduje vhodný návrh, pravomoci a fungování v provozu; povinnosti zavádějícího subjektu upravuje také čl. 26 odst. 2
Závažné incidenty	Článek 73; čl. 55 odst. 1 písm. c)	Článek 73 se týká poskytovatelů vysoce rizikových systémů AI. Poskytovatelé GPAI modelů se systémovým rizikem samostatně hlásí podle čl. 55 odst. 1 písm. c) úřadu pro AI a případně příslušným vnitrostátním orgánům bez zbytečného odkladu. Posuďte příslušné podmínky incidentu a data použitelnosti

Vyplněný checklist NIST není certifikací podle AI Actu a nenahrazuje technickou dokumentaci, smlouvy, právní analýzu ani případné povinné posouzení shody.