Samsung: ochrana údajov

Čo sa stalo

V roku 2023 sa objavili správy, že zamestnanci spoločnosti Samsung použili ChatGPT pri riešení pracovných úloh. Podľa dostupných správ mali do systému vložiť citlivé interné informácie, napríklad časti zdrojového kódu, technické údaje alebo interné poznámky.

Zamestnanci pravdepodobne nechceli informácie zneužiť ani vedome zverejniť. Ich cieľom bolo využiť generatívny nástroj ako pracovnú pomôcku pri analýze, oprave, sumarizácii alebo formulácii textu. Problém vznikol preto, že obsah vložený do externého AI nástroja mohol opustiť kontrolované prostredie firmy.

Firma následne podľa dostupných správ pristúpila k obmedzeniu alebo zákazu používania ChatGPT a podobných nástrojov na pracovných zariadeniach alebo pri práci s internými údajmi. Prípad sa stal často uvádzaným príkladom rizika, ktoré vzniká vtedy, keď zamestnanci používajú verejne dostupné generatívne AI nástroje bez jasných pravidiel, školenia a pochopenia dôvernosti údajov.

Eticky rozhodujúce je samotné vloženie dôverného pracovného obsahu do externého generatívneho systému. Podobne ako pri odoslaní interného dokumentu na súkromný e-mail alebo jeho vložení do neodsúhlasenej cloudovej služby, problém vzniká už tým, že citlivý obsah opustí prostredie, v ktorom mal zostať chránený. Rizikom nie je iba zverejnenie údajov, ale aj strata prehľadu o tom, ako sa s nimi ďalej narába.

Prečo je to etický problém

Etické jadro prípadu spočíva v dôvernosti pracovných informácií, zodpovednom používaní generatívnych nástrojov a v hranici medzi interným pracovným prostredím a externou platformou. Ochrana údajov tu preto neznamená iba dodržiavanie právnych pravidiel, ale aj schopnosť rozpoznať, kedy sa dôverný obsah dostáva mimo prostredia, v ktorom mal zostať chránený.

Zamestnanec má v rámci svojej pracovnej alebo profesijnej roly prístup k technickým, obchodným alebo interným informáciám, ktoré mu nepatria ako súkromnej osobe. Sú mu zverené preto, aby s nimi pracoval v rámci určitej organizácie a podľa jej pravidiel. S týmto prístupom je spojená povinnosť opatrnosti a dôvera. Ak takýto obsah vloží do verejne dostupného generatívneho systému, mení sa prostredie, v ktorom sa informácia nachádza. Obsah je vložený do externej služby, ktorej podmienky, uchovávanie a ďalšie spracúvanie nemusia byť používateľovi ani organizácii dostatočne zrejmé.

Dôležitú úlohu tu zohráva informačná asymetria medzi používateľom, organizáciou a poskytovateľom AI nástroja. Používateľ vidí najmä jednoduché textové rozhranie a praktickú pomoc pri práci, no nemusí presne rozumieť tomu, čo sa deje so zadaným obsahom po jeho odoslaní. Organizácia nemusí mať prehľad o tom, aké údaje zamestnanci do podobných nástrojov vkladajú. Poskytovateľ platformy zas určuje podmienky používania, uchovávania a prípadného ďalšieho spracúvania vloženého obsahu.

Prípad Samsung ukazuje, že ochrana údajov pri generatívnej AI je aj otázkou profesijnej zodpovednosti. Používateľ musí rozumieť tomu, že dôverný pracovný obsah nemožno vložiť do externého systému len preto, že nástroj pôsobí ako bežný pomocník pri písaní, analýze alebo programovaní.

Pre organizácie z toho vyplýva potreba jasných pravidiel, školenia a bezpečných alternatív používania AI. Rozdiel medzi súkromným a profesijným použitím generatívnej AI je zásadný. V práci človek často narába s informáciami, za ktoré nesie zodpovednosť nielen voči sebe, ale aj voči kolegom, klientom, obchodným partnerom, pacientom, študentom alebo verejnosti.

Aktéri prípadu

Zamestnanci alebo inžinieri Samsungu, ktorí použili ChatGPT pri pracovných úlohách a podľa dostupných správ doň vložili interný obsah.

Samsung ako organizácia, ktorá nesie zodpovednosť za ochranu vlastných dôverných údajov a za nastavenie pravidiel používania AI nástrojov.

Manažment a bezpečnostné tímy firmy, ktoré musia rozhodnúť, ako reagovať na nové riziko generatívnej AI.

Vývojári a poskytovatelia generatívnych AI nástrojov, ktorí nastavujú podmienky používania, uchovávania a spracúvania vstupov.

Klienti, obchodní partneri alebo verejnosť, ktorých dôvera môže byť ovplyvnená tým, ako organizácia chráni informácie.

Ostatní zamestnanci, ktorí môžu generatívnu AI využívať užitočne, ale potrebujú jasné pravidlá a hranice.

Regulačné a bezpečnostné prostredie, ktoré reaguje na nové formy rizík spojených s používaním generatívnych systémov.

Používatelia generatívnej AI vo všeobecnosti, pretože prípad ukazuje širší problém nevedomého zdieľania citlivého obsahu.

Fakty, hodnoty a domnienky

Fakty

Zamestnanci Samsungu podľa dostupných správ použili ChatGPT pri pracovných úlohách.
Do systému mali vložiť citlivé interné informácie, napríklad zdrojový kód alebo interné poznámky.
Nešlo o klasický hackerský útok ani o úmyselné zverejnenie informácií.
Problém vznikol pri bežnom pracovnom používaní generatívneho AI nástroja.
Firma následne podľa dostupných správ obmedzila alebo zakázala používanie ChatGPT a podobných nástrojov.
Prípad otvoril širšiu otázku, ako majú organizácie nastavovať pravidlá používania generatívnej AI.
Prípad sa stal príkladom rizika, ktoré vzniká pri vkladaní dôverných údajov do externých AI systémov.

Morálne relevantné aspekty

Domnienky a riziká skreslenia

Používateľ môže predpokladať, že chatbot je iba neutrálny nástroj, podobný textovému editoru.
Zamestnanec môže podceniť rozdiel medzi interným firemným prostredím a externou online službou.
Organizácia môže nesprávne predpokladať, že zamestnanci sami intuitívne rozumejú rizikám generatívnej AI.
Verejnosť môže prípad zjednodušiť na osobné zlyhanie zamestnancov, hoci dôležitá je aj zodpovednosť organizácie za pravidlá a školenie.
Firma môže reagovať iba zákazom nástrojov, hoci dlhodobo je potrebná aj kultúra zodpovedného používania.
Používatelia môžu nadhodnotiť užitočnosť AI nástroja a podhodnotiť dôvernosť vstupných dát.
Etický problém môže byť nesprávne zúžený iba na právnu ochranu osobných údajov, hoci ide aj o dôvernosť, rolu a profesionálnu zodpovednosť.

Jadro konfliktu

Jadro konfliktu spočíva v napätí medzi efektivitou práce a ochranou dôverných informácií. Generatívna AI môže byť pre zamestnanca prakticky veľmi užitočná. Dokáže pomôcť s formuláciou textu, sumarizáciou, analýzou, kontrolou kódu alebo hľadaním riešení. Z pohľadu pracovnej efektivity je prirodzené, že zamestnanci skúšajú nástroje, ktoré im pomáhajú pracovať rýchlejšie a kvalitnejšie.

Zároveň však profesionál alebo zamestnanec nekoná iba ako súkromná osoba. Má prístup k informáciám, ktoré mu boli zverené v rámci pracovnej alebo profesijnej roly. S týmto prístupom je spojená povinnosť dôvernosti a opatrnosti. Ak dôverný obsah vloží do externého generatívneho systému, môže tým narušiť hranicu medzi interným pracovným priestorom a vonkajším dátovým prostredím. Aj keď nemá zlý úmysel, môže vytvoriť riziko, že organizácia stratí kontrolu nad informáciami, ktoré mala chrániť.

Prípad preto ukazuje, že etika generatívnej AI sa netýka iba toho, čo AI odpovie. Týka sa aj toho, čo do nej používateľ vkladá. Prompt nie je iba technická otázka. V profesijnom kontexte môže byť prompt nositeľom dôverných údajov, obchodného tajomstva, osobných informácií alebo iných citlivých skutočností.

Normatívne čítanie prípadu

A. Dôsledky

Z hľadiska dôsledkov ide o prípad, v ktorom zdanlivo malé pracovné rozhodnutie môže vytvoriť širšie riziko. Vloženie interného obsahu do externého AI nástroja môže ohroziť dôvernosť informácií, reputáciu organizácie, dôveru klientov alebo bezpečnosť technických riešení. Zároveň môže príliš prísny zákaz AI nástrojov obmedziť užitočné inovácie a brániť zamestnancom využívať nástroje, ktoré môžu zlepšiť ich prácu.

Konzekvencialistická perspektíva preto obracia pozornosť na otázku primeraného nastavenia pravidiel. Cieľom je znížiť riziko úniku alebo straty kontroly nad údajmi a zároveň neznemožniť zodpovedné a bezpečné používanie generatívnej AI tam, kde môže byť pre prácu užitočná.

B. Povinnosti a normy

Z hľadiska povinností sa stretáva povinnosť pracovať efektívne a odborne s povinnosťou chrániť dôverné informácie. Zamestnanec môže mať legitímny záujem využiť nástroj, ktorý mu pomôže pri riešení pracovnej úlohy. Zároveň však nesie povinnosť nerozširovať interné informácie mimo povoleného prostredia. Organizácia má povinnosť vytvoriť jasné pravidlá, ktoré zamestnancom vysvetlia, aký obsah možno a nemožno vkladať do generatívnych AI nástrojov.

C. Práva a férovosť

Z hľadiska práv a férovosti ide o otázku, kto má kontrolu nad informáciami, ktoré vznikajú v pracovnom alebo profesijnom prostredí. Organizácia má oprávnený nárok na ochranu obchodného tajomstva, technických riešení a interných dokumentov. Klienti, partneri alebo iné dotknuté osoby môžu mať oprávnené očakávanie, že informácie, ktoré organizácii zverili, nebudú bez primeranej kontroly vkladané do externých systémov. Férovosť sa týka aj zamestnancov: nemožno od nich očakávať zodpovedné používanie AI, ak im organizácia neposkytla jasné pravidlá, školenie a bezpečné alternatívy.

D. Kontext a vzťahy

Prípad treba chápať v kontexte rýchleho nástupu generatívnej AI do pracovného prostredia. Zamestnanci často začali tieto nástroje používať skôr, než organizácie stihli pripraviť pravidlá, školenia alebo technické riešenia. Kontext ukazuje, že etické zlyhanie nemusí mať podobu úmyselného porušenia dôvernosti. Môže vzniknúť aj z nejasného prostredia, z nedostatočnej komunikácie a z nesprávneho pochopenia toho, čo znamená zadať citlivý obsah do generatívneho systému. Dôležitý je aj vzťah medzi zamestnancom a organizáciou: zamestnanec má konať zodpovedne, ale organizácia musí vytvoriť podmienky, v ktorých je zodpovedné konanie možné.

E. Zodpovednosť

Zodpovednosť nemožno zúžiť iba na jednotlivého zamestnanca. Ten nesie zodpovednosť za to, aké informácie do externého nástroja vkladá. Zodpovednosť však nesie aj organizácia, ktorá má predvídať nové technologické riziká, vytvoriť pravidlá používania AI, poskytnúť bezpečné nástroje a zabezpečiť školenie. Svoju časť zodpovednosti majú aj poskytovatelia AI systémov, ktorí by mali transparentne komunikovať, ako sa so vstupmi používateľov narába. Prípad Samsung preto ukazuje, že ochrana údajov pri generatívnej AI je rozdelenou zodpovednosťou medzi používateľa, organizáciu a technologickú platformu.

Metodologické čítanie prípadu

Tento prípad je vhodný, pretože umožňuje pracovať s viacerými metodologickými prístupmi. Pri teoreticko-deduktívnom prístupe možno vychádzať z povinnosti chrániť dôverné pracovné informácie a skúmať, čo z tejto povinnosti vyplýva pri používaní externých AI nástrojov. Pri princípovo orientovanom prístupe možno analyzovať dôvernosť, zodpovednosť, transparentnosť, bezpečnosť a primeranosť používania generatívnej AI v pracovnom prostredí. Pri kazuisticko-prípadovom prístupe možno prípad porovnať so situáciami, v ktorých pracovník neúmyselne prenesie citlivý obsah mimo chráneného prostredia, napríklad cez súkromný e-mail, neodsúhlasenú cloudovú službu alebo verejný online prekladač. Kontextuálno-interpretatívny prístup umožňuje skúmať, prečo zamestnanec mohol vnímať ChatGPT ako bežnú pracovnú pomôcku a prečo si nemusel uvedomiť, že dôverný obsah zadáva do externého systému. Integratívny prístup napokon umožňuje spojiť ochranu údajov, pracovnú efektivitu, profesijnú zodpovednosť, pravidlá organizácie a školenie používateľov do jedného obhájiteľného etického posúdenia.

Otázky na diskusiu

V čom presne spočíva morálne jadro prípadu Samsung?
Je tento prípad viac problémom ochrany údajov, profesijnej zodpovednosti alebo nedostatočných pravidiel organizácie?
Aký je rozdiel medzi použitím AI nástroja na súkromný text a použitím AI nástroja na pracovný dokument?
Prečo môže byť prompt v profesijnom kontexte eticky citlivý?
Aké typy informácií by zamestnanec nemal vkladať do verejne dostupného generatívneho AI nástroja?
Kde sa končí zodpovednosť jednotlivého zamestnanca a kde sa začína zodpovednosť organizácie?
Je úplný zákaz generatívnej AI v organizácii primerané riešenie?
Aké pravidlá by mala organizácia vytvoriť, aby zamestnanci mohli používať AI bezpečne a zodpovedne?
Ako sa mení problém dôvernosti vtedy, keď AI nástroj pôsobí ako bežný pomocník pri písaní alebo programovaní?
Ako by sa podobný problém mohol objaviť v škole, nemocnici, sociálnej práci, verejnej správe alebo advokácii?
Má používateľ povinnosť rozumieť technickému fungovaniu nástroja, ktorý používa pri práci s dôvernými údajmi?
Ako možno odlíšiť zodpovedné používanie generatívnej AI od pohodlného, ale rizikového prenášania práce na externý systém?

Krátka úloha pre študenta

Predstavte si, že pracujete v škole, nemocnici, firme alebo verejnej inštitúcii. Máte napísať citlivú odpoveď, správu alebo odborné stanovisko a chcete si pomôcť generatívnym AI nástrojom. Vyberte, čo podľa vás najlepšie vystihuje hlavné riziko takejto situácie: používateľ môže do systému nevedomky vložiť dôverné údaje organizácia nemá jasné pravidlá používania AI AI nástroj pôsobí ako bezpečný pomocník, hoci pracuje mimo pôvodného dôverného prostredia snaha o efektivitu môže oslabiť profesijnú zodpovednosť používateľ nevie, ako sa s vloženým obsahom ďalej narába

Zdroj

Prípadová štúdia vychádza z medializovaných správ o používaní ChatGPT zamestnancami spoločnosti Samsung a zo záznamu v AI Incident Database.

Základný zdroj: AI Incident Database. Incident 768: ChatGPT Reportedly Implicated in Samsung Data Leak of Source Code and Meeting Notes. Doplnkový zdroj: Forbes. Samsung Bans ChatGPT Among Employees After Sensitive Code Leak. Voliteľný doplnkový zdroj k širšiemu problému generatívnej AI a súkromia: OpenAI. March 20 ChatGPT outage: Here's what happened.