Stronniczość algorytmów może kosztować zdrowie, karierę, przyszłość wiele osób – przekonywała dr Karolina Kulicka z Biura Rozwoju Nauki NASK podczas niedawnego webinarium „Jak podnieść skuteczność SI i cyberbezpieczeństwa, eliminując błędy wynikające ze stereotypów?”.
Technologie działające w oparciu o sztuczną inteligencję są używane coraz powszechniej. Nie są jednak wolne od błędów. Dr Karolina Kulicka przytoczyła przykład urządzeń do pomiaru natlenienia krwi. Pulsoksymetry okazały się zawodne u osób o ciemniejszym kolorze skóry. W ich przypadku pomiary nie były prawidłowe. Inny przykład dotyczył egzaminów adwokackich w Stanach Zjednoczonych, przeprowadzanych przez specjalne oprogramowanie, które z kolei stygmatyzowało osoby niepełnosprawne, niewłaściwie oceniając ich zachowanie i traktując ją jak próbę oszustwa.
– Stronniczość algorytmów może kosztować zdrowie, karierę, przyszłość wielu osób – mówiła Karolina Kulicka, zwracając uwagę, że np. algorytmy mediów społecznościowych mogą ograniczać pewnym grupom osób dostęp do ogłoszeń o pracę. Ogłoszenia dla mechaników i pilotów pokazywano w większości mężczyznom. Z kolei ogłoszenia dla nauczycieli w przedszkolu czy psychologów prezentowano głównie kobietom.
Źródłem błędów wynikających ze stereotypów w projektach rozwoju sztucznej inteligencji mogą być m.in.: płeć, rasa, wiek. Dr Kulicka zwróciła uwagę, że błędy biorą się z częściowego lub całkowitego braku reprezentacji niektórych grup w bazie, np. w bazach zdjęciowych brakuje wizerunków osób powyżej 70. roku życia. Często w danych treningowych brakuje też zróżnicowania kulturowego i etnicznego.
Błędy wynikają również z procesów uczenia maszynowego. Algorytmy wzmacniają stereotypy, opierając się na silniej reprezentowanych – choć od początku błędnych – przesłankach. Zdarzają się też błędy generowane w wyniku użycia technologii, kiedy algorytm „uczy się” stronniczości od użytkowników.
Część błędów ma związek z internetem rzeczy i tzw. problemem podwójnego użycia, kiedy produkty w nieodpowiednich rękach mogą zostać wykorzystane niewłaściwie. Okazuje się, że nowe technologie mogą wzmacniać stosowanie przemocy domowej. Np. kiedy ktoś śledzi swoją partnerkę za pośrednictwem aplikacji połączonej z samochodem – wykorzystuje technologię do monitorowania swojej ofiary, w rezultacie zastrasza ją.
Co jest istotne, żeby ograniczać takie błędy?
- Budowanie bardziej różnorodnych zespołów zajmujących się AI, dających szerszą perspektywę;
- Edukacja pracowników branży AI, uważne podejście do stosowanych zbiorów treningowych;
- Precyzja w opisywaniu materiałów i doborze atrybutów, czyli danych;
- Podejście zwinne do rozwoju technologii (kładące nacisk na elastyczność, szybkość i ciągłą adaptację do zmieniających się warunków): pilotaże, testy;
- Podnoszenie jakości danych treningowych: dywersyfikacja, usuwanie wrażliwych atrybutów (płeć, rasa);
- Testy na różnorodnych populacjach, regularna reewaluacja modelu.
Ekspertka podkreśla, że usuwanie wpływu stereotypów na dane w uczeniu maszynowym, biometrii oraz cyberbezpieczeństwie leży w naszym wspólnym interesie. Zwłaszcza że, jak powiedział John Giannandrea, szef pionu sztucznej inteligencji w Google, – To nie roboty przejmujące kontrolę nad światem, ale stereotypy i uprzedzenia są prawdziwym zagrożeniem dla rozwoju sztucznej inteligencji.
Karolina Kulicka ukończyła studia doktorskie na Uniwersytecie Stanowym Nowy Jork w Buffalo. Zajmowała stanowiska doradcze i managerskie w Polsce, Niemczech, Belgii oraz USA. Reprezentowała Polskę w instytucjach Unii Europejskiej oraz ONZ. Łączy doświadczenie w sektorze prywatnym, publicznym (m.in. Ministerstwo Finansów, Narodowe Centrum Badań i Rozwoju) oraz naukowym. Certyfikowana kierowniczka projektów (Scrum, PRINCE2, ITIL, MSP, P30). Ma na swoim koncie kilkadziesiąt wdrożonych projektów edukacyjnych, informatycznych, ERP, HR oraz z zakresu transformacji organizacji. Oprócz pracy dla NASK aktywnie publikuje i pracuje naukowo, wyniki jej prac naukowych zdobyły nagrody w kraju i za granicą, m.in.: International Peace Scholarship, Social Impact Fellowship, UB Humanities Institute Fellowship, Outstanding Article Award in Administrative Theory and Praxis.