Błąd automatyzacji | Prompted Psyche

Błąd automatyzacji nie oznacza, że ludzie zawsze ślepo ufają systemom. Chodzi o sytuacje, w których obecność automatycznej rekomendacji zmienia uwagę, osąd albo gotowość do wykrycia błędu. W kontekście AI może pojawiać się wtedy, gdy odpowiedź modelu zaczyna zastępować samodzielne sprawdzanie.

Dlaczego to ważne

Pomaga opisać ryzyko zbyt szybkiego przyjęcia sugestii systemu.
Łączy AI literacy, nadzór ze strony człowieka i calibrated trust.
Pokazuje, że ryzyko wynika nie tylko z systemu, ale także z relacji między osobą, zadaniem i workflow.
Jest szczególnie ważny, gdy odpowiedź AI wpływa na decyzję o większej stawce.

Czego nie upraszczać

Błąd automatyzacji nie wyjaśnia każdego błędnego użycia AI. Nie oznacza też, że każda automatyczna rekomendacja jest problemem. Znaczenie mają kontekst, presja czasu, projekt interfejsu i kompetencje osoby używającej systemu.

Źródła i kontekst

Goddard, K., Roudsari, A., & Wyatt, J. C. (2012). Automation bias: A systematic review of frequency, effect mediators, and mitigators. Journal of the American Medical Informatics Association, 19(1), 121-127. https://doi.org/10.1136/amiajnl-2011-000089
Parasuraman, R., & Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human Factors, 39(2), 230-253. https://doi.org/10.1518/001872097778543886
Skitka, L. J., Mosier, K., & Burdick, M. (1999). Does automation bias decision-making? International Journal of Human-Computer Studies, 51(5), 991-1006. https://doi.org/10.1006/ijhc.1999.0252

Powiązane materiały

Czytaj dalej

ObszarSprawczość i odpowiedzialność
Przewodnik po delegowaniu, nadzorze i odpowiedzialności w systemach wspieranych przez AI.
ArtykułCzy boimy się AI, czy boimy się samych siebie?
Esej o udziale przyczynowym, podmiotowości moralnej, rozproszonej odpowiedzialności i instytucjonalnym użyciu AI jako alibi.
PojęcieSprawczość człowieka
Zdolność do wyboru, działania i ponoszenia odpowiedzialności za decyzje mające konsekwencje.
PojęcieNadzór ze strony człowieka
Kontrola wykonywana przez osobę, która ma informacje, kompetencje, czas i możliwość interwencji.
PraktykaJak użyć AI bez oddawania mu decyzji
Oddziel analizę od osądu i pozostaw widoczną odpowiedzialność za wybór.