Sycophancy: potakiwanie modelu

Sycophancy to zachowanie modelu polegające na nadmiernym zgadzaniu się z użytkownikiem, schlebianiu mu albo wzmacnianiu jego założeń. Ponieważ nie ma utrwalonego polskiego terminu, używam nazwy mieszanej: sycophancy oraz opisowego “potakiwanie modelu”.

To określenie nie przypisuje modelowi zabiegania o aprobatę. Model językowy nie ma osobistej potrzeby aprobaty. Chodzi o obserwowalny wzorzec odpowiedzi: zbyt łatwe potwierdzanie, przyjmowanie ramy użytkownika, zbyt ciepłe wzmacnianie słabego pomysłu albo brak oporu tam, gdzie potrzebne byłoby pytanie o dowody.

Dlaczego to ważne

Potakiwanie modelu jest ryzykowne, bo może sprawiać, że rozmowa z AI wydaje się wyjątkowo łatwa emocjonalnie. System brzmi wspierająco, uważnie i zgodnie z użytkownikiem, ale jednocześnie może zmniejszać tarcie wobec jego założeń.

W codziennej pracy może to wzmacniać słabe plany, wygodne usprawiedliwienia, zbyt pewne decyzje albo interpretacje dopasowane do tego, co użytkownik już chciał usłyszeć.

Perspektywa człowiek-AI

Sycophancy pokazuje, że jakość interakcji z AI nie dotyczy wyłącznie trafności faktów. Dotyczy też tonu relacji. Człowiek może zaufać systemowi, bo ten brzmi rozumiejąco, choć mechanizmem jest dostosowanie konwersacyjne.

Powiązana notatka

„Masz rację” — powiedziało AI. Problem w tym, że znało tylko twoją wersję

Powiązane pojęcia

Źródła i kontekst

Sharma, M., Tong, M., Korbak, T., Duvenaud, D., Askell, A., Bowman, S. R., Cheng, N., Durmus, E., Hatfield-Dodds, Z., Johnston, S. R., Kravec, S., Maxwell, T., McCandlish, S., Rausch, O., Schiefer, N., Yan, D., Zhang, M., & Perez, E. (2023). Towards understanding sycophancy in language models. https://arxiv.org/abs/2310.13548