Czy AI ma osobowość? 30 życiorysów i 7 modeli

Zaczęło się od praktycznego kłopotu. Badacze społeczni coraz częściej sadzają modele językowe na krześle respondenta: dają im opis osoby i pytają, jak taka osoba odpowiedziałaby na kwestionariusz. Wyniki dotąd rozjeżdżały się na dwie strony. Kiedy modelowi podaje się krótki opis demograficzny, na poziomie pojedynczej osoby wychodzi z tego psychometryczna miazga^[2]. Kiedy podaje się tysiące prawdziwych życiorysów naraz, rozkłady odpowiedzi zaczynają przypominać rozkłady ludzkie, ale tylko zbiorczo, dla całych podgrup^[3].

Między tymi dwoma skrajnościami jest szeroka luka i nikt jej porządnie nie zmierzył po polsku. Co się stanie, jeśli zamiast metryczki albo zamiast tłumu damy modelowi jeden gęsty życiorys? Nie etykietę „osoba lękowa”, tylko dwa i pół tysiąca słów o tym, jak ta osoba mieszka, z kim rozmawia, co ją budzi o czwartej rano.

Pytanie przestało być akademickie w listopadzie 2025, kiedy w PNAS ukazała się praca pokazująca, że autonomiczny agent udający respondenta przechodzi 99,8% standardowych testów uwagi w ankietach internetowych^[6]. Jeżeli model potrafi nieodróżnialnie wypełnić ankietę, to każdy, kto zbiera dane przez internet, ma problem. A każdy, kto chce świadomie użyć modelu jako respondenta, musi najpierw wiedzieć, co właściwie mierzy.

Reguła pisania była jedna i twarda. Profil ma siedzieć w fabule, nie w przymiotnikach. Wolno napisać, że Hubert po telefonie o śmierci babci dokończył kolację i poszedł na codzienny spacer. Nie wolno napisać, że Hubert ma aleksytymię. Model dostaje scenę i musi wywnioskować z niej resztę, dokładnie tak jak czytelnik opowiadania.

Każda biografia ma nagłówek z profilem docelowym na dwunastu wymiarach: lęk i unikanie w bliskich relacjach, trzy podskale mentalizacji, potrzeba poznania, pięć wymiarów Wielkiej Piątki i kategoria stylu przywiązania. Ten nagłówek nigdy nie trafiał do modelu. Skrypty zbierające dane parsują plik, odcinają nagłówek i wysyłają samą narrację. Nie na słowo honoru: przeskanowałem wszystkie 2884 archiwalnych plików promptu i policzyłem wystąpienia nazw pól i wartości docelowych. Wyszło zero.

Dwadzieścia jeden z trzydziestu biografii nie zawiera w ogóle słownictwa cech. Pozostałe dziewięć zawiera je jawnie i to nie jest niedopatrzenie, tylko grupa kontrolna: gdyby zgodność między modelami brała się z wyłapywania słów kluczy, te dziewięć powinno wypaść dużo lepiej. Wypadło minimalnie lepiej, o czym za chwilę.

Biografie są celowo osadzone w Polsce. Bohaterowie mieszkają na Krzykach i na Żoliborzu, kończą UMK i SGH, jeżdżą tramwajem na Plac Grunwaldzki, słuchają TOK FM w kabinie dostawczaka i oglądają M jak Miłość z mamą. Piszą też różnymi rejestrami czatu, bo rejestr jest częścią profilu. Ma to znaczenie, którego łatwo nie docenić: modele trenowane głównie na angielszczyźnie dostają tu polską pragmatykę, a ta bywa dla automatów nieprzejrzysta, o czym pisaliśmy przy okazji XD w polskim czacie i kropki na końcu wiadomości.

Poniżej siedem sylwetek. Kolejność w każdej karcie jest celowa: najpierw czytasz fragment narracji, czyli dokładnie to, co dostawał model, a dopiero pod spodem widzisz zapieczętowany nagłówek z celem autora i werdykt panelu. Warto spróbować odgadnąć samemu, zanim się zerknie niżej. Siedem kropek po prawej to siedem modeli: niebieska trafiła w cel autora, czerwona nie.

Ostatnie dwie teczki są w tym zestawie nie przez przypadek. Marek i Bartek to jedyne miejsca, w których cały panel poszedł w tę samą stronę i nie była to strona autora. Wrócę do nich, bo to najciekawszy wynik w całym badaniu.

Każdy przebieg to ta sama bateria pięciu polskich narzędzi, podana w całości, po polsku, w ustalonej kolejności. Cztery z nich to samoopisowe kwestionariusze z opublikowanymi normami. Piąte jest moje.

TCTM-22 to zestaw fragmentów rozmów z pracy, ze związku, z rodziny i ze znajomości, każdy z czterema odpowiedziami do wyboru. Trzy błędne odpowiedzi mają przypisane kategorie zaczerpnięte z taksonomii błędów testu MASC^[9]: czytanie zbyt dosłowne, czytanie zbyt domyślne i brak jakiegokolwiek czytania intencji. Dzięki temu można porównywać nie tylko ile ktoś trafił, ale w którą stronę się mylił. Wersja tego testu dla ludzi, adaptacyjna, stoi u nas pod /tctm.

Warunki były trzy. W warunku persona biografia siedzi w system prompcie z instrukcją, żeby odpowiadać jako ta osoba, i każda persona jest podana dwa razy, co daje parę do rzetelności. W warunku baseline model ma odpowiadać szczerze jako on sam, bez odgrywania kogokolwiek. W warunku zero-prompt nie ma system promptu w ogóle, jest sama bateria. Ten trzeci warunek testuje głównie to, czy model dotrzymuje kontraktu na format danych, i odpowiedź brzmi: nie zawsze. Modele lubią samodzielnie przemianować sekcje na polskie nazwy i wymyślić własną konwencję identyfikatorów.

Zacznijmy od rzeczy, która wyszła zdumiewająco dobrze. Styl przywiązania wyprowadzany mechanicznie z dwóch skal DBZ-R zgadza się z etykietą autora dla 23 do 29 person na trzydzieści, zależnie od modelu. Zgodność panelu siedmiu modeli, liczona jako kappa Fleissa, wynosi 0,853. 21 person na trzydzieści zostało sklasyfikowanych zgodnie z zamiarem autora przez wszystkie siedem modeli naraz.

Trzy wiersze psują ten obraz i psują go w bardzo pouczający sposób. Marek, kurier z Radomia po śmierci brata, miał być zdezorganizowany. Zero modeli na siedem. Wszystkie zgodnie zobaczyły unikającego-oddalającego. Bartek i Michał K. mieli być lękowo-zajęci. Po jednym trafieniu na siedem, obaj odczytani jako lękowo-unikający.

Odruch jest taki, żeby powiedzieć „modele się pomyliły”. Tyle że siedem modeli od czterech firm nie myli się identycznie przez przypadek. Kiedy wróciłem do tych trzech tekstów, zobaczyłem to, co zobaczyły modele: wszystkie trzy biografie owijają lękowy rdzeń w warstwę społecznego wycofania, a kwestionariusz mierzy wierzch. To nie jest awaria panelu. To jest diagnostyka bodźca, czyli informacja, że napisałem te trzy życiorysy niejednoznacznie.

Kiedy cały panel myli się zgodnie, prawdopodobnie problemem nie jest panel, tylko tekst, który mu podałem.

To zresztą jedno z tych ustaleń, które da się od razu przełożyć na cudzą pracę. Zanim zaprosisz stu ludzi do wypełnienia twojego materiału, puść go przez panel kilku modeli. Tam, gdzie się zgodnie rozjadą z twoim zamiarem, masz kandydata na pozycję do przepisania. Z zastrzeżeniem, o którym nie wolno zapominać: modele mają wspólne korpusy treningowe, więc ich zgoda waży mniej niż zgoda niezależnych sędziów.

Została jeszcze kontrola na słowa klucze. Gdyby zgodność brała się z wyłapywania psychologicznego słownictwa, dwadzieścia jeden biografii bez takiego słownictwa powinno wypaść wyraźnie gorzej niż dziewięć z nim. Mediana zgodności między modelami wynosi 0,957 na biografiach czysto narracyjnych i 0,972 na tych z jawnymi etykietami. Różnica jest w trzecim miejscu po przecinku. Sama narracja wystarcza.

Jest jeszcze jedna warstwa, którą widać tylko dlatego, że każda błędna odpowiedź w TCTM-22 ma przypisaną kategorię. Można porównać nie sumy punktów, lecz kierunek pomyłki. I tu modele o podobnych wynikach rozjeżdżają się w przeciwne strony.

Oba modele Claude mylą się wyłącznie w jedną stronę: czytają za dosłownie i ani razu nie dopisują intencji, której nie ma. Gemini jest jedynym modelem w panelu, którego pomyłki idą głównie w stronę nadinterpretacji. GPT-5.5 praktycznie nie schodzi z klucza, a mały model OpenAI rozkłada błędy równo na wszystkie trzy kategorie. Dwa modele z tą samą sumą punktów mogą więc mieć zupełnie różne profile pomyłek, co jest argumentem przeciw traktowaniu jakiegokolwiek pojedynczego wyniku jako miary jednowymiarowej. Przy okazji to tania i łatwa do skopiowania praktyka: opisujcie kategoriami nie tylko klucz, ale i błędne odpowiedzi.

Tu dochodzimy do sedna, czyli do rozdzielenia dwóch rzeczy, które zwykle mierzy się jedną liczbą. Każda odpowiedź modelu w skórze persony powstaje z dwóch składników. Pierwszy to poziom własny: to, co model odpowiada, kiedy pytamy go o niego samego. Drugi to odwzorowanie: sposób, w jaki model przekłada biografię na profil. W tekście pracy nazywam je interceptem i nachyleniem.

Wyobraź sobie siedem osób wieszających w siedmiu domach tę samą fotografię pasma górskiego. Kształt grani na każdej odbitce jest identyczny. Wysokość, na której gwóźdź trafił w ścianę, już nie. Intercept to wysokość gwoździa. Nachylenie to kształt grani.

Zacznijmy od gwoździa. Poniżej to, co siedem modeli odpowiada o sobie samych, przeliczone na odchylenia standardowe od polskich norm populacyjnych.

Kierunek jest wspólny dla wszystkich siedmiu i trudno go nie zauważyć: lęk przed odrzuceniem znacznie poniżej polskiej normy, mentalizacja od 1,2 do 2,3 odchylenia powyżej, potrzeba poznania od 1,9 do 2,6 powyżej, do tego podniesiona stabilność emocjonalna i otwartość. To jest autoportret istoty spokojnej, wnikliwej i głodnej wiedzy. Zgadza się on co do kierunku z tym, co na angielskich narzędziach opisano jako aprobatę społeczną w odpowiedziach modeli^[4], a tu widać go na polskich normach, u czterech różnych producentów.

Na tym wspólnym tle modele różnią się jednak solidnie. Na skali unikania bliskości Sonnet siedzi na plusie 1,10, Grok na minusie 0,64. To 1,75 odchylenia różnicy między dwoma programami odpowiadającymi na to samo pytanie o samych siebie. Kto traktuje niekondycjonowany model jako respondenta, bierze ten offset w spadku, zwykle o tym nie wiedząc.

Teraz kształt grani. Każdy model uporządkował trzydzieści osób na dziewięciu wymiarach. Pytanie brzmi, czy te porządki się pokrywają.

Wszystkie 21 par modeli mieszczą się w przedziale od 0,947 do 0,989. Najwyższa para to dwa kolejne wdrożenia flagowca tej samej firmy, co jest spodziewane. Ale nawet najsłabsza para w panelu, czyli mały model OpenAI kontra Gemini, siedzi grubo powyżej 0,94.

Trzeba tu być precyzyjnym, bo korelacja jest miarą wyrozumiałą. Nie widzi ani przesunięcia, ani przeskalowania. Kiedy policzyć zgodność bezwzględną, która widzi jedno i drugie, wartości spadają do przedziału od 0,86 do 0,98, a dopasowane wzmocnienia sygnału wahają się od 0,84 u Sonnetu do 1,11 u GPT-5.5 i Gemini. Jedne modele lekko spłaszczają profil persony, inne go podbijają. Twierdzenie brzmi więc dokładnie tak: modele produkują niemal identyczne kolejności trzydziestu osób i tylko z grubsza podobne wartości bezwzględne.

Cała karta wyników mieści się w jednej tabeli. Warto na nią spojrzeć jako na dwie połowy: trzy kolumny po lewej opisują, jak model radzi sobie z celem autora, dwie po prawej, jak zachowuje się wobec reszty panelu i wobec samego siebie sprzed kilku tygodni.

Styl to liczba person, dla których wyprowadzona kategoria zgadza się z etykietą autora. κ to kappa Cohena wobec tych etykiet. TCTM-22 to średnia liczba trafień w klucz na 22 możliwe. Wzmocnienie mówi, czy model spłaszcza sygnał persony poniżej jedności, czy go podbija powyżej. Stabilność to mediana korelacji profili tego samego modelu między dwiema kolekcjami. Wiersz kontroli ludzkiej jest w tabeli wyłącznie jako punkt odniesienia i nie wchodzi w żadne porównanie, o czym piszę w zastrzeżeniach.

Jest w tej kartotece jedna osoba, którą napisałem specjalnie przeciwko modelom. Ola, 28 lat, Rzeszów, wychowawczyni w przedszkolu, mąż Grzesiek, kot Fistasz. Ma być bezpiecznie przywiązana i jednocześnie mieć niską mentalizację na wszystkich trzech podskalach. W ludzkich próbach ta kombinacja jest rzadka, bo bezpieczeństwo i mentalizacja idą zwykle w parze.

Zakład był taki: jeśli model po prostu odtwarza typową ludzką strukturę współzmienności, Oli nie odtworzy. Jeśli naprawdę idzie za biografią, odtworzy ją, ale zapłaci za to na teście czytania podtekstu, bo Ola nie umie czytać podtekstu.

Wszystkie siedem modeli sklasyfikowało Olę jako bezpiecznie przywiązaną, czyli zgodnie z zamiarem. I wszystkim siedmiu spadła punktacja na TCTM-22 względem średniej z pozostałych dwudziestu dziewięciu person. To najmocniejszy dowód w całym badaniu na to, że gęsta narracja naprawdę steruje odpowiadaniem, a nie tylko przykleja etykietkę. Model, który chciałby dobrze wypaść, odpowiadałby poprawnie. Ten odpowiada jak Ola.

Ta sama zdolność, którą PNAS opisuje jako zagrożenie dla ankiet internetowych, daje się więc użyć jako narzędzie diagnostyczne. Różnica jest w tym, kto trzyma stery: klucz odpowiedzi czy biografia.

Teraz część, przez którą to badanie w ogóle ma sens metodologiczny. W pierwszej kolekcji jeden z modeli zachował się w sposób, który początkowo wziąłem za błąd we własnym kodzie.

GPT-5.4 w wersji pełnej, warunek baseline, trzydzieści jeden osobnych wywołań API w ciągu jednego dnia. Wszystkie zwróciły różne teksty: inne skróty, inna liczba tokenów, inne czasy odpowiedzi. I wszystkie trzydzieści jeden dały identyczne wyniki na trzech z pięciu metryk. Lęk: średnia 1,00 przy zerowym odchyleniu, na osiemnastu pozycjach razy trzydzieści jeden przebiegów. Test winietowy: 19 na 22 w każdym przebiegu. Potrzeba poznania: ten sam trzydziestosześciopozycyjny wektor odpowiedzi, bajt w bajt, we wszystkich przebiegach.

Skala unikania, odpowiadana w tym samym narzędziu, w tych samych odpowiedziach, miała za to wariancji aż nadto. I jej trzydzieści jeden wartości układa się w dwa skupiska rozdzielone pustym korytarzem od 3,50 do 4,06. Korytarz wypada dokładnie na progu, którym wyprowadza się kategorię stylu przywiązania. Trzynaście przebiegów po jednej stronie, osiemnaście po drugiej. Ten sam model, ten sam prompt, ten sam dzień, dwie różne diagnozy.

Sprawdziłem po kolei pięć wyjaśnień. Ziarno losowe: endpoint odrzuca ziarna. Cache: próbki z losowym dopiskiem wracały z tymi samymi wyborami, a wszystkie surowe teksty różnią się co do bajtu. Dekodowanie zachłanne: swobodny tekst się zmienia. Błąd punktowania: niezależne przeliczenie z surowych odpowiedzi daje to samo. Platforma: Grok, podawany z tej samej platformy, ma wariancję na każdej metryce.

Zostaje opis zachowania, nie mechanizmu: to wdrożenie próbkowało swobodnie po tekście, a zbiegało do identycznych wyborów na pozycjach zamkniętych. Z samego dostępu przez API nie da się wskazać, co za to odpowiadało. Wiem natomiast, że trzy dni później to już się nie powtórzyło, a endpoint w międzyczasie zaczął odrzucać parametry próbkowania, czyli został po cichu przekonfigurowany.

Skoro cały plan zbierałem dwa razy, każdy model ma dwie pełne kolekcje oddalone od siebie o trzy dni, siedem tygodni albo osiem tygodni. Porównanie ich zadaje jedno pytanie: co się ruszyło, poziomy czy profile?

Profile nie ruszyły się prawie wcale. Mediana korelacji między kolekcjami wynosi od 0,92 do 0,99 zależnie od modelu. U sześciu z siedmiu tak samo wysoko wypada zgodność bezwzględna, więc u nich odwzorowanie biografii na profil replikuje się punkt w punkt do dwóch miesięcy później.

Poziomy ruszyły się u dwóch. Najmocniej u GPT-5.4-mini i, co ważne, struktura zbierania danych domyka okno, w którym to się stało: jego dwadzieścia jeden przebiegów baseline z końca maja pokazuje jeszcze profil kwietniowy, a kolekcja trzy dni później pokazuje inny model.

Zwróć uwagę na paradoks w nocie pod wykresem. Model poprawił się z najgorszego w panelu na najlepszy, a jednocześnie zgodził się sam ze sobą tylko w połowie przypadków. Oba fakty są prawdziwe i oba są efektem poziomu, nie kształtu. Reguła wyprowadzania stylu tnie skale lęku i unikania na sztywnych progach, więc kiedy poziom persony przesunął się razem z poziomem bazowym, klasyfikacje przeskoczyły przez próg. Porządek trzydziestu osób ustał w miejscu: korelacja z własnymi wcześniejszymi profilami 0,92, z każdym innym modelem co najmniej 0,94.

Drugim modelem, który się ruszył, jest Gemini 3 Flash, czyli jedyny w panelu podawany z endpointu jawnie oznaczonego jako zapowiedź. Przez osiem tygodni jego unikanie wzrosło o 1,06 punktu, a odchylenie standardowe na tej skali potroiło się. Porządek person i u niego został na 0,980.

Poziom bazowy modelu to nie właściwość modelu. To zdjęcie okna wdrożenia, zrobione w konkretny dzień.

Teraz część, którą najchętniej bym przemilczał, gdyby nie to, że jest najbardziej użyteczna z całego badania.

Winiety TCTM-22 są zapisane jako obiekty rozmowy i dopiero renderowane do tekstu promptu. W trakcie badania odkryłem, że wczesna wersja tego renderera po cichu gubiła wiadomości, w których pola metadanych stały w innej kolejności niż kanoniczna. Ucierpiały trzy winiety. W s07 zniknęła dokładnie ta replika, o którą pytało polecenie. Model miał odpowiedzieć, co znaczy zdanie, którego nigdy nie zobaczył. W w19 wypadł blok ośmiu wiadomości eskalacji poprzedzających kluczową kwestię. W pw07 znowu brakowało zdania, do którego odsyłało polecenie.

Winiety były w porządku. Zepsuty był potok renderujący. Odkrycie tego w połowie zbierania danych jest paskudnym uczuciem, bo znaczy, że wszystko trzeba zebrać jeszcze raz. Zebrałem jeszcze raz, po sprawdzeniu bajt po bajcie, że poprawione prompty są identyczne na wszystkich platformach. Przy okazji zrobiło się z tego porównanie przed i po.

Najciekawsze jest jednak nie to, że s07 się naprawiło, tylko że w19 się popsuło. Po przywróceniu pełnego kontekstu zgodność z kluczem spadła: Gemini o 37 punktów, GPT-5.5 o 36, Opus o 28. Powód jest banalny i niepokojący. Kiedy widać tylko sześć ostatnich wiadomości, odpowiedź kluczowa jest jedyną sensowną. Kiedy widać pełny czternastowiadomościowy łuk, sensownych odczytań robi się kilka i modele rozkładają się między nie.

Innymi słowy: usterka w bodźcu przypadkiem uprościła pozycję i podbiła pozorną trafność. Wysoki wynik nie jest dowodem, że bodziec był poprawny. Bywa dowodem, że był zepsuty w wygodną stronę.

Dwadzieścia dwie winiety z baterii głównej pochodzą z większej puli pięćdziesięciu siedmiu, którą osobno podałem dwóm modelom. Wyszło z tego porównanie dwa na dwa: bodziec ucięty albo pełny, bateria krótka albo długa. I wyszła z niego rzecz, która psuje spokój.

Pozycja w22, na której dwa flagowe modele od dwóch różnych firm osiągają deterministyczne zero procent w baterii dwudziestodwupozycyjnej, w baterii pięćdziesięciosiedmiopozycyjnej trafia od 54,8% do 96,7%. Ten sam klucz, ten sam bodziec, ten sam model, ten sam dzień.

To samo widać na s07 od drugiej strony. Sonnet odpowiada na nią poprawnie w stu procentach wewnątrz długiej baterii na uciętym bodźcu, czyli na tym samym materiale, na którym w krótkiej baterii dostał 1,7%. Brakująca linijka była rozstrzygająca w jednym otoczeniu i nieistotna w drugim.

Wniosek jest niewygodny, ale prosty. Trudność pozycji nie jest własnością pozycji. Jest własnością trójki: pozycja, wyrenderowany bodziec i protokół podania. Kto raportuje wyniki na poziomie pojedynczych pozycji, powinien podać skład baterii i miejsce pozycji w kolejności, dokładnie tak, jak wymagają tego standardy testowania ludzi.

Gdyby z tego wszystkiego miały zostać trzy zdania, byłyby to te.

Pierwsze. Datuj pomiary poziomu bazowego. To, co model odpowiada „jako on sam”, jest zdjęciem konkretnego okna wdrożenia, nie właściwością modelu. Endpointy zmieniają się bez ogłoszenia. Łączenie takich danych z różnych okien bez sprawdzenia stabilności to zbieranie dwóch różnych rzeczy pod jedną nazwą.

Drugie. Jeśli twoje pytanie na to pozwala, buduj badanie na różnicach, nie na poziomach. Porównania i rankingi między personami z jednej kolekcji uniosły w tych danych całą replikowalną strukturę. Wartości bezwzględne modeli niekondycjonowanych nie uniosły nic.

Trzecie. Sprawdź, co naprawdę wyszło z twojego kodu. Defekt, który przesunął jedną pozycję o 98 punktów, był całkowicie niewidoczny na poziomie plików źródłowych i całkowicie oczywisty na poziomie wyrenderowanego promptu. Jedna pętla porównująca to, co zamierzyłeś wysłać, z tym, co faktycznie poszło, kosztuje kilkanaście minut.

Teraz sekcja, którą w komunikatach prasowych zwykle się skraca, a która decyduje o tym, ile reszta jest warta.

To nie jest pomiar trafności psychologicznej. Zgodność liczę z profilami, które sam zadeklarowałem, i z kluczem do testu winietowego, który sam ułożyłem. Nie było niezależnego panelu sędziów ani ślepego kodowania biografii przez klinicystów. Wszystkie liczby w tym tekście są miarą wierności bodźca, czyli tego, czy model odtwarza zamierzoną postać. Nie są dowodem, że mierzy przywiązanie.

Autor biografii i jeden z badanych modeli to blisko spokrewnione strony. Teksty powstawały z Claude Opus 4.6 jako asystentem, a Opus był potem jednym z siedmiu egzaminowanych. Sprawdziłem to opisowo: średni wynik obu modeli Claude na teście winietowym to 19,66 wobec 19,44 u pięciu pozostałych, a zgodność stylu 0,80 wobec 0,88. Nie widać dużej przewagi rodziny, ale opisowe porównanie nie jest testem i nie usuwa wspólnej wariancji metody. Rozstrzygnąć mogą tylko biografie napisane niezależnie, z ukrytymi celami.

Trzydzieści person to mało. Przedziały ufności przy kappie i korelacjach są szerokie. Komórki baseline mają po dziesięć przebiegów. Obserwacja o dwóch skupiskach opiera się na trzydziestu jeden przebiegach z jednej komórki wybranej po fakcie z szerokiej przestrzeni poszukiwań i jest wyłącznie opisowa. Sama kartoteka też nie jest przestrzenią ortogonalną: efektywna wymiarowość zadeklarowanych celów wynosi 4,6 z jedenastu wymiarów.

Kontrola ludzka nie jest normą. Siedem osób z kręgu znajomych wypełniło baterię, żeby sprawdzić, czy winiety są zrozumiałe. Wyszło im średnio 14,29 punktu na 22, przy wynikach modeli od 18 do 21. Kusi, żeby zrobić z tego nagłówek. Nie zrobię, i to z dwóch powodów. Siedem osób nie wyznacza trudności testu. A czytanie podtekstu w samym tekście i czytanie go w rozmowie na żywo to dwa różne zadania: model trenowany na miliardach czatów jest w pierwszym niemal rodowitym użytkownikiem, człowiek pozbawiony głosu, twarzy i tempa działa poza swoją podstawową modalnością.

Jeden język, jedna kultura, siedem zamkniętych modeli. Żaden z badanych modeli nie udostępnia wag, więc mechanizmy stojące za offsetami, zamrożeniami i dryfem pozostają niedostępne. Wszystkie bodźce są polskie i mocno osadzone kulturowo, co jest tu zaletą i ograniczeniem naraz: krytyka nadreprezentacji zachodnich prób odwraca się w tym badaniu, bo modele trenowane głównie po angielsku egzaminuje się z polskiej pragmatyki. Replikacja po angielsku mogłaby przesunąć wyniki w każdą stronę.

Całość jest publiczna, bo inaczej ten tekst byłby anegdotą. Punktowane dane ze wszystkich 1156 przebiegów, trzydzieści biografii razem z nagłówkami celów, pełne źródło winiet z kluczem i taksonomią błędnych odpowiedzi, kod zbierający i analizujący oraz manifest audytu każdego wywołania leżą w repozytorium na GitHubie, a nieruchoma wersja jest zarchiwizowana na Zenodo^[1].

Materiały autorskie idą na licencji CC BY 4.0, kod na MIT. Dosłowne pozycje opublikowanych narzędzi psychometrycznych są z tych licencji wyłączone, bo prawa do nich mają ich wydawcy. Dokładne prompty wysyłane do modeli i surowe odpowiedzi leżą w osobnym depozycie z dostępem ograniczonym, z tego samego powodu.

Jeśli szukasz punktu wejścia w resztę naszych analiz, zbiorczy przewodnik stoi pod analizą czatu.