200 tys. zł za raport o "Marce Polska". Sebastian Meitz pyta: napisała go AI?

Czy „Markę Polska” ma nam wygenerować sztuczna inteligencja? Czy Ministerstwo Sportu i Turystyki zapłaciło 200 tys. zł w ramach zadania publicznego za raport wygenerowany przez AI?

Struktura - przypisy

Jak na profesjonalny raport pisany przez naukowca wraz z zespołem dokument ma dość osobliwą strukturę. Najciekawsze natomiast są przypisy.

Czy Państwo też numerujecie w swoich pracach przypisy 1, 2, 3, 41, 517, 6, 7 (pusty), 8 (pusty), 9 (pusty), 105, 116, 127, 138, 149, 1510, 1611, 1712, 18 (pusty), 19 (pusty), 2013…

Nie? Dziwne.

Struktura - bibliografia

Wydawałoby się, że w takim raporcie bibliografia jest dość istotnym elementem. Wklejam poniżej całość. Pozycje są wymienione i zacytowane w sposób co najmniej osobliwy, a przy wielu widnieje, nie wiedzieć dlaczego, anglojęzyczny skrót (n.d.) oznaczający brak daty.

Przypadek? Na pewno.

Metodologia - pojawiające się i znikające wywiady

Raport na pierwszej stronie przywołuje metodykę (zdjęcie poniżej): 24 IDI + 35 FGI + 7 warsztatów Design Thinking w 7 różnych miastach Polski.

Liczby dotyczące FGI i warsztatów następnie się w magiczny sposób transformują.

Na stronie 6 zamiast 35 FGI mamy 35 uczestników / po około 9 w grupie, co daje nam z grubsza 4 grupy fokusowe (FGI). Różnica między 35 a 4 jest dość istotna, ale o to zapytajcie Państwo specjalistów od badań jakościowych.

Jeszcze ciekawiej jest z warsztatami Design Thinking. Z siedmiu warsztatów w siedmiu miastach wchodzimy na stronie 7 do pięciu miast (Olsztyn, Wrocław, Kraków, Warszawa, Gdańsk), aby następnie na stronie 24, w części “Badania”, dojść do… warsztatów Design Thinking w trzech miastach.

Dziwne, prawda?

Metodologia - reaktywacja Polskich Nagrań

W opisie metodologii badania jest jeszcze jedna imponująca i bardzo ciekawa liczba “180+ godzin nagrań”, która pojawia się już na pierwszej stronie.

Policzmy zatem wspólnie:

• 24 IDI po średnio 75 minut każdy (str. 6) = 30 godzin
• Ok. 4 FGI po 3 zamiast 2 godzin (str. 6) = 12 godzin

To daje łącznie około 42 godziny. Do zadeklarowanych “180+ godzin nagrań” brakuje nam zatem co najmniej 138 godzin, których pochodzenia raport nie wyjaśnia.

Gdyby pozostałe 138 godzin pochodziło z warsztatów Design Thinking, których - jeśli pamiętacie Państwo - było 7. Lub 5. Lub 3. W zależności od strony raportu, to daje to średnio:

• 20 godzin nagrań per warsztat przy siedmiu
• 28 godzin nagrań per warsztat przy pięciu
• 46 godzin nagrań per warsztat przy trzech

Być może istnieje jakieś wyjaśnienie tej matematyki, w raporcie go jednak nie znalazłem.

Niemniej jednak się domyślam.

Geografia - czyli gdzie leżą Katowice

A propos miast jest też ciekawy chochlik lub też, jakby to powiedział ktoś złośliwy, klasyczna halucynacja AI.

Przy opisie badań FGI miasta opisane są w następujący sposób (zdjęcie poniżej):

• Olsztyn - północny wschód
• Szczecin - zachód
• Katowice - północne centrum (!)
• Wrocław - północny zachód

Trudno mi powiedzieć, jaki punkt był punktem odniesienia, natomiast raczej nie była nim mapa Polski.

Dane a źródła

Równie ciekawie jest, jeśli spojrzymy na dane przywołane w raporcie i porównamy je z tak precyzyjnie, jak wskazałem powyżej, przywołanymi źródłami. Zadanie nie jest proste, ale pokażę Państwu dwa przykłady.

Strona 4 - PKB per capita według danych Banku Światowego - w raporcie zmiana z 12,5 do 17-18 tys. USD w 2024 roku.

Prawdziwe dane z bazy danych Banku Światowego na wykresie poniżej - w 2024 roku było to 25,1 tys. USD.

Osobliwa i dość duża różnica.

Strona 14 - “W rankingu ‘Doing Business’ Światowego Banku, Polska zawsze zajmuje GORSZE pozycje niż jej poziom rozwoju gospodarczego by sugerował - wskazując na STRUKTURALNE PROBLEMY SYSTEMOWE” (literalny cytat - pominę milczeniem składnię).

Szkoda, że ostatnia edycja raportu Doing Business została opublikowana jako „Doing Business 2020”, a jednocześnie, z uwagi na nieprawidłowości dotyczące danych w raportach za 2018 i 2020 rok, w 2021 roku Bank Światowy podjął decyzję o zaprzestaniu wydawania tego raportu.

Ale tego typu nieścisłości jest więcej. Naprawdę zachęcam do lektury.

Język - korpo-mowa czy jednak język generowany przez AI

Język - korpo-mowa czy jednak język generowany przez AI

Lektura tego raportu, kilkukrotna, to prawdziwe wyzwanie. Nie dość, że formatowanie tekstu jest kuriozalne (a kilka podobnych raportów czytałem), to użyty język jest idealnie okrągły - piękne słowa, hiperbole, powtórzenia, anglicyzmy.

I słuchając ostatniego występu Pani Minister w telewizji, nawet nie byłbym zdziwiony, gdyby autorzy (czy raczej edytorzy) raportu zostawili pewne ślady.

Na przykład na stronie 18, literalny cytat:

“HIPOTEZA PSYCHOLOGICZNA: To wskazuje na SYNDROM IMPOSTORA na POZIOMIE NARODOWYM - Despite RZECZYWISTYCH OSIĄGNIĘĆ, BRAK WEWNĘTRZNEGO PRZEKONANIA o SWOJEJ WARTOŚCI.”

Czym jest “despite” w języku polskim, nie wiem.

Ale domyślam się, skąd się tu wzięło.

Fakty a prawda

Oczywiście przy tak precyzyjnej bibliografii trudno zweryfikować dokładnie fakty, ale polecam Państwa uwadze stronę 16.

Najpierw języki:

“Młode pokolenie Polaków mówi PŁYNNIE po ANGIELSKU (95%), nierzadko DODATKOWO w NIEMIECKIM, FRANCUSKIM czy MANDARYŃSKIM.”

Tak, dobrze Państwo czytają. Nie dość, że według raportu 95% młodego pokolenia Polaków mówi płynnie po angielsku, to nierzadko dodatkowo po mandaryńsku. Niestety, źródła nie podano, ale znów się domyślam. 🙃

I dalej na tej samej stronie - być może będzie to dla Państwa zaskakujące - ale autorzy raportu bez żadnego wyjaśnienia przyjmują liczbę pięciu polskich noblistów

“Polska posiada BOGATĄ tradycję kulturalną na poziomie międzynarodowym:
NAGRODY NOBLA: 5 Polaków (Maria Skłodowska-Curie, Wisława Szymborska, Olga Tokarczuk itp.)”

Tego typu michałków na stronach raportu jest więcej, ale znów - odsyłam do samodzielnej lektury i poszukiwań. To naprawdę fascynujące zajęcie.

AI czy nie AI, oto jest pytanie

Czytając ten raport kilkukrotnie, trudno mi było pozbyć się wrażenia, że nikt poważny, a szczególnie naukowiec z tytułem doktora habilitowanego, nie wygenerowałby dużych części raportu, za który zapłacili podatnicy, w jakimś LLM.

No bo przecież nie. Prawda?

I choć podchodzę z dużą rezerwą do automatycznej analizy tego typu dokumentów pod kątem AI, to zostawiam Państwa z dwoma wynikami na poniższych zrzutach ekranu, po analizie odpowiednio całości i połowy raportu.

Same te wyniki rzecz jasna niczego nie przesądzają, ale w połączeniu z powyższymi punktami stanowią moim zdaniem dobry punkt wyjścia do zadania pytania, o co w tym wszystkim chodzi.

Pytania dotyczące raportu

Mamy panią profesor, w randze Sekretarza Stanu, z funkcją pełnomocnika rządu ds. promocji marki Polska.

Mamy też raport, w którym jest wskazana jako kierownik merytoryczny projektu i autor raportu.

Mamy również 200 000 złotych, jakie Ministerstwo Sportu i Turystyki przekazało Stowarzyszeniu Konferencje i Kongresy w Polsce na realizację zadania publicznego “Marka Polska - podstrategia turystyczna”, dofinansowanego ze środków Ministerstwa Sportu i Turystyki na podstawie umowy nr 2025/0014/1251/UDOT/DT/BP/IS z dnia 5.06.2025 r.

Ja, po lekturze tego raportu, mam też bardzo dużo pytań. A Państwo?

Dziękuję za uwagę.

Polecam się.

Uśmiechniętego dnia!