Dlaczego firmy AI niszczą masowo książki?

Weryfikacje pierwszych sensacyjnych doniesieniach na ten temat nie potwierdzały najbardziej ekstremalnej wersji, rozpowszechnianej w mediach tradycyjnych i społecznościowych, o niszczeniu „starych cennych wydań”. Wielka część z tego co szło na przemiał po skanowaniu, to wydawnictwa, które prawdopodobnie, po odleżeniu w antykwariatach czy magazynach jeszcze kilku lat, i tak poszłyby na makulaturę.

Niektórzy zauważają, że ta gorączka zakupowa wynika z pośpiechu firm budujących modele AI, które starają się zachować wiedzę stworzoną przez ludzi, zanim zostanie rozmyta przez tekst generowany przez sztuczną inteligencję, często nazywany „szlam AI”. 

Kto stoi za masowym skupem starych książek?

Pierwszy o tej sprawie informował serwis 404 Media. Według jego doniesień, firmy zajmujące się rozwojem sztucznej inteligencji korzystają z pośredników, by anonimowo nabywać książki na skalę hurtową. Firmy pośredniczące obiecywały poufność klientom, co odzwierciedla delikatny charakter tej praktyki.

Gwałtowny wzrost popytu już teraz zmienia oblicze rynku książek używanych. Jeden z anonimowych sprzedawców książek powiedział serwisowi 404 Media, że tygodniowa sprzedaż wzrosła z około 20 książek do kilkuset po wejściu na rynek nabywców z branży AI. 

"Projekt skupiający się na gromadzeniu książek"

„Daily Telegraph” opisywał historię holenderskiego antykwariusza. Wcześniej, w typowym dniu realizował jedną transakcję sprzedaży książek. Ruch w sklepie nigdy nie wykraczał poza sporadyczne odwiedziny. Od czasu do czasu dzwonił telefon. Dlatego e-mail, który otrzymał w połowie czerwca, zawierający listę około trzech tysięcy tytułów, był niezwykły. Nadawczyni przedstawiła się jako „Nataly” z firmy o nazwie 2077AI. „Biorę udział w nowym projekcie skupiającym się na gromadzeniu książek w wielu językach, obecnie głównie w języku angielskim,” pisała Nataly. „Zebraliśmy bardzo obszerną listę wydań, które obecnie staramy się pozyskać (lista znajduje się w załączniku), i planujemy złożyć dość duże zamówienie”.

Nie było to oszustwo, jak myślał na początku księgarz, który wkrótce odkrył, że był tylko jednym z setek handlarzy starymi książkami na całym świecie, do których w tym roku zwróciły się firmy wykupujące światowe zapasy książek z drugiej ręki w imieniu kalifornijskich gigantów technologicznych.

Czy niszczone są rzadkie, cenne książki?

Według serwisu 404 Media jedna z takich pośredniczących firm, o nazwie ISBNdb oferowała możliwość zamówienia nawet miliona książek jednocześnie, w tym rzadkich egzemplarzy, których zachowało się zaledwie kilka. Wzbudziło to falę oburzonych komentarzy. Jak ujął to w tym tygodniu jeden z użytkowników serwisu X

„Książki, które przetrwały wojny, pożary i wieki użytkowania, są niszczone, aby sztuczna inteligencja mogła nauczyć się pisać lepsze e-maile marketingowe”.

Elon Musk również wyraził swoje zaniepokojenie.

„Poprosiłem zespół SpaceX zajmujący się sztuczną inteligencją, aby zachował wszelkie rzadkie książki w bibliotece i zeskanował je w tradycyjny sposób, zamiast po prostu odcinać grzbiet i skanować,” - napisał w poście na X.

Przeanalizowana przez niektóre media dokumentacja nie wskazuje jednak żadnego tytułu o cennym i rzadkim charakterze, który firma zajmująca się sztuczną inteligencją nabyła i zniszczyła. Nie ma, poza obawami, żadnych konkretnych dowodów, że wycofywane są w ten sposób z obiegu ostatnie dostępne egzemplarze dzieł.

Na czym polegał „Projekt Panama”?

Źródeł projektu czytania książek przez AI po zeskanowaniu i niszczenia ich potem szuka się w wydarzeniach sprzed dwóch lat. W lutym 2024 roku firma Anthropic, twórca Claude’a, jednego z najbardziej zaawansowanych chatbotów opartych na sztucznej inteligencji na świecie, zatrudniła Toma Turveya, byłego dyrektora wykonawczego Google Books, stawiając mu cel, który brzmi nieco szokująco: zdobyć „wszystkie książki świata”. Celem Anthropic, który nazwał to przedsięwzięcie „Projektem Panama”, było poszerzenie wiedzy swojego modelu sztucznej inteligencji a treść „wszystkich książek świata” miała być sposobem zaspokojenia nienasyconego apetytu AI na dane.

Turveya poproszono go o pozyskanie światowych zasobów starych książek przy jak najmniejszym „obciążeniu prawnym, praktycznym i biznesowym”. Początkowo Turvey wysyłał do wydawców emaile w sprawie uzyskania licencji na wykorzystanie książek do celów szkolenia sztucznej inteligencji. Szybko jednak zrezygnował z tego podejścia i zamiast tego zwrócił się bezpośrednio do dystrybutorów i sprzedawców książek, chcąc dokonać hurtowych zakupów egzemplarzy papierowych. Anthropic wydała miliony dolarów na masowy skup książek, którym obcinała grzbiety za pomocą hydraulicznej maszyny tnącej, zaś ich strony skanowała na szybkich, wysokiej jakości skanerach klasy przemysłowej, a potem je niszczyła lub wyrzucała.

Książki nie musiały być niszczone, aby skanery mogły je odczytać, ale ich niszczenie stało się argumentem prawnym firmy Anthropic w batalii sądowej.

Dlaczego firmy rozwijające AI nie mają wyjścia i muszą niszczyć książki?

To było właśnie to „obciążenie prawne”, o którym wyżej mowa, czyli roszczenia autorów dzieł wykorzystywanych przez Anthropic do szkolenia jej modeli. Stały się przedmiotem procesu w Kalifornii i precedensowego orzeczenia sędziego w sprawie mającej wyjaśnić, czy firma Anthropic była winna pieniądze autorom, których książki wykorzystała do szkolenia swoich modeli. Sąd orzekł, że pozbawianie książek treści poprzez skanowanie cyfrowe, a następnie całkowite ich niszczenie, nie stanowiło naruszenia praw autorskich, ponieważ wersja cyfrowa „zastąpiła” wersję fizyczną. Sąd uznał to za akt „przekształcenia”, a nie powielenia, a zatem nie było to sprzeczne z prawem autorskim i stanowi dozwolony użytek.

Sędziowie federalni w USA wydali później podobne orzeczenia dotyczące dozwolonego użycia w odrębnych sprawach o naruszenie praw autorskich z udziałem OpenAI i Meta.

Osobna ugoda w wysokości 1,5 miliarda dolarów dotyczyła pirackich książek cyfrowych, a nie zakupionych i zeskanowanych egzemplarzy.

Czy istnieją technologie skanowania książek bez ich niszczenia?

Pomijając kwestie prawne, technologie pozwalające na skanowanie zawartości książek czy zwojów bez ich otwierania i niszczenia (w niektórych przypadkach to to samo) są już dostępne.

Już w 2016 r. w mediach pojawiły się doniesienia, że wykorzystując technologię podobną do prześwietleń rentgenowskich, ale opartą na falach terahercowych, naukowcy z MIT potrafią odczytywać treść zamkniętych książek, rozpoznając litery wydrukowane na stosach papieru.

Wirtualne rozwijanie

Kolejne rozwiązanie czytające bez otwierania, a raczej rozwijania to tzw. „wirtualne rozwijanie”. Chodzi o nieniszczącą metodę rozwijania i odczytywania uszkodzonych lub delikatnych zwojów. W przeciwieństwie do fizycznego rozwijania (które często niszczy takie zwoje), wirtualne rozwijanie rozpoczyna się od trójwymiarowego skanowania rentgenowskiego w tomografie, a uzyskany obraz jest następnie rozwijany za pomocą algorytmu i przetwarzany przy użyciu metod nauki maszynowej. Wirtualne rozwijanie zastosowano w przypadku spalonego zwoju z En-Gedi z Izraela, uszkodzonych przez wodę zwojów z Bressingham oraz spalonych zwojów z Diss Heywood z Anglii, mongolskiego zwoju buddyjskiego znalezionego wewnątrz posągu oraz bambusowych zwojów z Chin. Wirtualne rozwijanie jest popularyzowane w ramach Vesuvius Challenge, konkursu mającego na celu rozszyfrowanie zwojów z Herkulanum, o czym pisaliśmy niedawno w Tysol.pl.

Pomysłem nie wykorzystującym prześwietlania, ale również takim, któremu również przyświeca idea nieniszczenia książek przy tworzeniu skanów, jest projekt Google, Linear Book Scanner – do książek z funkcją przewracania stron.

Przykłady nowych rozwiązań pokazują, że nie ma technologicznych powodów do niszczenia książek przy skanowaniu. Jednak nie o technologię, jak widać chodzi.

FAQ: Dlaczego firmy AI niszczy książki?

1. Dlaczego stare książki kupowane na potrzeby szkolenia AI były niszczone? Nie ze względów technicznych ani z „barbarzyństwa", lecz z powodów prawnych. Firmy AI, przede wszystkim Anthropic, skanowały zakupione egzemplarze, a następnie fizycznie je niszczyły, bo w toczącym się w Kalifornii procesie sądowym takie działanie – zastąpienie wersji fizycznej cyfrową – uznano za „przekształcenie" (transformative use), a nie powielanie utworu, co pozwoliło uniknąć zarzutu naruszenia praw autorskich.
2. Czy niszczone były cenne, rzadkie wydania („białe kruki")? Pojawiły się takie obawy, zwłaszcza po doniesieniach o firmie ISBNdb oferującej hurtowe zamówienia nawet miliona książek, w tym rzadkich egzemplarzy. Elon Musk publicznie zaapelował, by zespół SpaceX zajmujący się AI zachowywał rzadkie książki i skanował je bez cięcia grzbietów. Jednak analiza dostępnej dokumentacji sądowej nie wykazała konkretnego tytułu o dużej wartości antykwarycznej, który zostałby w ten sposób zniszczony – są to na razie obawy, a nie potwierdzone przypadki.
3. Czym był tzw. „Projekt Panama"? To wewnętrzne przedsięwzięcie Anthropic (twórcy Claude'a), które w lutym 2024 roku zatrudniło byłego dyrektora Google Books, Toma Turveya, z zadaniem zdobycia „wszystkich książek świata" na potrzeby szkolenia modeli AI. Po nieudanej próbie uzyskania licencji od wydawców firma przeszła do hurtowych zakupów egzemplarzy papierowych od dystrybutorów i sprzedawców, które następnie cięto i skanowano.
4. Dlaczego firmom AI zależy akurat na starych, drukowanych książkach? Twórcom modeli językowych brakuje świeżych danych tworzonych przez ludzi. Starsze książki są cenione jako materiał wolny od tzw. „szlamu AI" (AI slop) – tekstu wygenerowanego przez sztuczną inteligencję, który zaczyna zanieczyszczać internet i obniżać jakość danych treningowych.
5. Czy prawo autorskie traktuje inaczej rzadkie i pospolite wydania książek? Nie. Jak wskazuje artykuł, prawo autorskie „traktuje je wszystkie jako kopie" – niezależnie od tego, czy dany tytuł wydrukowano w milionach egzemplarzy, czy zaledwie w pięciu. To jedna z przyczyn społecznego niepokoju wobec masowego niszczenia książek na potrzeby AI.

Źródła

• https://www.404media.co/ai-companies-are-buying-tons-of-old-books-because-theyre-free-of-ai-slop/
• https://www.cbsnews.com/news/new-tech-could-read-books-without-opening-them/
• https://www.nature.com/articles/ncomms12665
• http://rfbaumann.com/papers/Israel-EDUCE.pdf
• https://www.sciencedirect.com/science/article/pii/S0143816621003936?via%3Dihub
• https://linearbookscanner.org/

[Autor, Mirosław Usidus jest popularyzotorem nauki i byłym redaktorem naczelnym Młodego Technika]

[Tytuł, lead, sekcje "Co musisz wiedzieć", "Dlaczego to historyczny moment i niektóre śródtytuły od Redakcji]

Dlaczego ta sprawa jest ważna?

• pokazuje, jak AI zmienia rynek wydawniczy;
• może wpłynąć na przyszłość prawa autorskiego;
• dotyczy wszystkich twórców publikujących książki;
• może zmienić sposób trenowania modeli AI.