Genealogia rozwiązana

Genbaza – https://metryki.genbaza.pl pozwala mi i żonie sprawdzić dzieje przodków i dokopać się kolejne pokolenia wstecz.

Największy problem z Genbazą jest taki, że dane są otwarte, ale nie są dostępne; tzn nie możemy ich łatwo przeszukiwać pełnym tekstem. Ten fenomen dostępnych, ale nie-dostępnych danych jest bardzo popularny we wszystkich rodzajach danych publicznych, otwartych. Urzędy, zwłaszcza parę lat temu, udostępniały dane, ale były to PDFy w formie skanu. Spotkałem się z tym po raz pierwszy projektując Transporteusza.

Obecnie ten problem może zostać rozwiązany przez LLM czytające dane z obrazków. Próbując odczytać dane z Genbazy, po trzech plikach przesłanych do Gemini zdałem sobie sprawę, że w zasadzie powinniśmy przetworzyć wszystko, nawet w niedokładny sposób. Wziąć wszystkie niemieckie księgi z Quaschin, rosyjskie ze Szczeglic i strona po stronie przetrawić przy pomocy LLM. Takie dane następnie można ustrukturyzować jako JSON.

Kto za to zapłaci? Prawdopodobnie nikt, bo jeśli wszystko pójdzie zgodnie z planem, AI zje każdy skrawek obrazka, jaki stanie jej na drodze: moja predykcja tutaj: https://www.becomeforecaster.com/u/skorytnicki/a5d2e70a-ec60-46ab-a61a-0f774ef3f06d . Ciekawe, czy moglibyśmy to samo osiągnąć, gdyby to użytkownik mógł podać na Genbazie swój klucz API i odczytać stronę raz i na zawsze dla każdego kolejnego odwiedzającego. Ta piękna crowdsourcingowa koncepcja dała początek systemowi CAPTCHA (Luis von Ahn). Tam odczytywanie starych książek miało pomóc w ich digitalizacji. Obecnie możemy zapłacić maszynie, by wykonała tę pracę, redukując się tylko do dysponenta jej uwagi.

Jeśli odczytanie jednego obrazka kosztuje centa, to 10 milionów dokumentów na Genbazie kosztuje nas 100 000 USD. Sto tysięcy dolarów brzmi jak dużo, ale łatwiej to ująć w kawalerkach; rozwiązanie polskiej genealogii kosztuje nas obecnie mniej niż jedną kawalerkę w Gdańsku, może ćwierć do pół miliona złotych i trochę cierpliwości. Polacy lekką ręką wydają więcej na puste mieszkanie na Costa del Sol, na samochód i inne zbytki.