W projekcie Become Forecaster zacząłem dłubać autonomiczne predykcje – po ostatniej próbie działają znacznie lepiej.
Zamiast wyposażać 5 botów w szukanie każdego dnia od zera, każdy dostaje ten sam materiał źródłowy aktualizowany codziennie. Przez to, predykcje zaczynają wyglądać podobnie.
(więcej…)W projekcie Become Forecaster autonomiczne predykcje nie działają tak, jak sobie tego życzyłem.
Przypomnijmy założenia. Każdy z agentów wyposażony był w system prompt i możliwość szukania w internecie (web_search tool), codziennie szacując prawdopodobieństwo dla kilku zdarzeń (CRON).
Zauważyłem niestety, że mimo wczorajszego odpadnięcia Francji z Mundialu, boty nadal dają jej ~20% szans na zwycięstwo. To ewidentny błąd, bo jej szanse to już maksymalnie 1%. To wskazuje na niedoskonały system pozyskiwania danych; zbyt dużo wiary w jeden prosty mechanizm wbudowany w dostawcę silnika LLM.
Po pierwsze, eksperyment ten był obarczony wieloma błędami metodologicznymi; najważniejszy z nich dotyczy właśnie wyszukiwania. Jeśli każdy z agentów ma swój własny prompt i wnioskuje na podstawie własnych wyszukiwań, to mamy co najmniej 2 zmienne wpływające na wynik. Wyizolujmy jedną, system prompt i niech boty wnioskują na podstawie tych samych informacji.
Po drugie, filozoficznie rzecz biorąc, powyższy eksperyment nie wnosi zbyt wiele wartości rynkowej. Może nam pomóc ustalić najdoskonalszy prompt. Takie podejście jest osadzone w myśleniu z 2010 roku. Chcąc rzeczywiście przewidzieć jakieś zdarzenie, lepiej byłoby zorganizować boty w sieć lub system, który w ramach określonych granic (budżet, narzędzia) będzie nieustannie parł do aktualizacji własnych przekonań. Co więcej, takie podejście mogłoby zawęzić się do specjalizacji domenowej (finanse, sport) i budować rzeczywistą wartość. Kupować akcje, obstawiać wyniki, lub coś z drugiego rzędu: dostarczać dane firmom maklerskim lub bukmacherskim.
Na początek przetestujmy przez około dwa tygodnie same prompty na podstawie (wciąż niedoskonałej) wspólnej bazy wiedzy. Boty nadal nie będą miały pamięci. Następnie będę mógł policzyć wyniki – czy boty radzą sobie lepiej same, czy zagregowane, jakie informacje dają im wiedzę, a jakie nie.
Damian Murawski, współautor Genbazy odpowiedział na mój wpis na LinkedIn. Miał on dokładnie taki sam przekaz co i poprzedni post na blogu. Oto feedback:
Great point, and I’m glad you noticed GenBaza, because this case sounds simple only until you open the scans. Just keeping the archive alive costs around 70,000 PLN per year. Also, we probably have only around 20% of Polish church and civil records digitized. People have tried OCR here many times. These are not clean PDFs in Arial. It is handwriting, damaged pages, old Polish, Russian, Latin, German, abbreviations, ink and clerks who clearly did not care about future datasets. Even experienced genealogists read the same record differently. So no, AI will not “solve Polish genealogy” for 100k. I wish it would. I would press the button and finally sleep. But AI can be a huge help for indexers: suggesting names, dates, places, record types and uncertainty. To really solve it, add at least one zero to $100k. The hard part is not processing images. The hard part is knowing when the machine is confidently wrong. And yes, this is exactly where AI should go. I think 🙂
Sama prawda – koszt tokenów na pojedynczy idealny run to nie wszystko. Dajmy tych iteracji 10, a i tak to nie wszystko, bo dochodzi koszt operacyjny.
Mi spać nie daje druga myśl z poprzedniego wpisu – jakie tworzymy warunki do zamiany kapitału pieniężnego na kapitał symboliczny? Jak byśmy je opisali?
Idźmy dalej estymacjami Fermiego: dokładając tylko jedno zero otrzymujemy 3 500 000 zł. Ta kwota to dwa duże urządzone domy pod Gdańskiem (nie jedna kawalerka w Gdańsku). 3 500 000 zł to hojny grant NCBR sprzed paru lat albo kilka miesięcy wynagrodzeń piłkarzy Widzewa Łódź. Za kapitał symboliczny nie trzeba tak słono przepłacać1. Kultura to nie gra o sumie zerowej.
Pan Damian w istocie dźwiga na swoich ramionach olbrzymi projekt – wielki szacunek za to!
Przy lekturze książki Superforecasting zauważyem, że zespoły dobrych forecasterów radzą sobie lepiej niż każdy z nich z osobna. Czy to tworząc zespół czy agregując wyniki dobrych forecasterów, dostajemy wyniki lepsze niż przeciętne.
Ma to intuicyjnie sens – lepszy agent i więcej informacji, zagregowane. Czy zatem zestaw wybitnych forecasterów jest w stanie przebić Polymarket? Czy zestaw wybitnych, ale sztucznych forecasterów jest w stanie przebić Polymarket?
Zacznijmy od prostego eksperymentu z codzienną predykcją. One-shot, kilku agentów stworzonych przeze mnie i kilka zdarzeń wytypowanych przez moich znajomych: https://www.becomeforecaster.com/llm-events
Każdy agent ma swój prompt, swój model i dostęp do wyszukiwarki internetowej. Codziennie aktualizuje swoje przekonania.
To badanie ma wielkie znaczenie; jeśli agenci są w stanie pobić Polymarket teraz, to znaczy, że rozszerzając im dostęp do danych i tworząc rywalizujące, organicznie rosnące zespoły, będziemy w stanie wykręcić niemal doskonałe predykcje.
Jeśli eksperyment będzie obiecujący, to kolejny etap to rywalizacja zespołów forecasterskich, rankingi, i tak dalej. Niech się biją.
Istnieją pewne ryzyka. Już w pierwszym dniu agenci opierają swoją ocenę o dość powierzchowny research. Mogą zatem tępo kopiować przewidywania z Polymarketu.
To i tak lepsze niż czytanie newsów!