W projekcie Become Forecaster zacząłem dłubać autonomiczne predykcje – po ostatniej próbie działają znacznie lepiej.
Zamiast wyposażać 5 botów w szukanie każdego dnia od zera, każdy dostaje ten sam materiał źródłowy aktualizowany codziennie. Przez to, predykcje zaczynają wyglądać podobnie.
(więcej…)W projekcie Become Forecaster autonomiczne predykcje nie działają tak, jak sobie tego życzyłem.
Przypomnijmy założenia. Każdy z agentów wyposażony był w system prompt i możliwość szukania w internecie (web_search tool), codziennie szacując prawdopodobieństwo dla kilku zdarzeń (CRON).
Zauważyłem niestety, że mimo wczorajszego odpadnięcia Francji z Mundialu, boty nadal dają jej ~20% szans na zwycięstwo. To ewidentny błąd, bo jej szanse to już maksymalnie 1%. To wskazuje na niedoskonały system pozyskiwania danych; zbyt dużo wiary w jeden prosty mechanizm wbudowany w dostawcę silnika LLM.
Po pierwsze, eksperyment ten był obarczony wieloma błędami metodologicznymi; najważniejszy z nich dotyczy właśnie wyszukiwania. Jeśli każdy z agentów ma swój własny prompt i wnioskuje na podstawie własnych wyszukiwań, to mamy co najmniej 2 zmienne wpływające na wynik. Wyizolujmy jedną, system prompt i niech boty wnioskują na podstawie tych samych informacji.
Po drugie, filozoficznie rzecz biorąc, powyższy eksperyment nie wnosi zbyt wiele wartości rynkowej. Może nam pomóc ustalić najdoskonalszy prompt. Takie podejście jest osadzone w myśleniu z 2010 roku. Chcąc rzeczywiście przewidzieć jakieś zdarzenie, lepiej byłoby zorganizować boty w sieć lub system, który w ramach określonych granic (budżet, narzędzia) będzie nieustannie parł do aktualizacji własnych przekonań. Co więcej, takie podejście mogłoby zawęzić się do specjalizacji domenowej (finanse, sport) i budować rzeczywistą wartość. Kupować akcje, obstawiać wyniki, lub coś z drugiego rzędu: dostarczać dane firmom maklerskim lub bukmacherskim.
Na początek przetestujmy przez około dwa tygodnie same prompty na podstawie (wciąż niedoskonałej) wspólnej bazy wiedzy. Boty nadal nie będą miały pamięci. Następnie będę mógł policzyć wyniki – czy boty radzą sobie lepiej same, czy zagregowane, jakie informacje dają im wiedzę, a jakie nie.
Przy lekturze książki Superforecasting zauważyem, że zespoły dobrych forecasterów radzą sobie lepiej niż każdy z nich z osobna. Czy to tworząc zespół czy agregując wyniki dobrych forecasterów, dostajemy wyniki lepsze niż przeciętne.
Ma to intuicyjnie sens – lepszy agent i więcej informacji, zagregowane. Czy zatem zestaw wybitnych forecasterów jest w stanie przebić Polymarket? Czy zestaw wybitnych, ale sztucznych forecasterów jest w stanie przebić Polymarket?
Zacznijmy od prostego eksperymentu z codzienną predykcją. One-shot, kilku agentów stworzonych przeze mnie i kilka zdarzeń wytypowanych przez moich znajomych: https://www.becomeforecaster.com/llm-events
Każdy agent ma swój prompt, swój model i dostęp do wyszukiwarki internetowej. Codziennie aktualizuje swoje przekonania.
To badanie ma wielkie znaczenie; jeśli agenci są w stanie pobić Polymarket teraz, to znaczy, że rozszerzając im dostęp do danych i tworząc rywalizujące, organicznie rosnące zespoły, będziemy w stanie wykręcić niemal doskonałe predykcje.
Jeśli eksperyment będzie obiecujący, to kolejny etap to rywalizacja zespołów forecasterskich, rankingi, i tak dalej. Niech się biją.
Istnieją pewne ryzyka. Już w pierwszym dniu agenci opierają swoją ocenę o dość powierzchowny research. Mogą zatem tępo kopiować przewidywania z Polymarketu.
To i tak lepsze niż czytanie newsów!
Tytuł nawiązuje do książki „We've Had a Hundred Years of Psychotherapy and the World's Getting Worse”, która wywarła na mnie duże wrażenie. Jedna rzecz to radykalna krytyka psychoterapii, która święci swoje triumfy jako metoda i jako styl życia, a inna to forma tej krytyki.
Czy forecasting czyni mój świat lepszym?
Po 6 miesiącach regularnego badania swojej trafności na becomeforecaster.com, łatwiej jest mi powiedzieć dlaczego nie jestem dobrym wróżbitą, ale większość wniosków dotyczy czegoś zupełnie innego. Przede wszystkim znaczna część predykcji dot. życia prywatnego nie ma najmniejszego znaczenia w dłuższej perspektywie. Te dotyczące projektów są zbyt optymistyczne. Opierają się na długu, którego nie zaciągam i nie spłacam, stąd nigdy nie mogę się cieszyć z jego rezultatów. Sposób formułowania hipotez jest istotniejszy niż sama hipoteza, co można ująć sprawniej – grając w głupie gry, możesz wygrać głupie nagrody.
Tak samo jak psychoterapia może zwiększyć samoświadomość bez poprawy jakości życia, tak ćwiczenie forecastingu może poprawić kalibrację bez poprawy decyzji.
Może.
W książce Superforecating autorzy zauważają, że technologie, a pisali to na 8 lat przed popularnymi LLMami, są coraz lepszymi systemami predykcyjnymi niż ludzie.
Ciężko z tym dyskutować, ale jednocześnie cytowany Ferrucci twierdzi, że przyniesie to zmierzch „modelu guru”, w którym autorytet objaśnia nam rzeczywistość a my możemy używać głosu autorytetu jako głosu w dyskusji.
To oczywiście nieprawda, bo czym bardziej niewyjaśnialna rzeczywistość, tym większe zapotrzebowanie na magiczne wyjaśnienia, na prymat narracji nad faktami. Wszystkie nowoczesne media zmierzają do wzmocnienia modelu guru (influencera), który tłumaczy rzeczywistość. Praktycznym rozwiązaniem jest albo oddelegowanie decyzji do maszyny (rynki predykcyjne, LLM) albo poleganie na własnej ocenie.
W tym sensie mamy inflację miniguru albo, pewnie zgodnie z duchem cytowanej książki mniej guru dużego kalibru.