Mówimy „sprawdzam” Duolingo

Żeby sprawdzić czy Duolingo działa, ustalmy, jak chcemy to sprawdzić.

Wiadro pomyj wyleje się na mnie, ale najlepszym proxy dla mierzenia znajomości języka jest zasób biernego słownictwa, najlepiej rozumianego ze słuchu. To test bardzo szybki, tani, który mogę wielokrotnie powtarzać. Nie wymaga żadnej żmudnej analizy ani tworzenia testu. Nie musi być multimodalny – można go zrobić w trakcie rozmowy 1:1 lub quizem online. Ile spośród 10 czy 20 zdań lub słów rozumiesz? Powinny być rozłożone dość równomiernie poziomami, zaczynając od prostego powitania i pytania o kolor, a kończąc na złożonym zdaniu warunkowym. Precyzyjne? Nie, ale szybkie i tanie.

Podobnie testuje to La Mancha, aczkolwiek sprawdza to testem bardziej aktywnym.

Przy użyciu LLM możemy wygenerować taki zestaw dla dowolnego języka:

Test pasywnego słownictwa / rozumienia

Instrukcja dla badanego:
Przeczytaj lub, jeszcze lepiej, odsłuchaj każde zdanie. Zaznacz:

• 2 — rozumiem bez problemu
• 1 — rozumiem mniej więcej / domyślam się
• 0 — nie rozumiem

Nie korzystaj ze słownika ani tłumacza.

Poziom 1–4: absolutne podstawy

1. Hello! How are you?
2. What color is your car?
3. I have two brothers and one sister.
4. Yesterday I went to the shop and bought some bread.

Poziom 5–8: podstawowa komunikacja

5. Can you tell me where the nearest train station is?
6. I don’t usually drink coffee in the evening because it keeps me awake.
7. She has been living in London since she finished university.
8. If you need anything, just give me a call.

Poziom 9–12: swobodna znajomość języka

9. I was going to call you yesterday, but I completely forgot about it.
10. Although the weather wasn’t particularly good, we decided to go for a walk.
11. He seems to have changed his mind about moving abroad.
12. By the time we arrived, they had already eaten dinner and left.

Poziom 13–16: zaawansowane rozumienie

13. The problem is that people tend to underestimate how long it takes to develop a new habit.
14. I wouldn’t necessarily say that the decision was wrong, but it could certainly have been better thought through.
15. Had I known how complicated the situation would become, I probably wouldn’t have agreed to take responsibility for it.
16. What surprised me most was not that he refused the offer, but that he did so without even asking what it involved.

Poziom 17–20: bardzo zaawansowane

17. The extent to which people are willing to compromise largely depends on what they believe they stand to gain in return.
18. Much as I understand your point, I don’t think it necessarily follows that the proposed solution would address the underlying problem.
19. Had the company anticipated the extent of the downturn, it might have avoided making several investments that subsequently proved difficult to justify.
20. If we had been aware at the time of what we now know about the consequences of that decision, there is little doubt that we would have approached the entire matter quite differently.

Nawet jeśli rozumiem zdanie 19 i 20, byłbym w stanie stworzyć je na piśmie, nie jestem na poziomie C2 – nie mam odpowiedniego zasobu słownictwa i kaleczę gramatykę. Ale wiem, że jestem kompletnie sprawny zawodowo i nie boję się angielskiego, a o to w tym teście chodzi.

No bo jakie mamy alternatywy? Nie każdy ma czas na podchodzenie do wielogodzinnych testów. Test aktywny nie byłby taki zły, o ile nie staje się testem na inteligencję. Taki test chciałbym powtarzać wielokrotnie i dać wam również prostą możliwość przetestowania siebie w waszych językach.

W przypadku Duolingo, chciałem odizolować też efekt znajomości innych języków. Jakkolwiek nigdy nie uczyłem się portugalskiego albo holenderskiego, byłbym w stanie pasywnie zrozumieć zbyt dużo słów poprzez hiszpański i angielski. Dodatkowo, chciałem użyć języka analitycznego, by nie myśleć za dużo o gramatyce. Gramatyki musiałbym uczyć się poza Duolingo, nieuchronnie wystawiając się na inne bodźce. Wybór padł zatem na indonezyjski. Nie słucham indonezyjskiego radia, znam dosłownie dwóch Indonezyjczyków (Egy Maulana oraz Sukarno), nigdy nie byłem ani w Indonezji, ani w Malezji.

Moja motywacja do nauki indonezyjskiego jest niska (tylko na potrzeby tego eksperymentu), używam zatem Beeminder, by utrzymać tempo:

Duolingo daje mi na dzień dzisiejszy kurs złożony z 3 rozdziałów, każdy po 10 lekcji, każda z lekcji złożona z 5 minilekcji i przerywana sesjami powtórkowymi. W tym tempie, ukończenie kursu może zająć mi ponad rok. Nie ma to jednak wielkiego znaczenia. Skompresowanie kursu w czasie pomogłoby, ale spodziewam się, że będę wracać do podstaw jeśli zapomnę czegoś. Po skończeniu Unitu 1 (około 4000 punktów), sekcja „words” pokazuje zaledwie 173 słowa, które powinienem znać.

Mój wynik w moim teście to 6 / 40 (15%). Ma to sens. Zestaw pytań:

Poziom 1–4 — podstawy

1. Halo, apa kabar?
2. Ini warna apa?
3. Saya tinggal di Jakarta.
4. Kemarin saya pergi ke pasar dan membeli buah.

Poziom 5–8 — podstawowa komunikacja

5. Bisakah kamu memberi tahu saya di mana stasiun kereta terdekat?
6. Saya biasanya tidak minum kopi pada malam hari karena sulit tidur setelahnya.
7. Dia sudah tinggal di Bali selama tiga tahun.
8. Kalau kamu membutuhkan sesuatu, telepon saya kapan saja.

Poziom 9–12 — swobodne rozumienie

9. Sebenarnya saya ingin meneleponmu kemarin, tetapi saya benar-benar lupa.
10. Meskipun cuacanya cukup buruk, kami memutuskan untuk tetap pergi berjalan-jalan.
11. Sepertinya dia berubah pikiran tentang rencananya untuk tinggal di luar negeri.
12. Ketika kami tiba, mereka sudah selesai makan dan pergi.

Poziom 13–16 — zaawansowane

13. Masalahnya adalah orang sering meremehkan berapa banyak waktu yang diperlukan untuk membentuk kebiasaan baru.
14. Saya tidak selalu mengatakan bahwa keputusan itu salah, tetapi keputusan tersebut jelas bisa dipertimbangkan dengan lebih matang.
15. Seandainya saya tahu sejak awal betapa rumitnya situasi ini, mungkin saya tidak akan setuju untuk bertanggung jawab atas masalah tersebut.
16. Hal yang paling mengejutkan saya bukanlah bahwa dia menolak tawaran itu, melainkan bahwa dia melakukannya tanpa bertanya terlebih dahulu tentang apa yang sebenarnya ditawarkan.

Poziom 17–20 — bardzo zaawansowane

17. Sejauh mana seseorang bersedia berkompromi sebagian besar bergantung pada apa yang menurutnya akan diperoleh sebagai imbalan.
18. Betapapun saya memahami sudut pandangmu, saya tidak yakin bahwa hal itu dengan sendirinya berarti solusi yang diusulkan akan menyelesaikan masalah yang sebenarnya.
19. Seandainya perusahaan tersebut memperkirakan sejak awal sejauh mana kondisi akan memburuk, mungkin mereka dapat menghindari beberapa investasi yang pada akhirnya sulit untuk dipertanggungjawabkan.
20. Jika pada saat itu kami sudah mengetahui apa yang sekarang kami ketahui mengenai konsekuensi dari keputusan tersebut, tidak diragukan lagi bahwa kami akan menangani seluruh persoalan itu dengan cara yang sangat berbeda.

Wrócę do testu za parę tygodni (po ukończeniu Unitu 2) i powtórzę ten test. Mam pewne oczekiwania. Patrząc na zestaw pytań, nie będę w stanie przebić raczej zdania 10, a nawet zdania 8.

Duolingo daje co jakiś czas inną formę introspekcji; w obecnej iteracji są to poziomy:

Maksymalnym poziomem jaki mogę osiągnąć przy 3 unitach jest 30, czyli rozmowa w restauracji. To tyle w kwestii wiarygodności Duolingo – w zasadzie transparentnie komunikuje co może dowieźć tym, którzy byli zainteresowani to sprawdzić i podjąć wyzwanie.

Sprawdź swój indonezyjski

Sprawdź swój angielski