Lekcja do oduczenia

Grudzień 2019

Najbardziej szkodliwą rzeczą, której nauczyłeś się w szkole, nie była rzecz nauczona na żadnym konkretnym przedmiocie. Było to nauczenie się zdobywania dobrych ocen. Kiedy byłem na studiach, pewien szczególnie sumienny student filozofii powiedział mi kiedyś, że nigdy nie zależało mu na ocenie, jaką dostaje z przedmiotu, tylko na tym, czego się z niego nauczył. Zapamiętałem to, ponieważ był to jedyny raz, kiedy usłyszałem, jak ktoś mówi coś takiego.

Dla mnie, podobnie jak dla większości studentów, miernik tego, czego się uczyłem, całkowicie zdominował faktyczne uczenie się na studiach. Byłem dość sumienny; byłem autentycznie zainteresowany większością przedmiotów, które wybrałem, i ciężko pracowałem. A jednak pracowałem zdecydowanie najciężej, kiedy przygotowywałem się do testu.

W teorii testy są jedynie tym, co sugeruje ich nazwa: testami tego, czego nauczyłeś się na zajęciach. W teorii nie powinieneś przygotowywać się do testu z przedmiotu bardziej, niż musisz przygotowywać się do badania krwi. W teorii uczysz się, uczestnicząc w zajęciach, chodząc na wykłady i wykonując zadania, a test, który następuje później, jedynie mierzy, jak dobrze się nauczyłeś.

W praktyce, jak wie prawie każdy czytający to, rzeczy są tak różne, że słuchanie tej explicacji, jak działają zajęcia i testy, jest jak słuchanie etymologii słowa, którego znaczenie całkowicie się zmieniło. W praktyce fraza „uczenie się do testu” była prawie zbędna, ponieważ właśnie wtedy się naprawdę uczyło. Różnica między pilnymi a leniwymi studentami polegała na tym, że pierwsi ciężko pracowali do testów, a drudzy nie. Nikt nie zarwał nocy dwa tygodnie po rozpoczęciu semestru.

Chociaż byłem pilnym studentem, prawie cała praca, którą wykonywałem w szkole, była ukierunkowana na zdobycie dobrej oceny z czegoś.

Dla wielu ludzi dziwne byłoby, że poprzednie zdanie zawiera „chociaż”. Czy nie stwierdzam po prostu tautologii? Czyż pilny student to nie student z samymi piątkami? Tak głęboko konfuzja uczenia się z ocenami przeniknęła naszą kulturę.

Czy to tak źle, jeśli uczenie się jest mylone z ocenami? Tak, to źle. I dopiero dekady po studiach, kiedy prowadziłem Y Combinator, zdałem sobie sprawę, jak bardzo jest to złe.

Oczywiście wiedziałem jako student, że uczenie się do testu znacznie różni się od faktycznego uczenia się. Przynajmniej nie zachowujesz wiedzy, którą wkułeś do głowy poprzedniej nocy przed egzaminem. Ale problem jest gorszy. Prawdziwy problem polega na tym, że większość testów nawet nie zbliża się do mierzenia tego, co powinny.

Gdyby testy naprawdę były testami uczenia się, sprawy nie byłyby tak złe. Zdobywanie dobrych ocen i uczenie się zbiegałyby się, tylko trochę później. Problem polega na tym, że prawie wszystkie testy zadawane studentom są okropnie podatne na „hackowanie”. Większość ludzi, którzy zdobyli dobre oceny, wie o tym i wie to tak dobrze, że przestali nawet o tym pytać. Zobaczysz, kiedy zdasz sobie sprawę, jak naiwnie brzmi działanie inaczej.

Załóżmy, że bierzesz udział w zajęciach z historii średniowiecza, a zbliża się egzamin końcowy. Egzamin końcowy ma być testem twojej wiedzy o historii średniowiecza, prawda? Więc jeśli masz kilka dni między teraz a egzaminem, z pewnością najlepszym sposobem na spędzenie czasu, jeśli chcesz dobrze wypaść na egzaminie, jest przeczytanie najlepszych książek o historii średniowiecza, jakie znajdziesz. Wtedy będziesz o niej dużo wiedzieć i dobrze wypaść na egzaminie.

Nie, nie, nie, mówią sobie doświadczeni studenci. Jeśli po prostu czytasz dobre książki o historii średniowiecza, większość rzeczy, których się nauczyłeś, nie znajdzie się na teście. Nie chcesz czytać dobrych książek, ale notatek z wykładów i przypisanych lektur z tych zajęć. A nawet większość z nich możesz zignorować, ponieważ musisz martwić się tylko o rzeczy, które mogą pojawić się jako pytania testowe. Szukasz ostro zdefiniowanych fragmentów informacji. Jeśli jedna z przypisanych lektur zawiera interesującą dygresję na jakiś subtelny temat, możesz ją bezpiecznie zignorować, ponieważ nie jest to rodzaj rzeczy, które można przekształcić w pytanie testowe. Ale jeśli profesor powie ci, że istniały trzy podstawowe przyczyny Schizmy z 1378 roku, lub trzy główne konsekwencje Czarnej Śmierci, lepiej je poznaj. I czy faktycznie były to przyczyny czy konsekwencje, jest poza tym. Na potrzeby tych zajęć są.

Na uniwersytecie często krążą kopie starych egzaminów, a to jeszcze bardziej zawęża to, czego musisz się nauczyć. Oprócz poznania rodzaju pytań, które zadaje ten profesor, często otrzymasz faktyczne pytania egzaminacyjne. Wielu profesorów je powtarza. Po dziesięciu latach nauczania klasy byłoby trudno tego nie robić, przynajmniej nieumyślnie.

W niektórych zajęciach twój profesor miałby jakiś polityczny cel, a jeśli tak, to ty też musisz go realizować. Potrzeba tego jest różna. Na zajęciach z matematyki, nauk ścisłych lub inżynierii rzadko jest to konieczne, ale na drugim końcu spektrum są zajęcia, na których nie można by uzyskać dobrej oceny bez tego.

Zdobycie dobrej oceny z przedmiotu x jest tak różne od nauczenia się dużo o x, że musisz wybrać jedno lub drugie, i nie można winić studentów, jeśli wybierają oceny. Wszyscy ich oceniają według ich ocen — programy studiów podyplomowych, pracodawcy, stypendia, nawet ich własni rodzice.

Lubię się uczyć i naprawdę cieszyłem się niektórymi pracami i programami, które napisałem na studiach. Ale czy kiedykolwiek, po oddaniu pracy z jakiegoś przedmiotu, usiadłem i napisałem kolejną dla zabawy? Oczywiście, że nie. Miałem rzeczy do oddania z innych przedmiotów. Jeśli kiedykolwiek stanąłem przed wyborem między nauką a ocenami, wybrałem oceny. Nie przyszedłem na studia, żeby źle wypaść.

Każdy, komu zależy na dobrych ocenach, musi grać w tę grę, bo inaczej zostanie prześcignięty przez tych, którzy to robią. A na elitarnych uniwersytetach dotyczy to prawie wszystkich, ponieważ ktoś, komu nie zależało na dobrych ocenach, prawdopodobnie w ogóle by się tam nie znalazł. Rezultatem jest to, że studenci rywalizują o maksymalizację różnicy między uczeniem się a zdobywaniem dobrych ocen.

Dlaczego testy są takie złe? Dokładniej, dlaczego są tak podatne na „hackowanie”? Każdy doświadczony programista mógłby na to odpowiedzieć. Jak bardzo podatne na „hackowanie” jest oprogramowanie, którego autor nie zwracał uwagi na zapobieganie jego „hakowaniu”? Zazwyczaj jest tak porowate jak durszlak.

Podatność na „hackowanie” jest domyślnym stanem dla każdego testu narzuconego przez władzę. Powodem, dla którego testy, które otrzymujesz, są tak konsekwentnie złe — tak konsekwentnie dalekie od mierzenia tego, co powinny mierzyć — jest po prostu to, że osoby je tworzące nie podjęły większego wysiłku, aby zapobiec ich „hakowaniu”.

Ale nie można winić nauczycieli, jeśli ich testy są podatne na „hackowanie”. Ich praca polega na nauczaniu, a nie na tworzeniu „niehakowalnych” testów. Prawdziwy problem to oceny, a dokładniej to, że oceny zostały przeciążone. Gdyby oceny były jedynie sposobem dla nauczycieli na informowanie studentów o tym, co robią dobrze i źle, jak trener udzielający rad sportowcowi, studenci nie byliby kuszeni do „hakowania” testów. Ale niestety po pewnym wieku oceny stają się czymś więcej niż radą. Po pewnym wieku, kiedy jesteś nauczany, zazwyczaj jesteś też oceniany.

Użyłem testów uniwersyteckich jako przykładu, ale one są faktycznie najmniej podatne na „hackowanie”. Wszystkie testy, które większość studentów zdaje przez całe życie, są co najmniej równie złe, w tym, co najbardziej spektakularne ze wszystkich, test, który pozwala im dostać się na studia. Gdyby dostanie się na studia było jedynie kwestią zmierzenia jakości umysłu przez rekruterów w taki sposób, w jaki naukowcy mierzą masę obiektu, moglibyśmy powiedzieć nastolatkom „uczczcie się dużo” i zostawić ich w spokoju. Możesz ocenić, jak złe są rekrutacje na studia jako test, po tym, jak bardzo różni się to od liceum. W praktyce dziwnie specyficzna natura rzeczy, które ambitne dzieci muszą robić w liceum, jest bezpośrednio proporcjonalna do podatności rekrutacji na studia na „hackowanie”. Przedmioty, na które nie zwracasz uwagi, które są głównie zapamiętywaniem, przypadkowe „zajęcia pozalekcyjne”, w których musisz uczestniczyć, aby pokazać, że jesteś „wszechstronny”, testy standaryzowane tak sztuczne jak szachy, „esej”, który musisz napisać, a który prawdopodobnie ma trafić w jakiś bardzo specyficzny cel, ale nie jest ci powiedziane jaki.

Oprócz tego, że jest zły w tym, co robi dzieciom, ten test jest również zły w sensie bycia bardzo podatnym na „hackowanie”. Tak bardzo podatny, że wyrosły całe branże, aby go „hakować”. Taki jest jawny cel firm przygotowujących do testów i doradców rekrutacyjnych, ale jest to również znacząca część funkcji szkół prywatnych.

Dlaczego ten konkretny test jest tak podatny na „hackowanie”? Myślę, że z powodu tego, co mierzy. Chociaż popularna historia mówi, że sposób na dostanie się na dobre studia to bycie naprawdę mądrym, rekruterzy na elitarnych uczelniach ani nie szukają tylko tego, ani tego nie twierdzą. Czego szukają? Szukają ludzi, którzy są nie tylko mądrzy, ale podziwiani w bardziej ogólnym sensie. A jak mierzy się tę bardziej ogólną podziwialność? Rekruterzy to czują. Innymi słowy, akceptują tych, których lubią.

Zatem testem na studia jest to, czy pasujesz do gustu jakiejś grupy ludzi. Cóż, oczywiście taki test będzie podatny na „hackowanie”. A ponieważ jest zarówno bardzo podatny na „hackowanie”, jak i jest (uważane, że) dużo na szali, jest „hakowany” jak nic innego. Dlatego tak bardzo wypacza twoje życie przez tak długi czas.

Nic dziwnego, że uczniowie szkół średnich często czują się wyobcowani. Kształt ich życia jest całkowicie sztuczny.

Ale marnowanie czasu to nie najgorsza rzecz, jaką robi ci system edukacji. Najgorsze, co robi, to trenuje cię, że sposób na wygraną to „hakowanie” złych testów. To znacznie subtelniejszy problem, którego nie rozpoznałem, dopóki nie zobaczyłem, jak dzieje się to innym ludziom.

Kiedy zacząłem doradzać założycielom startupów w Y Combinator, zwłaszcza młodym, zastanawiałem się nad sposobem, w jaki zawsze wydawali się komplikować rzeczy. Jak, pytali, zdobyć pieniądze? Jaki jest trik, aby inwestorzy venture capital chcieli w ciebie zainwestować? Najlepszym sposobem, aby inwestorzy venture capital chcieli w ciebie zainwestować, wyjaśniałbym, jest faktyczne bycie dobrą inwestycją. Nawet gdybyś mógł oszukać inwestorów venture capital, aby zainwestowali w zły startup, oszukiwałbyś również siebie. Inwestujesz czas w tę samą firmę, w którą prosisz ich o zainwestowanie pieniędzy. Jeśli to nie jest dobra inwestycja, dlaczego w ogóle to robisz?

Och, mówiliby, a potem po chwili na strawienie tej rewelacji pytaliby: Co sprawia, że startup jest dobrą inwestycją?

Więc wyjaśniałbym, że to, co sprawia, że startup jest obiecujący, nie tylko w oczach inwestorów, ale faktycznie, to wzrost. Najlepiej w przychodach, ale jeśli nie, to w użyciu. To, co musieli zrobić, to zdobyć wielu użytkowników.

Jak zdobyć wielu użytkowników? Mieli na to wszelkiego rodzaju pomysły. Musieli przeprowadzić wielkie uruchomienie, które zapewniłoby im „ekspozycję”. Potrzebowali wpływowych ludzi, aby o nich mówili. Wiedzieli nawet, że muszą uruchomić we wtorek, ponieważ właśnie wtedy można uzyskać najwięcej uwagi.

Nie, wyjaśniałbym, tak się nie zdobywa wielu użytkowników. Sposób na zdobycie wielu użytkowników to stworzenie naprawdę świetnego produktu. Wtedy ludzie nie tylko go użyją, ale polecą go swoim przyjaciołom, więc twój wzrost będzie wykładniczy, gdy go zaczniesz.

W tym momencie powiedziałem założycielom coś, co wydawałoby się całkowicie oczywiste: że powinni stworzyć dobrą firmę, tworząc dobry produkt. A jednak ich reakcja byłaby podobna do reakcji wielu fizyków, gdy po raz pierwszy usłyszeli o teorii względności: mieszanka zdumienia nad jej pozornym geniuszem, połączona z podejrzeniem, że coś tak dziwnego nie może być poprawne. Dobrze, mówiliby, posłusznie. I czy mógłby pan przedstawić nas temu lub innemu wpływowemu człowiekowi? I pamiętaj, chcemy wystartować we wtorek.

Czasami zajmowało założycielom lata, aby zrozumieć te proste lekcje. I nie dlatego, że byli leniwi lub głupi. Po prostu wydawali się ślepi na to, co było tuż przed nimi.

Dlaczego, pytałbym siebie, zawsze komplikują rzeczy? A potem pewnego dnia zdałem sobie sprawę, że to nie było pytanie retoryczne.

Dlaczego założyciele tak bardzo się męczyli, robiąc złe rzeczy, gdy odpowiedź była tuż przed nimi? Ponieważ byli do tego szkoleni. Ich edukacja nauczyła ich, że sposób na wygraną to „hakowanie” testu. I to nawet bez mówienia im, że są do tego szkoleni. Młodsi, niedawno absolwenci, nigdy nie stawali przed nie-sztucznym testem. Myśleli, że tak właśnie działa świat: że pierwszą rzeczą, jaką robiłeś, stając przed jakimkolwiek wyzwaniem, było ustalenie, jaki jest trik na „hakowanie” testu. Dlatego rozmowa zawsze zaczynałaby się od tego, jak zdobyć pieniądze, ponieważ to wyglądało jak test. Pojawiło się na końcu YC. Miało przypisane liczby, a wyższe liczby wydawały się lepsze. To musi być test.

Istnieją z pewnością duże fragmenty świata, w których sposób na wygraną to „hakowanie” testu. To zjawisko nie ogranicza się do szkół. A niektórzy ludzie, albo z powodu ideologii, albo ignorancji, twierdzą, że tak jest również w przypadku startupów. Ale tak nie jest. W rzeczywistości jedną z najbardziej uderzających rzeczy w startupach jest stopień, w jakim wygrywasz, po prostu wykonując dobrą pracę. Istnieją przypadki brzegowe, jak we wszystkim, ale generalnie wygrywasz, zdobywając użytkowników, a to, co obchodzi użytkowników, to czy produkt robi to, czego chcą.

Dlaczego tak długo zajęło mi zrozumienie, dlaczego założyciele komplikują startupy? Ponieważ nie zdałem sobie sprawy, że szkoły uczą nas wygrywać przez „hakowanie” złych testów. I nie tylko ich, ale i mnie! Ja też byłem szkolony do „hakowania” złych testów i nie zdawałem sobie z tego sprawy przez dziesięciolecia.

Żyłem tak, jakbym sobie z tego zdawał sprawę, ale nie wiedząc dlaczego. Na przykład unikałem pracy w dużych firmach. Ale gdybyś zapytał dlaczego, powiedziałbym, że dlatego, że były fałszywe, albo biurokratyczne. Albo po prostu yuck. Nigdy nie zrozumiałem, jak duża część mojej niechęci do dużych firm wynikała z faktu, że wygrywa się przez „hakowanie” złych testów.

Podobnie, fakt, że testy były „niehakowalne”, był dużą częścią tego, co przyciągnęło mnie do startupów. Ale znowu, nie zdałem sobie z tego sprawy.

W efekcie osiągnąłem przez kolejne przybliżenia coś, co może mieć rozwiązanie w postaci zamkniętej. Stopniowo odrzuciłem moje szkolenie w „hakowaniu” złych testów, nie wiedząc, że to robię. Czy ktoś wychodzący ze szkoły mógłby wygnać tego demona, po prostu znając jego imię i mówiąc „odejdź”? Wydaje się, że warto spróbować.

Samo jawne mówienie o tym zjawisku prawdopodobnie poprawi sytuację, ponieważ duża część jego siły wynika z faktu, że przyjmujemy je za pewnik. Po tym, jak je zauważysz, wydaje się, że jest to słoń w pokoju, ale jest to całkiem dobrze zamaskowany słoń. Zjawisko jest tak stare i tak wszechobecne. I jest to po prostu wynik zaniedbania. Nikt nie chciał, żeby tak było. To po prostu dzieje się, gdy łączymy uczenie się z ocenami, konkurencją i naiwnym założeniem o „niehakowalności”.

Było to oszałamiające uświadomić sobie, że dwie rzeczy, nad którymi najbardziej się głowiłem — fałszywość liceum i trudność w przekonaniu założycieli do zobaczenia oczywistości — miały tę samą przyczynę. Rzadko się zdarza, aby tak duży element pasował do miejsca tak późno.

Zazwyczaj, gdy tak się dzieje, ma to implikacje w wielu różnych obszarach, a ten przypadek wydaje się nie być wyjątkiem. Na przykład sugeruje to, że edukacja mogłaby być lepsza i jak można by ją naprawić. Ale sugeruje to również potencjalną odpowiedź na pytanie, które mają wszystkie duże firmy: jak możemy być bardziej jak startup? Nie będę teraz śledził wszystkich implikacji. Chcę się tutaj skupić na tym, co to oznacza dla jednostek.

Na początek oznacza to, że większość ambitnych dzieci kończących studia ma coś, czego mogą chcieć się oduczyć. Ale zmienia to również sposób, w jaki patrzysz na świat. Zamiast patrzeć na wszystkie różne rodzaje pracy, które wykonują ludzie, i myśleć o nich mgliście jako o bardziej lub mniej atrakcyjnych, możesz teraz zadać bardzo konkretne pytanie, które je posortuje w interesujący sposób: w jakim stopniu wygrywasz w tym rodzaju pracy przez „hakowanie” złych testów?

Pomogłoby, gdyby istniał sposób na szybkie rozpoznawanie złych testów. Czy jest tu jakiś wzór? Okazuje się, że jest.

Testy można podzielić na dwa rodzaje: te narzucone przez władze i te, które nie są. Testy, które nie są narzucone przez władze, są z natury „niehakowalne”, w tym sensie, że nikt nie twierdzi, że są testami czegokolwiek więcej niż faktycznie testują. Mecz piłki nożnej, na przykład, jest po prostu testem tego, kto wygra, a nie tego, która drużyna jest lepsza. Możesz to stwierdzić po tym, że komentatorzy czasami mówią później, że lepsza drużyna wygrała. Natomiast testy narzucone przez władze są zazwyczaj zastępstwami czegoś innego. Test na zajęciach ma mierzyć nie tylko to, jak dobrze wypadłeś na tym konkretnym teście, ale także to, ile nauczyłeś się na zajęciach. Podczas gdy testy, które nie są narzucone przez władze, są z natury „niehakowalne”, te narzucone przez władze muszą być uczynione „niehakowalnymi”. Zazwyczaj tak nie jest. Więc jako pierwsze przybliżenie, złe testy są w przybliżeniu równoważne testom narzuconym przez władze.

Może faktycznie lubisz wygrywać przez „hakowanie” złych testów. Prawdopodobnie niektórzy ludzie tak robią. Ale podejrzewam, że większość ludzi, którzy zajmują się tego typu pracą, nie lubi jej. Po prostu przyjmują za pewnik, że tak działa świat, chyba że chcesz zrezygnować i być jakimś hipisowskim rzemieślnikiem.

Podejrzewam, że wiele osób pośrednio zakłada, że praca w dziedzinie ze złymi testami jest ceną za zarabianie dużych pieniędzy. Ale to, mogę ci powiedzieć, jest fałszem. Kiedyś było prawdą. W połowie XX wieku, kiedy gospodarka składała się z oligopoli, jedynym sposobem na szczyt było granie w ich grę. Ale teraz tak nie jest. Istnieją teraz sposoby na wzbogacenie się przez dobrą pracę, i to jest część powodu, dla którego ludzie są znacznie bardziej podekscytowani zarabianiem pieniędzy niż kiedyś. Kiedy byłem dzieckiem, mogłeś albo zostać inżynierem i tworzyć fajne rzeczy, albo zarabiać dużo pieniędzy, zostając „dyrektorem”. Teraz możesz zarabiać dużo pieniędzy, tworząc fajne rzeczy.

„Hakowanie” złych testów staje się coraz mniej ważne, ponieważ więź między pracą a władzą się rozpada. Rozpad tej więzi jest jednym z najważniejszych trendów, które mają miejsce teraz, i widzimy jego skutki w prawie każdym rodzaju pracy, którą wykonują ludzie. Startupy są jednym z najbardziej widocznych przykładów, ale widzimy wiele tego samego w pisaniu. Pisarze nie muszą już poddawać się wydawcom i redaktorom, aby dotrzeć do czytelników; teraz mogą iść bezpośrednio.

Im więcej myślę o tym problemie, tym bardziej optymistyczny się staję. Wydaje się to jedną z tych sytuacji, w których nie zdajemy sobie sprawy, jak bardzo coś nas powstrzymywało, dopóki nie zostanie wyeliminowane. I mogę przewidzieć, że cały ten fałszywy gmach się zawali. Wyobraź sobie, co się stanie, gdy coraz więcej ludzi zacznie pytać siebie, czy chcą wygrywać przez „hakowanie” złych testów, i zdecydują, że nie chcą. Rodzaje pracy, w których wygrywasz przez „hakowanie” złych testów, zostaną pozbawione talentów, a rodzaje pracy, w których wygrywasz przez dobrą pracę, zobaczą napływ najbardziej ambitnych ludzi. A ponieważ „hakowanie” złych testów traci na znaczeniu, edukacja ewoluuje, aby przestać nas do tego szkolić. Wyobraź sobie, jak mógłby wyglądać świat, gdyby tak się stało.

To nie jest tylko lekcja dla jednostek do oduczenia, ale także dla społeczeństwa, i będziemy zdumieni uwolnioną energią, kiedy to zrobimy.

Przypisy

[1] Jeśli używanie testów tylko do mierzenia uczenia się brzmi niemożliwie utopijnie, to już tak działa w Lambda School. Lambda School nie ma ocen. Albo kończysz szkołę, albo nie. Jedynym celem testów jest ustalenie na każdym etapie programu nauczania, czy możesz przejść do następnego. Więc w efekcie cała szkoła jest zaliczana/niezaliczana.

[2] Gdyby egzamin końcowy składał się z długiej rozmowy z profesorem, można by się do niego przygotować, czytając dobre książki o historii średniowiecza. Wiele z podatności testów w szkołach na „hackowanie” wynika z faktu, że ten sam test musi być przeprowadzany dla dużej liczby studentów.

[3] Uczenie się to naiwny algorytm do zdobywania dobrych ocen.

[4] Hakowanie ma wiele znaczeń. Jest wąskie znaczenie, w którym oznacza kompromitację czegoś. To jest znaczenie, w którym „hakuje się” zły test. Ale jest inne, bardziej ogólne znaczenie, oznaczające znalezienie zaskakującego rozwiązania problemu, często przez inne spojrzenie na niego. „Hakowanie” w tym sensie jest wspaniałą rzeczą. I rzeczywiście, niektóre z „hacków”, których ludzie używają na złych testach, są imponująco pomysłowe; problemem nie jest tyle „hakowanie”, co to, że ponieważ testy są podatne na „hakowanie”, nie testują tego, co powinny.

[5] Ludzie, którzy wybierają startupy w Y Combinator, są podobni do rekruterów, z tą różnicą, że zamiast być arbitralnymi, ich kryteria akceptacji są trenowane przez bardzo ścisłą pętlę sprzężenia zwrotnego. Jeśli zaakceptujesz zły startup lub odrzucisz dobry, zazwyczaj dowiesz się o tym w ciągu roku lub dwóch, a często w ciągu miesiąca.

[6] Jestem pewien, że rekruterzy są zmęczeni czytaniem podań od dzieci, które wydają się nie mieć osobowości poza chęcią wydawania się takimi, jakimi powinni się wydawać, aby zostać zaakceptowanymi. Czego nie rozumieją, to to, że w pewnym sensie patrzą w lustro. Brak autentyczności u kandydatów jest odzwierciedleniem arbitralności procesu aplikacyjnego. Dyktator równie dobrze mógłby narzekać na brak autentyczności u ludzi wokół siebie.

[7] Przez dobrą pracę nie mam na myśli pracy moralnie dobrej, ale dobrą w sensie, w jakim dobry rzemieślnik wykonuje dobrą pracę.

[8] Istnieją przypadki graniczne, w których trudno powiedzieć, do której kategorii należy test. Na przykład, czy pozyskiwanie kapitału venture jest jak rekrutacja na studia, czy jak sprzedaż klientowi?

[9] Zauważ, że dobry test to po prostu taki, który jest „niehakowalny”. Dobry tutaj nie oznacza moralnie dobry, ale dobry w sensie dobrze działającego. Różnica między dziedzinami ze złymi testami a dobrymi nie polega na tym, że pierwsze są złe, a drugie dobre, ale na tym, że pierwsze są fałszywe, a drugie nie. Ale te dwa mierniki nie są niepowiązane. Jak powiedziała Tara Ploughman, droga od dobra do zła prowadzi przez fałsz.

[10] Ludzie, którzy uważają, że niedawny wzrost nierówności gospodarczych wynika ze zmian w polityce podatkowej, wydają się bardzo naiwni dla każdego, kto ma doświadczenie w startupach. Teraz bogacą się inni ludzie niż kiedyś, i bogacą się znacznie bardziej, niż mogłyby im to zapewnić same oszczędności podatkowe.

[11] Uwaga dla rodziców tygrysów: możecie myśleć, że szkolicie swoje dzieci do wygranej, ale jeśli szkolicie je do wygranej przez „hakowanie” złych testów, to, jak to często bywa u rodziców, szkolicie je do walki w ostatniej wojnie.

Podziękowania dla Austen Allred, Trevor Blackwell, Patrick Collison, Jessica Livingston, Robert Morris i Harj Taggar za przeczytanie wersji roboczych tego tekstu.