De Les om Af te Leren

December 2019

Het meest schadelijke dat je op school hebt geleerd, was niet iets dat je in een specifieke les hebt geleerd. Het was het leren om goede cijfers te halen.

Toen ik op de universiteit zat, vertelde een bijzonder ijverige filosofiestudent me ooit dat hij nooit gaf om het cijfer dat hij voor een vak kreeg, alleen om wat hij ervan leerde. Dit bleef me bij omdat het de enige keer was dat ik iemand zoiets hoorde zeggen.

Voor mij, net als voor de meeste studenten, domineerde de meting van wat ik leerde het daadwerkelijke leren op de universiteit. Ik was redelijk ijverig; ik was oprecht geïnteresseerd in de meeste vakken die ik volgde, en ik werkte hard. En toch werkte ik verreweg het hardst als ik me voorbereidde op een test.

In theorie zijn tests slechts wat hun naam impliceert: tests van wat je hebt geleerd in de les. In theorie hoef je je niet meer voor te bereiden op een test in een vak dan je je hoeft voor te bereiden op een bloedtest. In theorie leer je door de les te volgen, door de colleges bij te wonen en de opdrachten te doen, en de test die daarna komt, meet slechts hoe goed je hebt geleerd.

In de praktijk, zoals bijna iedereen die dit leest weet, zijn de dingen zo anders dat het horen van deze uitleg over hoe vakken en tests bedoeld zijn te werken, vergelijkbaar is met het horen van de etymologie van een woord waarvan de betekenis volledig is veranderd. In de praktijk was de uitdrukking "studeren voor een test" bijna overbodig, omdat dat het moment was waarop men echt studeerde. Het verschil tussen ijverige en luie studenten was dat de eersten hard studeerden voor tests en de laatsten niet. Niemand bleef twee weken na het begin van het semester de hele nacht wakker.

Hoewel ik een ijverige student was, was bijna al het werk dat ik op school deed gericht op het behalen van een goed cijfer voor iets.

Voor veel mensen zou het vreemd lijken dat de voorgaande zin een "hoewel" bevat. Stel ik niet simpelweg een tautologie vast? Is dat niet wat een ijverige student is, een student met alleen maar achten? Zo diep is de samensmelting van leren met cijfers in onze cultuur doorgedrongen.

Is het zo erg als leren wordt samengesmolten met cijfers? Ja, dat is erg. En het duurde decennia na de universiteit, toen ik Y Combinator runde, voordat ik besefte hoe erg het is.

Ik wist natuurlijk toen ik student was dat studeren voor een test verre van identiek is aan daadwerkelijk leren. Je onthoudt op zijn minst geen kennis die je de avond voor een examen in je hoofd propt. Maar het probleem is erger dan dat. Het werkelijke probleem is dat de meeste tests niet in de buurt komen van wat ze zouden moeten meten.

Als tests werkelijk tests van leren waren, zou het niet zo erg zijn. Goede cijfers halen en leren zouden convergeren, zij het een beetje laat. Het probleem is dat bijna alle tests die aan studenten worden gegeven vreselijk hackbaar zijn. De meeste mensen die goede cijfers hebben gehaald, weten dit, en weten het zo goed dat ze het niet eens meer ter discussie stellen. Je zult het zien als je beseft hoe naïef het klinkt om anders te handelen.

Stel dat je een cursus middeleeuwse geschiedenis volgt en het eindexamen nadert. Het eindexamen is bedoeld als een test van je kennis van de middeleeuwse geschiedenis, toch? Dus als je een paar dagen hebt tussen nu en het examen, is de beste manier om de tijd door te brengen, als je het goed wilt doen op het examen, zeker om de beste boeken te lezen die je kunt vinden over middeleeuwse geschiedenis. Dan weet je er veel van, en doe je het goed op het examen.

Nee, nee, nee, zeggen ervaren studenten tegen zichzelf. Als je simpelweg goede boeken over middeleeuwse geschiedenis leest, zou het grootste deel van wat je hebt geleerd niet op de test staan. Het zijn niet de goede boeken die je wilt lezen, maar de college-aantekeningen en de verplichte literatuur in deze cursus. En zelfs daarvan kun je het meeste negeren, omdat je je alleen zorgen hoeft te maken over het soort dingen dat als testvraag kan voorkomen. Je bent op zoek naar scherp gedefinieerde informatiebrokken. Als een van de verplichte lezingen een interessante zijstap bevat over een subtiel punt, kun je dat veilig negeren, omdat het niet het soort ding is dat in een testvraag kan worden omgezet. Maar als de professor je vertelt dat er drie onderliggende oorzaken waren van het Schisma van 1378, of drie belangrijke gevolgen van de Zwarte Dood, kun je die maar beter kennen. En of dat feitelijk de oorzaken of gevolgen waren, doet er niet toe. Voor de doeleinden van deze cursus zijn ze dat wel.

Op een universiteit circuleren vaak kopieën van oude examens, en deze beperken nog verder wat je moet leren. Naast het leren welk soort vragen deze professor stelt, krijg je vaak ook daadwerkelijke examenvragen. Veel professoren hergebruiken ze. Na tien jaar lesgeven zou het moeilijk zijn om dat niet te doen, althans onopzettelijk.

In sommige vakken zal je professor een soort politieke agenda hebben, en zo ja, dan moet je die ook volgen. De noodzaak hiervoor varieert. In vakken in wiskunde of de exacte wetenschappen of techniek is het zelden nodig, maar aan het andere uiteinde van het spectrum zijn er vakken waar je zonder zou kunnen falen.

Een goed cijfer halen in een cursus x is zo anders dan veel leren over x dat je een van beide moet kiezen, en je kunt studenten niet verwijten als ze voor cijfers kiezen. Iedereen beoordeelt hen op hun cijfers – graduate programma's, werkgevers, beurzen, zelfs hun eigen ouders.

Ik hield van leren, en ik genoot echt van sommige papers en programma's die ik op de universiteit schreef. Maar heb ik ooit, nadat ik een paper voor een vak had ingeleverd, gezeten en er nog een geschreven voor de lol? Natuurlijk niet. Ik had dingen te doen voor andere vakken. Als het ooit tot een keuze kwam tussen leren of cijfers, koos ik voor cijfers. Ik was niet naar de universiteit gekomen om slecht te presteren.

Iedereen die geeft om het behalen van goede cijfers, moet dit spel meespelen, anders worden ze ingehaald door degenen die dat wel doen. En op elite-universiteiten geldt dat voor bijna iedereen, aangezien iemand die niet gaf om het behalen van goede cijfers er waarschijnlijk sowieso niet zou zijn. Het resultaat is dat studenten concurreren om het verschil tussen leren en goede cijfers halen te maximaliseren.

Waarom zijn tests zo slecht? Preciezer gezegd, waarom zijn ze zo hackbaar? Elke ervaren programmeur zou dat kunnen beantwoorden. Hoe hackbaar is software waarvan de auteur er geen aandacht aan heeft besteed om te voorkomen dat deze wordt gehackt? Meestal is het zo poreus als een vergiet.

Hackbaar is de standaard voor elke test die door een autoriteit wordt opgelegd. De reden dat de tests die je krijgt zo consequent slecht zijn – zo consequent ver verwijderd van het meten van wat ze zouden moeten meten – is simpelweg dat de mensen die ze maken er niet veel moeite voor hebben gedaan om te voorkomen dat ze worden gehackt.

Maar je kunt docenten niet verwijten als hun tests hackbaar zijn. Hun taak is lesgeven, niet het creëren van onhackbare tests. Het echte probleem zijn de cijfers, of preciezer gezegd, dat de cijfers overladen zijn. Als cijfers slechts een manier waren voor docenten om studenten te vertellen wat ze goed en fout deden, zoals een coach die advies geeft aan een atleet, zouden studenten niet in de verleiding komen om tests te hacken. Maar helaas worden cijfers na een bepaalde leeftijd meer dan advies. Na een bepaalde leeftijd, wanneer je wordt onderwezen, word je meestal ook beoordeeld.

Ik heb college-tests als voorbeeld gebruikt, maar die zijn eigenlijk het minst hackbaar. Alle tests die de meeste studenten hun hele leven doen, zijn minstens zo slecht, inclusief, meest spectaculair van allemaal, de test die hen op de universiteit krijgt. Als het krijgen van een universitaire toelating slechts een kwestie was van de kwaliteit van iemands geest meten door toelatingsfunctionarissen, zoals wetenschappers de massa van een object meten, zouden we tieners kunnen vertellen "leer veel" en het daarbij laten. Je kunt zien hoe slecht universitaire toelatingen zijn, als test, door hoe anders dan de middelbare school dat klinkt. In de praktijk is de freakishly specifieke aard van de dingen die ambitieuze kinderen op de middelbare school moeten doen direct evenredig met de hackbaarheid van universitaire toelatingen. De vakken waar je niet om geeft en die grotendeels memorisatie vereisen, de willekeurige "buitenschoolse activiteiten" waaraan je moet deelnemen om te laten zien dat je "goed afgerond" bent, de gestandaardiseerde tests die net zo kunstmatig zijn als schaken, de "essay" die je moet schrijven en die vermoedelijk bedoeld is om een heel specifiek doel te raken, maar je krijgt niet te horen wat.

Naast dat deze test slecht is in wat het met kinderen doet, is hij ook slecht in de zin dat hij zeer hackbaar is. Zo hackbaar dat er hele industrieën zijn ontstaan om hem te hacken. Dit is het expliciete doel van testvoorbereidingsbedrijven en toelatingscounsellors, maar het is ook een significant deel van de functie van privéscholen.

Waarom is deze specifieke test zo hackbaar? Ik denk vanwege wat het meet. Hoewel het populaire verhaal is dat de manier om op een goede universiteit te komen is om echt slim te zijn, zoeken toelatingsfunctionarissen van elite-universiteiten niet alleen daarnaar, noch beweren ze dat te doen. Waar zoeken ze naar? Ze zoeken naar mensen die niet simpelweg slim zijn, maar bewonderenswaardig in een meer algemene zin. En hoe wordt deze meer algemene bewonderenswaardigheid gemeten? De toelatingsfunctionarissen voelen het. Met andere woorden, ze accepteren wie ze leuk vinden.

Dus waar universitaire toelating een test van is, is of je de smaak van een groep mensen past. Welnu, natuurlijk is een dergelijke test hackbaar. En omdat het zowel erg hackbaar is als er (gedacht wordt) veel op het spel staat, wordt het als niets anders gehackt. Daarom vervormt het je leven zo lang.

Het is geen wonder dat middelbare scholieren zich vaak vervreemd voelen. De vorm van hun leven is volledig kunstmatig.

Maar je tijd verspillen is niet het ergste wat het onderwijssysteem je aandoet. Het ergste wat het doet, is je trainen dat de manier om te winnen is door slechte tests te hacken. Dit is een veel subtieler probleem dat ik pas herkende toen ik het anderen zag overkomen.

Toen ik begon met het adviseren van startup-oprichters bij Y Combinator, vooral jonge, was ik verbaasd over de manier waarop ze dingen altijd leken te compliceren. Hoe, vroegen ze, verhoog je geld? Wat is de truc om durfkapitalisten je te laten investeren? De beste manier om VCs te laten investeren, zou ik uitleggen, is om daadwerkelijk een goede investering te zijn. Zelfs als je VCs zou kunnen misleiden om in een slechte startup te investeren, zou je jezelf ook misleiden. Je investeert tijd in hetzelfde bedrijf waarin je hen vraagt geld te investeren. Als het geen goede investering is, waarom doe je het dan überhaupt?

Oh, zouden ze zeggen, en dan na een pauze om deze openbaring te verwerken, zouden ze vragen: Wat maakt een startup een goede investering?

Dus ik zou uitleggen dat wat een startup veelbelovend maakt, niet alleen in de ogen van investeerders, maar feitelijk, groei is. Idealiter in omzet, maar bij gebrek daaraan in gebruik. Wat ze moesten doen, was veel gebruikers krijgen.

Hoe krijg je veel gebruikers? Ze hadden allerlei ideeën daarover. Ze moesten een grote lancering doen die hen "blootstelling" zou geven. Ze hadden invloedrijke mensen nodig die over hen zouden praten. Ze wisten zelfs dat ze op een dinsdag moesten lanceren, omdat dat het moment is waarop je de meeste aandacht krijgt.

Nee, zou ik uitleggen, zo krijg je veel gebruikers. De manier waarop je veel gebruikers krijgt, is door het product echt geweldig te maken. Dan zullen mensen het niet alleen gebruiken, maar het ook aanbevelen aan hun vrienden, zodat je groei exponentieel zal zijn zodra je het op gang brengt.

Op dit punt heb ik de oprichters iets verteld waarvan je zou denken dat het volkomen voor de hand liggend is: dat ze een goed bedrijf moeten maken door een goed product te maken. En toch zou hun reactie zoiets zijn als de reactie die veel natuurkundigen moeten hebben gehad toen ze voor het eerst hoorden over de relativiteitstheorie: een mengeling van verbazing over de schijnbare genialiteit, gecombineerd met een verdenking dat iets zo vreemds mogelijk niet juist kon zijn. Oké, zouden ze plichtsgetrouw zeggen. En kun je ons introduceren bij die en die invloedrijke persoon? En onthoud, we willen op dinsdag lanceren.

Het duurde soms jaren voordat oprichters deze eenvoudige lessen begrepen. En niet omdat ze lui of dom waren. Ze leken gewoon blind voor wat recht voor hun neus lag.

Waarom, zou ik mezelf afvragen, maken ze dingen altijd zo ingewikkeld? En toen realiseerde ik me op een dag dat dit geen retorische vraag was.

Waarom draaiden oprichters zich in de knoop door de verkeerde dingen te doen als het antwoord recht voor hun neus lag? Omdat dat was wat ze geleerd hadden. Hun opleiding had hen geleerd dat de manier om te winnen was om de test te hacken. En zonder hen zelfs te vertellen dat ze hierin werden getraind. De jongere, de recente afgestudeerden, hadden nog nooit een niet-kunstmatige test onder ogen gezien. Ze dachten dat dit gewoon was hoe de wereld werkte: dat het eerste wat je deed, wanneer je een uitdaging aanging, was uitzoeken wat de truc was om de test te hacken. Daarom begon het gesprek altijd met hoe je geld kon ophalen, omdat dat leek op de test. Het kwam aan het einde van YC. Er waren getallen aan verbonden, en hogere getallen leken beter. Het moest de test zijn.

Er zijn zeker grote delen van de wereld waar de manier om te winnen is om de test te hacken. Dit fenomeen is niet beperkt tot scholen. En sommige mensen, hetzij vanwege ideologie of onwetendheid, beweren dat dit ook geldt voor startups. Maar dat is niet zo. Sterker nog, een van de meest opvallende dingen aan startups is de mate waarin je wint door simpelweg goed werk te leveren. Er zijn uitzonderingen, zoals in alles, maar over het algemeen win je door gebruikers te krijgen, en wat gebruikers interesseert, is of het product doet wat ze willen.

Waarom duurde het zo lang voordat ik begreep waarom oprichters startups te ingewikkeld maakten? Omdat ik niet expliciet had gerealiseerd dat scholen ons trainen om te winnen door slechte tests te hacken. En niet alleen hen, maar ook mij! Ik was ook getraind om slechte tests te hacken, en had het pas decennia later gerealiseerd.

Ik had geleefd alsof ik het me realiseerde, maar zonder te weten waarom. Ik had bijvoorbeeld vermeden om voor grote bedrijven te werken. Maar als je had gevraagd waarom, had ik gezegd dat het was omdat ze nep waren, of bureaucratisch. Of gewoon vies. Ik begreep nooit hoeveel van mijn afkeer van grote bedrijven te wijten was aan het feit dat je wint door slechte tests te hacken.

Evenzo was het feit dat de tests onhackbaar waren een groot deel van wat me aantrok tot startups. Maar ook dat had ik niet expliciet gerealiseerd.

Ik had in feite iets bereikt door opeenvolgende benaderingen dat mogelijk een gesloten-vormoplossing heeft. Ik had mijn training in het hacken van slechte tests geleidelijk ongedaan gemaakt zonder te weten dat ik het deed. Zou iemand die van school komt dit demon kunnen verbannen door simpelweg de naam te noemen en te zeggen: ga weg? Het lijkt de moeite waard om te proberen.

Alleen al het expliciet praten over dit fenomeen zal de zaken waarschijnlijk verbeteren, omdat een groot deel van de kracht ervan voortkomt uit het feit dat we het als vanzelfsprekend beschouwen. Nadat je het hebt opgemerkt, lijkt het de olifant in de kamer, maar het is een behoorlijk goed gecamoufleerde olifant. Het fenomeen is zo oud en zo alomtegenwoordig. En het is simpelweg het resultaat van verwaarlozing. Niemand bedoelde dat het zo zou gaan. Dit is gewoon wat er gebeurt als je leren combineert met cijfers, competitie en de naïeve aanname van onhackbaarheid.

Het was verbijsterend om te beseffen dat twee van de dingen waar ik het meest over had gepuzzeld – de nepheid van de middelbare school, en de moeilijkheid om oprichters het voor de hand liggende te laten zien – beide dezelfde oorzaak hadden. Het is zeldzaam dat zo'n grote blok zo laat op zijn plaats valt.

Meestal heeft dat, wanneer het gebeurt, implicaties op veel verschillende gebieden, en dit geval lijkt geen uitzondering. Het suggereert bijvoorbeeld zowel dat onderwijs beter gedaan kan worden, als hoe je het zou kunnen oplossen. Maar het suggereert ook een mogelijk antwoord op de vraag die alle grote bedrijven lijken te hebben: hoe kunnen we meer op een startup lijken? Ik ga nu niet alle implicaties najagen. Waar ik me hier op wil concentreren, is wat het betekent voor individuen.

Om te beginnen betekent het dat de meeste ambitieuze studenten die afstuderen aan de universiteit iets hebben dat ze misschien willen afleren. Maar het verandert ook hoe je naar de wereld kijkt. In plaats van te kijken naar alle verschillende soorten werk die mensen doen en ze vaag als meer of minder aantrekkelijk te beschouwen, kun je nu een heel specifieke vraag stellen die ze op een interessante manier zal sorteren: in hoeverre win je in dit soort werk door slechte tests te hacken?

Het zou helpen als er een manier was om slechte tests snel te herkennen. Is er een patroon hier? Het blijkt van wel.

Tests kunnen in twee soorten worden verdeeld: die welke door autoriteiten worden opgelegd, en die welke niet worden opgelegd. Tests die niet door autoriteiten worden opgelegd, zijn inherent onhackbaar, in de zin dat niemand beweert dat ze tests zijn van iets anders dan wat ze daadwerkelijk testen. Een voetbalwedstrijd bijvoorbeeld, is simpelweg een test van wie er wint, niet welk team beter is. Dat kun je afleiden uit het feit dat commentatoren achteraf soms zeggen dat het betere team heeft gewonnen. Terwijl tests die door autoriteiten worden opgelegd, meestal proxies zijn voor iets anders. Een test in een klas zou niet alleen moeten meten hoe goed je het deed op die specifieke test, maar hoeveel je hebt geleerd in de klas. Terwijl tests die niet door autoriteiten worden opgelegd inherent onhackbaar zijn, moeten die welke door autoriteiten worden opgelegd, onhackbaar worden gemaakt. Meestal zijn ze dat niet. Dus als eerste benadering zijn slechte tests ruwweg gelijk aan tests die door autoriteiten worden opgelegd.

Je vindt het misschien wel prettig om te winnen door slechte tests te hacken. Vermoedelijk doen sommigen dat wel. Maar ik wed dat de meeste mensen die dit soort werk doen het niet leuk vinden. Ze nemen simpelweg aan dat dit is hoe de wereld werkt, tenzij je wilt stoppen en een soort hippie-ambachtsman wilt zijn.

Ik vermoed dat veel mensen impliciet aannemen dat werken in een veld met slechte tests de prijs is voor het verdienen van veel geld. Maar dat, kan ik je vertellen, is onjuist. Vroeger was dat waar. In het midden van de twintigste eeuw, toen de economie bestond uit oligopolies, was de enige weg naar de top door hun spel te spelen. Maar dat geldt nu niet meer. Er zijn nu manieren om rijk te worden door goed werk te leveren, en dat is mede de reden waarom mensen zoveel meer enthousiast zijn over rijk worden dan vroeger. Toen ik een kind was, kon je ofwel ingenieur worden en coole dingen maken, of veel geld verdienen door "manager" te worden. Nu kun je veel geld verdienen door coole dingen te maken.

Hacking van slechte tests wordt steeds minder belangrijk naarmate de link tussen werk en autoriteit erodeert. De erosie van die link is een van de belangrijkste trends van dit moment, en we zien de effecten ervan in bijna elk soort werk dat mensen doen. Startups zijn een van de meest zichtbare voorbeelden, maar we zien veel hetzelfde in schrijven. Schrijvers hoeven zich niet langer te onderwerpen aan uitgevers en redacteuren om lezers te bereiken; nu kunnen ze rechtstreeks gaan.

Hoe meer ik over deze kwestie nadenk, hoe optimistischer ik word. Dit lijkt een van die situaties waarin we ons niet realiseren hoeveel iets ons heeft tegengehouden totdat het is geëlimineerd. En ik zie het hele nepachtige bouwwerk instorten. Stel je voor wat er gebeurt als steeds meer mensen zichzelf afvragen of ze willen winnen door slechte tests te hacken, en besluiten dat ze dat niet willen. De soorten werk waarbij je wint door slechte tests te hacken, zullen verstoken blijven van talent, en de soorten waarbij je wint door goed werk te leveren, zullen een toestroom van de meest ambitieuze mensen zien. En naarmate het hacken van slechte tests aan belang inboet, zal het onderwijs evolueren om te stoppen met ons daartoe op te leiden. Stel je voor hoe de wereld eruit zou kunnen zien als dat gebeurt.

Dit is niet alleen een les die individuen moeten afleren, maar ook een les die de samenleving moet afleren, en we zullen versteld staan van de energie die vrijkomt als we dat doen.

Noten

[1] Als tests alleen worden gebruikt om leren te meten, klinkt dat onmogelijk utopisch, maar dat is al de manier waarop dingen werken bij Lambda School. Lambda School heeft geen cijfers. Je studeert af of niet. Het enige doel van tests is om in elke fase van het curriculum te bepalen of je kunt doorgaan naar de volgende. Dus in feite is de hele school slagen/falen.

[2] Als het eindexamen zou bestaan uit een lang gesprek met de professor, zou je je daarop kunnen voorbereiden door goede boeken over middeleeuwse geschiedenis te lezen. Veel van de hackbaarheid van tests op scholen is te wijten aan het feit dat dezelfde test aan grote aantallen studenten moet worden gegeven.

[3] Leren is het naïeve algoritme voor het behalen van goede cijfers.

[4] Hacking heeft meerdere betekenissen. Er is een enge betekenis waarin het betekent iets te compromitteren. Dat is de betekenis waarin je een slechte test hackt. Maar er is een andere, meer algemene betekenis, namelijk het vinden van een verrassende oplossing voor een probleem, vaak door er anders over na te denken. Hacking in deze zin is een prachtige zaak. En inderdaad, sommige hacks die mensen gebruiken op slechte tests zijn indrukwekkend ingenieus; het probleem is niet zozeer de hacking als wel dat, omdat de tests hackbaar zijn, ze niet testen wat ze bedoelen te testen.

[5] De mensen die startups selecteren bij Y Combinator lijken op toelatingsfunctionarissen, behalve dat hun acceptatiecriteria, in plaats van willekeurig te zijn, worden getraind door een zeer strakke feedbacklus. Als je een slechte startup accepteert of een goede afwijst, weet je dat meestal binnen een jaar of twee, en vaak binnen een maand.

[6] Ik ben er zeker van dat toelatingsfunctionarissen moe zijn van het lezen van aanvragen van kinderen die geen persoonlijkheid lijken te hebben, behalve dat ze bereid zijn te lijken zoals ze moeten lijken om geaccepteerd te worden. Wat ze zich niet realiseren, is dat ze, in zekere zin, in een spiegel kijken. Het gebrek aan authenticiteit bij de aanvragers is een weerspiegeling van de willekeurigheid van het aanvraagproces. Een dictator zou net zo goed kunnen klagen over het gebrek aan authenticiteit bij de mensen om hem heen.

[7] Met goed werk bedoel ik niet moreel goed, maar goed in de zin waarin een goede vakman goed werk levert.

[8] Er zijn grensgevallen waarbij het moeilijk te zeggen is in welke categorie een test valt. Is het bijvoorbeeld verhogen van durfkapitaal vergelijkbaar met universitaire toelating, of is het vergelijkbaar met verkopen aan een klant?

[9] Merk op dat een goede test simpelweg een test is die onhackbaar is. Goed betekent hier niet moreel goed, maar goed in de zin van goed functioneren. Het verschil tussen velden met slechte tests en goede is niet dat de eerste slecht zijn en de laatste goed, maar dat de eerste nep zijn en de laatste niet. Maar die twee metingen zijn niet ongerelateerd. Zoals Tara Ploughman zei, het pad van goed naar kwaad gaat via nep.

[10] Mensen die denken dat de recente toename van economische ongelijkheid te wijten is aan veranderingen in belastingbeleid, lijken erg naïef voor iedereen met ervaring in startups. Verschillende mensen worden nu rijk dan vroeger, en ze worden veel rijker dan louter belastingbesparingen hen zouden kunnen maken.

[11] Opmerking voor tijgerouders: je denkt misschien dat je je kinderen traint om te winnen, maar als je ze traint om te winnen door slechte tests te hacken, train je ze, zoals ouders zo vaak doen, om de laatste oorlog te vechten.

Dank aan Austen Allred, Trevor Blackwell, Patrick Collison, Jessica Livingston, Robert Morris en Harj Taggar voor het lezen van concepten hiervan.