Lo que he aprendido de Hacker News

Febrero de 2009

Hacker News cumplió dos años la semana pasada. Inicialmente, se suponía que sería un proyecto paralelo: una aplicación para mejorar Arc y un lugar para que los fundadores actuales y futuros de Y Combinator intercambiaran noticias. Ha crecido más y ha consumido más tiempo de lo que esperaba, pero no me arrepiento porque he aprendido mucho trabajando en ello.

Crecimiento

Cuando lo lanzamos en febrero de 2007, el tráfico diario entre semana era de alrededor de 1600 usuarios únicos. Desde entonces ha crecido hasta alrededor de 22.000. Esta tasa de crecimiento es un poco más alta de lo que me gustaría. Me gustaría que el sitio creciera, ya que un sitio que no crece, al menos lentamente, probablemente esté muerto. Pero no querría que creciera tanto como Digg o Reddit, principalmente porque diluiría el carácter del sitio, pero también porque no quiero pasar todo mi tiempo lidiando con la escalabilidad.

Ya tengo suficientes problemas con eso. Recuerden, la motivación original de HN era probar un nuevo lenguaje de programación, y además uno centrado en experimentar con el diseño del lenguaje, no con el rendimiento. Cada vez que el sitio se vuelve lento, me fortalezco recordando la famosa cita de McIlroy y Bentley

La clave del rendimiento es la elegancia, no batallones de casos especiales.

y busco el cuello de botella que puedo eliminar con el menor código. Hasta ahora he podido mantenerme al día, en el sentido de que el rendimiento se ha mantenido consistentemente mediocre a pesar de un crecimiento de 14 veces. No sé qué haré a continuación, pero probablemente se me ocurrirá algo.

Esta es mi actitud general hacia el sitio. Hacker News es un experimento, y un experimento en un campo muy joven. Los sitios de este tipo tienen solo unos pocos años. La conversación en Internet en general tiene solo unas pocas décadas. Así que probablemente solo hemos descubierto una fracción de lo que eventualmente descubriremos.

Es por eso que soy tan optimista sobre HN. Cuando una tecnología es tan joven, las soluciones existentes suelen ser terribles; lo que significa que debe ser posible hacerlo mucho mejor; lo que significa que muchos problemas que parecen irresolubles no lo son. Incluyendo, espero, el problema que ha afectado a tantas comunidades anteriores: ser arruinadas por el crecimiento.

Dilución

Los usuarios han estado preocupados por eso desde que el sitio tenía unos pocos meses. Hasta ahora, estas alarmas han sido falsas, pero puede que no siempre lo sean. La dilución es un problema difícil. Pero probablemente soluble; no significa mucho que las conversaciones abiertas se hayan "destruido siempre" por el crecimiento cuando "siempre" equivale a 20 instancias.

Pero es importante recordar que estamos tratando de resolver un problema nuevo, porque eso significa que tendremos que probar cosas nuevas, la mayoría de las cuales probablemente no funcionarán. Hace un par de semanas intenté mostrar los nombres de los usuarios con las puntuaciones de comentarios promedio más altas en naranja. [1] Fue un error. De repente, una cultura que había estado más o menos unida se dividió en quienes tenían y quienes no. No me di cuenta de cuán unida había estado la cultura hasta que la vi dividida. Fue doloroso de ver. [2]

Así que los nombres de usuario en naranja no volverán. (Lo siento por eso.) Pero habrá otras ideas igualmente aparentemente rotas en el futuro, y las que resulten funcionar probablemente parecerán tan rotas como las que no.

Probablemente lo más importante que he aprendido sobre la dilución es que se mide más en el comportamiento que en los usuarios. Es el mal comportamiento lo que quieres mantener fuera más que a las personas malas. El comportamiento del usuario resulta ser sorprendentemente maleable. Si se espera que las personas se comporten bien, tienden a hacerlo; y viceversa.

Aunque, por supuesto, prohibir el mal comportamiento tiende a alejar a las personas malas, porque se sienten incómodamente limitadas en un lugar donde tienen que comportarse bien. Pero esta forma de mantenerlas fuera es más suave y probablemente también más efectiva que las barreras explícitas.

Ahora está bastante claro que la teoría de las ventanas rotas también se aplica a los sitios comunitarios. La teoría es que las formas menores de mal comportamiento fomentan otras peores: que un vecindario con muchos grafitis y ventanas rotas se convierte en uno donde ocurren robos. Viví en Nueva York cuando Giuliani introdujo las reformas que hicieron famosa la teoría de las ventanas rotas, y la transformación fue milagrosa. Y fui usuario de Reddit cuando sucedió lo contrario allí, y la transformación fue igualmente dramática.

No estoy criticando a Steve y Alexis. Lo que le pasó a Reddit no sucedió por negligencia. Desde el principio tuvieron la política de no censurar nada excepto el spam. Además, Reddit tenía objetivos diferentes a los de Hacker News. Reddit era una startup, no un proyecto paralelo; su objetivo era crecer lo más rápido posible. Combina un crecimiento rápido y cero censura, y el resultado es un caos.

Pero no creo que harían mucho diferente si lo hicieran de nuevo. Medido por el tráfico, Reddit es mucho más exitoso que Hacker News.

Pero lo que le pasó a Reddit no le pasará inevitablemente a HN. Hay varios máximos locales. Puede haber lugares que sean un caos y lugares que sean más reflexivos, al igual que en el mundo real; y las personas se comportarán de manera diferente dependiendo de en cuál estén, al igual que lo hacen en el mundo real.

He observado esto en la naturaleza. He visto personas publicando en Reddit y Hacker News que en realidad se tomaron la molestia de escribir dos versiones, una incendiaria para Reddit y una más moderada para HN.

Envíos

Hay dos tipos principales de problemas que un sitio como Hacker News debe evitar: malas historias y malos comentarios. Hasta ahora, el peligro de las malas historias parece menor. Las historias en la página principal ahora son aproximadamente las mismas que habrían estado allí cuando HN comenzó.

Una vez pensé que tendría que ponderar los votos para evitar que la basura llegara a la página principal, pero aún no he tenido que hacerlo. No habría predicho que la página principal se mantendría tan bien, y no estoy seguro de por qué lo ha hecho. Quizás solo los usuarios más reflexivos se preocupan lo suficiente como para enviar y votar enlaces, por lo que el costo marginal de un nuevo usuario aleatorio se acerca a cero. O quizás la página principal se protege a sí misma, al anunciar qué tipo de envío se espera.

Lo más peligroso para la página principal es el contenido que es demasiado fácil de votar. Si alguien demuestra un nuevo teorema, requiere algo de trabajo por parte del lector decidir si votarlo o no. Un dibujo animado divertido requiere menos. Una diatriba con un grito de guerra como título requiere cero, porque la gente lo vota sin siquiera leerlo.

De ahí lo que llamo el Principio de la Paja: en un sitio de noticias votado por usuarios, los enlaces que son más fáciles de juzgar se apoderarán a menos que tomes medidas específicas para evitarlo.

Hacker News tiene dos tipos de protecciones contra la paja. Los tipos más comunes de enlaces de paja se prohíben por estar fuera de tema. Las fotos de gatitos, las diatribas políticas, etc., están explícitamente prohibidas. Esto evita la mayor parte de la paja, pero no toda. Algunos enlaces son paja, en el sentido de ser muy cortos, y también están en tema.

No hay una solución única para eso. Si un enlace es solo una diatriba vacía, los editores a veces lo eliminan incluso si está en tema en el sentido de tratar sobre hacking, porque no está en tema según el estándar real, que es despertar la curiosidad intelectual. Si las publicaciones en un sitio son característicamente de este tipo, a veces lo prohíbo, lo que significa que el contenido nuevo en esa URL se elimina automáticamente. Si una publicación tiene un título de cebo de clics, los editores a veces lo reformulan para que sea más objetivo. Esto es especialmente necesario con los enlaces cuyos títulos son gritos de guerra, porque de lo contrario se convierten en "vota si crees en tal y tal" implícitos, que son la forma más extrema de paja.

Las técnicas para tratar con enlaces deben evolucionar, porque los enlaces lo hacen. La existencia de agregadores ya ha afectado lo que agregan. Los escritores ahora escriben deliberadamente cosas para atraer tráfico de agregadores, a veces incluso de específicos. (No, la ironía de esta afirmación no se me escapa.) Luego están las mutaciones más siniestras, como el linkjacking: publicar una paráfrasis de un artículo de otra persona y enviarla en lugar del original. Estos pueden obtener muchos votos, porque gran parte de lo que es bueno en un artículo sobrevive; de hecho, cuanto más se acerca la paráfrasis al plagio, más sobrevive. [3]

Creo que es importante que un sitio que elimina envíos ofrezca una forma para que los usuarios vean lo que se eliminó si quieren. Eso mantiene a los editores honestos y, lo que es igual de importante, hace que los usuarios confíen en que sabrían si los editores dejaran de ser honestos. Los usuarios de HN pueden hacer esto activando un interruptor llamado showdead en su perfil. [4]

Comentarios

Los malos comentarios parecen ser un problema más difícil que los malos envíos. Si bien la calidad de los enlaces en la página principal de HN no ha cambiado mucho, la calidad del comentario mediano puede haber disminuido un poco.

Hay dos tipos principales de maldad en los comentarios: mezquindad y estupidez. Hay mucha superposición entre los dos: los comentarios mezquinos tienen una probabilidad desproporcionadamente alta de ser también tontos, pero las estrategias para lidiar con ellos son diferentes. La mezquindad es más fácil de controlar. Puedes tener reglas que digan que uno no debe ser mezquino, y si las haces cumplir, parece posible mantener a raya la mezquindad.

Mantener a raya la estupidez es más difícil, quizás porque la estupidez no es tan fácilmente distinguible. Las personas mezquinas son más propensas a saber que están siendo mezquinas que las personas estúpidas a saber que están siendo estúpidas.

La forma más peligrosa de comentario estúpido no es el argumento largo pero erróneo, sino el chiste tonto. Los argumentos largos pero erróneos son en realidad bastante raros. Existe una fuerte correlación entre la calidad del comentario y la longitud; si quisieras comparar la calidad de los comentarios en sitios comunitarios, la longitud promedio sería un buen predictor. Probablemente la causa sea la naturaleza humana más que algo específico de los hilos de comentarios. Probablemente sea simplemente que la estupidez a menudo toma la forma de tener pocas ideas en lugar de ideas equivocadas.

Cualquiera que sea la causa, los comentarios estúpidos tienden a ser cortos. Y dado que es difícil escribir un comentario corto que se distinga por la cantidad de información que transmite, la gente intenta distinguirlos en cambio siendo graciosos. El formato más tentador para los comentarios estúpidos es la supuesta ocurrencia ingeniosa, probablemente porque las ocurrencias son la forma más fácil de humor. [5] Así que una ventaja de prohibir la mezquindad es que también reduce estas.

Los malos comentarios son como la kudzú: se apoderan rápidamente. Los comentarios tienen mucho más efecto en los comentarios nuevos que los envíos en los envíos nuevos. Si alguien envía un artículo mediocre, las otras presentaciones no se vuelven todas mediocres. Pero si alguien publica un comentario estúpido en un hilo, eso marca el tono para la región circundante. La gente responde a los chistes tontos con chistes tontos.

Quizás la solución sea agregar un retraso antes de que las personas puedan responder a un comentario, y hacer que la duración del retraso sea inversamente proporcional a alguna predicción de su calidad. Entonces los hilos tontos crecerían más lentamente. [6]

Personas

Noto que la mayoría de las técnicas que he descrito son conservadoras: están dirigidas a preservar el carácter del sitio en lugar de mejorarlo. No creo que sea un sesgo mío. Se debe a la forma del problema. Hacker News tuvo la suerte de empezar bien, por lo que en este caso es literalmente una cuestión de preservación. Pero creo que este principio también se aplicaría a sitios con orígenes diferentes.

Las cosas buenas en un sitio comunitario provienen de las personas más que de la tecnología; es principalmente en la prevención de cosas malas donde entra en juego la tecnología. La tecnología ciertamente puede mejorar la discusión. Los comentarios anidados lo hacen, por ejemplo. Pero preferiría usar un sitio con funciones primitivas y usuarios inteligentes y amables que uno más avanzado cuyos usuarios fueran idiotas o trolls.

Así que lo más importante que un sitio comunitario puede hacer es atraer el tipo de personas que desea. Un sitio que intenta ser lo más grande posible quiere atraer a todos. Pero un sitio dirigido a un subconjunto particular de usuarios tiene que atraer solo a esos, y lo que es igual de importante, repeler a todos los demás. He hecho un esfuerzo consciente para hacer esto en HN. El diseño gráfico es lo más sencillo posible, y las reglas del sitio desalientan los títulos de enlaces dramáticos. El objetivo es que lo único que interese a alguien que llega a HN por primera vez sean las ideas expresadas allí.

La desventaja de ajustar un sitio para atraer a ciertas personas es que, para esas personas, puede ser demasiado atractivo. Soy muy consciente de lo adictivo que puede ser Hacker News. Para mí, como para muchos usuarios, es una especie de plaza pública virtual. Cuando quiero tomar un descanso del trabajo, entro en la plaza, como podría entrar en Harvard Square o University Ave en el mundo físico. [7] Pero una plaza en línea es más peligrosa que una física. Si pasara medio día holgazaneando en University Ave, me daría cuenta. Tengo que caminar una milla para llegar allí, y sentarse en un café se siente diferente a trabajar. Pero visitar un foro en línea requiere solo un clic, y superficialmente se siente muy parecido a trabajar. Puedes estar perdiendo el tiempo, pero no estás inactivo. Alguien está equivocado en Internet, y tú estás arreglando el problema.

Hacker News es definitivamente útil. He aprendido mucho de las cosas que he leído en HN. He escrito varios ensayos que comenzaron como comentarios allí. Así que no querría que el sitio desapareciera. Pero me gustaría estar seguro de que no es un lastre neto para la productividad. Qué desastre sería, atraer a miles de personas inteligentes a un sitio que les hiciera perder mucho tiempo. Me gustaría estar 100% seguro de que esa no es una descripción de HN.

Siento que la adicción a los juegos y las aplicaciones sociales sigue siendo un problema en gran medida sin resolver. La situación actual es como la del crack en la década de 1980: hemos inventado cosas nuevas terriblemente adictivas y aún no hemos desarrollado formas de protegernos de ellas. Lo haremos eventualmente, y ese es uno de los problemas en los que espero centrarme a continuación.

Notas

[1] Intenté clasificar a los usuarios tanto por la puntuación media como por la mediana de comentarios, y la media (con la puntuación alta descartada) pareció ser el predictor más preciso de alta calidad. Sin embargo, la mediana puede ser el predictor más preciso de baja calidad.

[2] Otra cosa que aprendí de este experimento es que si vas a distinguir entre personas, es mejor que te asegures de hacerlo bien. Este es un problema donde la prototipación rápida no funciona.

De hecho, ese es el argumento intelectualmente honesto para no discriminar entre varios tipos de personas. La razón para no hacerlo no es que todos sean iguales, sino que es malo hacerlo mal y difícil hacerlo bien.

[3] Cuando atrapo publicaciones egregiamente linkjacked, reemplazo la URL con la de lo que sea que hayan copiado. Los sitios que habitualmente hacen linkjacking son prohibidos.

[4] Digg es notorio por su falta de transparencia. La raíz del problema no es que los tipos que dirigen Digg sean especialmente sigilosos, sino que usan el algoritmo incorrecto para generar su página principal. En lugar de subir desde abajo a medida que reciben más votos, como en Reddit, las historias comienzan en la parte superior y son empujadas hacia abajo por las nuevas llegadas.

La razón de la diferencia es que Digg se deriva de Slashdot, mientras que Reddit se deriva de Delicious/popular. Digg es Slashdot con votación en lugar de editores, y Reddit es Delicious/popular con votación en lugar de marcadores. (Todavía puedes ver fósiles de sus orígenes en su diseño gráfico).

El algoritmo de Digg es muy vulnerable a la manipulación, porque cualquier historia que llegue a la página principal es la nueva historia principal. Lo que a su vez obliga a Digg a responder con contramedidas extremas. Muchas startups tienen algún tipo de secreto sobre los subterfugios a los que tuvieron que recurrir en los primeros días, y sospecho que el de Digg es hasta qué punto las historias principales eran elegidas de facto por editores humanos.

[5] El diálogo en Beavis y Butthead estaba compuesto en gran parte por estas, y cuando leo comentarios en sitios realmente malos, puedo oírlos con sus voces.

[6] Sospecho que la mayoría de las técnicas para desalentar los comentarios estúpidos aún no se han descubierto. Xkcd implementó una particularmente ingeniosa en su canal de IRC: no permitir lo mismo dos veces. Una vez que alguien ha dicho "fail", nadie puede volver a decirlo. Esto penalizaría especialmente los comentarios cortos, porque tienen menos espacio para evitar colisiones.

Otra idea prometedora es el filtro de estupidez, que es como un filtro de spam probabilístico, pero entrenado con corpus de comentarios estúpidos y no estúpidos en su lugar.

Es posible que no tengas que eliminar los malos comentarios para resolver el problema. Los comentarios al final de un hilo largo rara vez se ven, por lo que puede ser suficiente incorporar una predicción de calidad en el algoritmo de clasificación de comentarios.

[7] Lo que hace que la mayoría de los suburbios sean tan desmoralizadores es que no hay un centro al que caminar.

Gracias a Justin Kan, Jessica Livingston, Robert Morris, Alexis Ohanian, Emmet Shear y Fred Wilson por leer borradores de esto.

Comentario sobre este ensayo.