Sobre todo, evité mencionar dos temores:

1. Que Google favoreciera a su nuevo emprendimiento de manera evidente en las búsquedas, sacrificando su característica de mayor prestigio y lo que la distinguió de otros buscadores en sus inicios.
2. Que Knol sólo sirviera para que mucha gente saliera con la tijera a copiar y pegar de otros sitios, negando autorías y violando restricciones impuestas por otras licencias.

Cuando surgió Google, los buscadores de aquél entonces no hacían ningún análisis de relevancia para ordenar los resultados de su búsqueda. Simplemente mostraban en primer lugar a los que pagaban y al resto en el orden en que los habían encontrado. Buscar algo en internet era una pesadilla.

Google cambió internet y cambió para siempre los buscadores: utilizó un algoritmo basado en un concepto muy innovador para la época, llamado PageRank, que cuenta la cantidad de enlaces que recibe una página desde otros sitios de internet. Por supuesto, no es el único criterio utilizado, pero es la base de Google y lo que permite un orden a veces mejor, a veces no tanto, pero siempre objetivo.

Knol parece haber cambiado eso. Su lanzamiento público fue el 27 de julio, un día después, según algunos análisis, un tercio de las búsquedas que involucraban artículo de Knol ya estaban en las primeras posiciones de los resultados.

¿Cuál es el problema?, se preguntará más de uno. Pues bien, Google ostenta un posición casi monopólica en los buscadores de la web. Desde esa posición está en condiciones de direccionar casi todo el tráfico, lo que implica controlar la información. En condiciones monopólicas, sólo un buscador con algoritmos públicos que pueda testearse por implementaciones independientes puede dar certeza de no estar manipulando resultados, pero todos los intentos (por ejemplo, Wikia Search) están aún muy inmaduros.

El segundo problema consiste en la invitación a cortar y pegar, violando autorías y licencias en esa aventura. Knol lleva dos días y una enorme cantidad de sus artículos son de la Wikipedia, pero la gran mayoría no están licenciados con la GFDL, no hay un reconocimiento a sus autores y ni siquiera hay una mención a la fuente. En el colmo del ridículo, ¡hasta el artículo sobre la Wikipedia está plagiado de la Wikipedia!

Quizás todo esto sea parte de la etapa de puesta en marcha: sin embargo son señales inquietantes. Y la presunción de buena fe se hace una tarea de lo más difícil.

Si bien deseo fervientemente que este nuevo buscador tenga éxito (ya he explicado mis razones), lo cierto es que más que una versión pre-alpha (que significa que se trata de la última versión para ajustes menores previa a la versión “de producción”), parece ser una beta muy preliminar.

Entiendo la lógica de sacar borradores inacabados para estimular la formación de una amplia comunidad de evaluadores y correctores -como ha sido siempre la lógica del software libre- sin embargo, tratándose de un servicio tan particular como lo es la búsqueda en internet y que el universo de usuarios es bastante más amplio que la comunidad de programadores (a quienes va dirigida cada versión inestable de un nuevo programa), se corre el riesgo de generar más decepción que entusiasmo.

Hay varios errores menores (pero inaceptables en una versión “casi final”). Por ejemplo: cuando la búsqueda tiene más de 10 resultados, a continuación de la décima página indexada hay un botón que dice “Results 11 to 20″ (tal como en Google). Si uno hace click en ese botón, pero en lugar de 10 resultados más había sólo uno, aparece a continuación de ese resultado un botón que indica “Results 12 to 20″… pero no hay más de 11 resultados, por lo que si uno aprieta ese botón vuelve a aparecer más abajo, y así ad infinitum.

Otro error (no tan menor, y aún más inaceptable) es que el buscador no reconoce caracteres especiales como las vocales acentuadas o la “ñ”. Un bochorno, ya que genera caracteres extraños para la mayor parte de la lenguas que se hablan en el mundo, que utilizan algún tipo de acento, diéresis o caracteres no usados en el idioma inglés como “æ”, “ø” u otros. Que el buscador no soporte codificación UTF-8 en su primera versión pública es inquietante aunque el problema en sí no sea de difícil solución.

De las herramientas sociales que acompañan el buscador, no voy a ocuparme aún. Tampoco me parece sustancial, es el buscador el que tiene que funcionar de manera óptima, las herramientas sociales son un agregado a mi juicio no esencial.

Hasta ahora parece arrojar pocos resultados para cualquier búsqueda, sin embargo esto sí me parece razonable: llevará algún tiempo (no mucho, pero algún tiempo al fin) para que Wikia Search tenga un rastreo completo de la web. Recuerdo que hace pocos años Google no verificaba todas las páginas todos los días, sino que había un “deep crawl” (rastreo en profundidad) una vez al mes. Hoy tampoco recorre toda la web a diario, pero ha incorporado mecanismos de actualización muy eficaces y verifica permanentemente los sitios que tienen una frecuencia de actualización elevada, así como aquellos que indican novedades en otros sitios. De esa forma, hay noticias que aparecen indexadas en Google a los pocos minutos de su aparición. No me parece justo pretender de Wikia Search versión pre-aplha el mismo nivel de profundidad en su base de datos ni de eficiencia en su nivel de actualización.

Sigo insistiendo en mi deseo: ojalá Wikia Search funcione tan bien que sea una alternativa competitiva a Google. Pero para eso no alcanza con buenas intenciones. Espero que la estrategia de hacer público un servicio al que evidentemente le falta bastante maduración haya sido la correcta. Habrá que esperar para ver.

Su lanzamiento, previsto originalmente para algún momento de 2007, se ha ido demorando y ahora parece tener nueva fecha: según Jimbo, el 7 de enero de 2008, los Reyes Magos dejarán un bonus track en sus zapatitos. Wikia Search ha renovado en los últimos días la expectativa de su aparición, debido a cierta polémica que se generó con el anuncio de Google con su iniciativa enciclopédica, y algunas especulaciones que vinculaban estos dos lanzamientos.

En efecto, no pocos señalaron que el desarrollo de una enciclopedia en línea por parte de Google era una respuesta al lanzamiento de Wikia Search por parte de Jimbo. Algunos sensacionalistas mal informados titularon incluso “Wikipedia se lanza al mercado de los buscadores”.

Ya hemos escrito algunas líneas acerca de Knol, pero lo cierto es que hasta ahora no hay mucho más que humo: declaraciones imprecisas y vagas expresiones de deseo.

De Wikia Search se sabe bastante más: en primer lugar que es una iniciativa de Wikia, no de Wikipedia ni de la Fundación Wikimedia. Wikia es un emprendimiento comercial creado por Jimbo (entre otros) que desarrolla actividades en internet, básicamente promoviendo comunidades en línea que desarrollan contenidos mediante el uso del software Mediawiki. La Wikipedia es una enciclopedia en línea, mantenida por una organización sin ánimo de lucro llamada Fundación Wikimedia. Jimbo ha sido el creador de la Wikipedia y es miembro de la Fundación Wikimedia pero eso no convierte a sus emprendimientos comerciales en iniciativas de la Fundación. Elemental, pero hay mucha gente que parece empeñada en confundir las cosas.

En segundo lugar, Wikia Search prevé algunas características que en principio lo diferenciarán del resto de los buscadores: lo principal es que estará basado en software libre y sus algoritmos también serán abiertos. Esta es, en mi opinión, la innovación en buscadores más importante desde Google hasta hoy. De hecho, pienso que las demás características (la posibilidad de participación comunitaria para ajustar los resultados, la garantía de privacidad, la calidad de los resultados, etc.), son posibles en gran parte debido a esto. El motor de rastreo (crawling) será Grub, un desarrollo libre que hoy mismo cualquiera puede bajar y probar. Claro que para rastrear e indexar toda la web hace falta un poco más de infraestructura que una PC con banda ancha.

¿Alguien recuerda cómo era internet antes de Google? Los buscadores ordenaban sus resultados de acuerdo a una pauta de publicidad en la mayor parte de los casos, buscar información era engorroso, al punto que los índices de sitios web a menudo eran más útiles que los buscadores, y de hecho, había relativamente pocos sitios orientados al contenido. El aporte fundamental de Google es el pagerank: la idea de que los enlaces de un sitio a otro podían ser una medida de valor en la red social de la web. Ordenar los resultados en base a un conjunto de indicadores cuyo eje es el concepto de pagerank permitió ordenar la web en términos de relevancia, no de publicidad, y supuso un impulso fabuloso para el desarrollo de los sitios basados en contenido y en servicios.

Hoy el concepto desarrollado por Google supone un estándar para todos los buscadores, que implementan cada cual a su manera criterios similares. A pesar de que todos han intentado parecerse, han quedado irremediablemente lejos: Google ha acaparado las búsquedas que se hacen en internet, no sólo porque es, efectivamente, una herramienta magnífica (increíblemente fácil de usar, con una interfaz limpia y clara, y que además, funciona de maravillas), sino porque al haber surgido en oposición a la indexación por publicidad, todos asumimos que los resultados de Google no están manipulados por intereses comerciales sino que son el resultado estricto de aplicar un algoritmo imparcial sobre las páginas rastreadas. Es decir, usamos Google porque arroja excelentes resultados pero además porque creemos en Google.

El punto es que el algoritmo de indexación de Google es secreto. Es muy probable que no exista manipulación alguna, pero lo cierto es que resulta imposible saberlo. El anuncio de lanzamiento de Knol, la enciclopedia de Google, no me pareció inquietante por su eventual competencia con la Wikipedia (si los contenidos son libres, bienvenido sea, pues el objetivo de la Wikipedia no es promocionarse a sí misma sino promover el conocimiento libre; si sus contenidos no son libres, no creo que logre desarrollarse al punto de suponer competencia, pero este es tema de otro post). Me pareció inquietante, sí, por una afirmación perdida en el blog oficial de Google: se espera que haya artículos de diversa calidad, el trabajo de Google, dice el artículo, será rankearlos (en las búsquedas) adecuadamente de acuerdo a su calidad. ¿Google acaso favorecerá a los mejores artículos de Knol por su calidad? La forma en que Google determina la posición de una página en una búsqueda no incluye una valoración de calidad, salvo por indicadores objetivos (cantidad de enlaces entrantes, origen de esos enlaces, etc.). Si así fuera, si los artículos de Knol fueran tratados de manera diferencial al resto de la web sería una gran decepción para esa fe (el “creemos en Google”) que es parte sustancial del valor que tiene Google como servicio y como empresa. Pero lo más triste es que, como se ha dicho más arriba, no habrá forma de saberlo.

Si Wikia Search funciona de manera razonable traerá el enorme valor agregado del carácter libre y abierto: no sólo se podrá analizar el mecanismo de rastreo e indexación, sino que se podrán hacer implementaciones paralelas para verificar que no haya distorsiones en los resultados. Claro que, como dije al principio, para ello será necesaria una infraestructura informática de dimensiones, pero la sola posibilidad de hacerlo enriquece la herramienta de búsqueda (y la fe en ella).

Dice el sitio del proyecto Grub:

La búsqueda es parte fundamental de la infraestructura de Internet. Y actualmente está rota.

¿Por qué está rota? Está rota por la misma razón que hace que el software propietario esté siempre roto: falta de libertad, falta de comunidad, falta de transparencia. Aquí comenzaremos a cambiar todo eso.

Uno no puede menos que suscribirlo.