Twitter Permite a los usuarios buscar todos los tweets públicos enviados

Twitter ha abierto todo su catálogo de mensajes a un motor de búsqueda, lo que significa que todo su contenido, alrededor de 500 mil millones de documentos, está disponible para examinar en línea.

La red social se lanzó hace unos ocho años y medio y ahora afirma tener unos 284 millones de usuarios activos mensuales.

Twitter El ingeniero Yi Zhuang dijo en una publicación de blog que la búsqueda mejorada y ampliada requería mucho trabajo.

“Desde ese primer tweet simple hace más de ocho años, cientos de miles de millones de tweets han capturado experiencias humanas cotidianas y eventos históricos importantes”, escribió.

“Nuestro motor de búsqueda se destacó por mostrar noticias y eventos de última hora en tiempo real, y nuestra infraestructura de índices de búsqueda reflejó este fuerte énfasis en la ‘actualidad’.

“Pero nuestro objetivo desde hace mucho tiempo ha sido permitir que las personas busquen en todos los tweets publicados. Nosotros [have] creó un servicio de búsqueda que indexa de manera eficiente aproximadamente medio billón de documentos y atiende consultas con una latencia promedio de menos de 100 ms “.

El motor de búsqueda tiene todo el canon de mensajes de 140 caracteres a su disposición, y Zhuang sugirió que tendría una variedad de aplicaciones, particularmente para empresas o individuos que buscan contenido sobre un incidente o evento.

El nuevo índice es 100 veces mayor que el anterior y crece en “varios miles de millones de tweets a la semana”, según el ingeniero. Este podría ser un buen momento para Twitter que los usuarios regresen a sus cuentas y eliminen cualquier tweet dudoso para evitar que resurjan y los avergüencen.

El sistema es una combinación de agregación, partición e indexación de datos por lotes, y es escalable, fácil de usar y confiable, según Zhuang.

“Nuestros clústeres de índices en tiempo real de tamaño fijo no son triviales para expandirse; agregar capacidad requiere volver a particionar y una sobrecarga operativa significativa. Necesitábamos un sistema que se expandiera en su lugar con gracia “.

solo arreglando mi twttr

– Jack (@jack) 21 de marzo de 2006

Este artículo se publicó originalmente en V3.