Caída de TuiterRocks: crónica de una migración forzada, 145.000 emojis y un Mastodon que no era

Hay dos tipos de fines de semana en la vida de una admin de Mastodon: los que empiezan con café y los que empiezan mirando Sidekiq. Este ha sido del segundo tipo.

Viernes: cuando algo dejó de ir fino

La instancia llevaba días rara: federación lenta, colas creciendo y workers desaparecidos en combate.

Hasta que dejó de ser sensación y pasó a ser dato:

• Más de 100.000 jobs en cola
• Dead jobs acumulándose
• Workers sin procesar

La infraestructura estaba alojada en fedi.monster, así que abrimos ticket, revisamos métricas… y a esperar.

Mirar el panel sabiendo que no puedes hacer mucho más.

Sábado y domingo: modo espera

El finde fue básicamente esto:

• Monitorizar colas de Sidekiq
• Revisar logs
• Ver si revivían workers
• Esperar respuesta

Spoiler: no llegó.

Federación caída. Jobs acumulándose. Instancia online… pero congelada.

A lo mejor hay que migrar.

Pero migrar Mastodon en caliente no se improvisa si puedes evitarlo, así que el finde fue de checklist mental y café. Mucho café.

Lunes: reconstrucción desde cero

Sin respuesta efectiva y con la federación parada, el lunes arrancó el plan B: infraestructura propia.

Provisionar VPS. Docker. Stack. Base de datos. Media. Horas después: la criatura respiraba otra vez.

Subtrama técnica absurda (pero real)

En mitad del despliegue decidí aprovechar para ajustar límites. Porque ya que migras… tuneas.

Y claro: el fichero no me aceptaba los 2001 caracteres de toot. Así que ahí me ves tocando variables, mirando .env y reiniciando contenedores. Hasta que pasé a fase superior: tocar Ruby. Sí. Con sueño. Un lunes. Después de una migración.

Oye… esto no se ve igual.

Y ahí llegó la iluminación: era Mastodon vainilla. Había instalado la versión que no era. Horas peleándome con límites… que funcionaban distinto en esa build.

Bueno. Pues ahora es canon.

Reinstalar quedaba muy lejos del plan vital de ese lunes. Así que sí: TuiterRocks ahora mismo corre Mastodon vainilla tuneado a mano.

La invasión emoji

Con la instancia ya arriba empezó la segunda película de terror: repoblación de medios remotos (avatares, headers, adjuntos… y emojis).

Actualmente el sistema ronda una cifra absolutamente razonable: 145.000 emojis descargándose.

Sidekiq ahora mismo es básicamente un mapache bajando stickers federados sin descanso.

Disco subiendo decenas de GB. Workers procesando sin tregua. Redis mirando al vacío. Pero la federación vuelve.

Estado actual

• Migración fuera de fedi.monster completada
• Infraestructura propia operativa
• Base de datos restaurada
• Media local intacta
• Federación reactivándose
• 145K emojis en proceso
• Admin funcionando por inercia

Lo importante

Gracias por la paciencia este finde. Por esperar, por preguntar, por seguir ahí cuando la instancia estaba en modo pausa técnica.

Porque mientras Sidekiq acumulaba muertos y yo peleaba con Ruby con sueño un lunes, vosotros aguantasteis. Tranquilos. En vuestro sitio. Esperando que el mapache volviera a funcionar.

Y eso, en el Fediverso, vale mucho.

Seguimos

Instancia arriba. Federación regresando. 145.000 emojis bajando como si no hubiera un mañana. La infraestructura ahora es nuestra, los límites están tuneados a mano, y sí: corremos Mastodon vainilla porque reinstalar quedaba muy lejos del plan vital de ese lunes.

Cutre pero nuestro. Que es exactamente como nos gusta.