¿Qué es ThunderCache Profesional? ¿Cómo funciona?

Información General

ThunderCache es un novedos sistema de webcache cuya principal característica es

almacenar archivos con URL dinámico. como por ejemplo, los videos de Youtube,
videos xxx como Redtube, Youporn, Xvideos, las actualizaciones de Windows
Update, actualizaciones de antivirus como Avira, Kaspersky, NOD32, páginas de
descarga directa como Megaupload, Rapidshare, y mucho más, lo que implicaría
un considerable ahorro de ancho de banda y mayor velocidad para nuestros clientes
ya que el contenido saldrá directamente de nuestro servidor cuando sea solicitado
por segunda vez.

Por ejemplo, he grabado un video de lo que sucede cuando un video del Youtube es
visto por segunda vez, notarán la gran velocidad de carga.

¿Cómo funciona?

Para entender cómo funciona ThunderCache, tenemos que entender antes cómo
funciona un webcaché (o webproxy) en general; bueno, en realidad sobre esto hay
mucha información suelta en la red así que lo haré algo abreviado.

Un servidor webcaché es un tipo de servidor proxy que se encarga hacer de

intermediario de nuestro PC e internet, haciendo peticiones de un determinado
contenido, como por ejemplo, los elementos de una página web, la descarga de un
mp3, un video, una imagen, etc. y almacenándolo. Para hacerlo más fácil, cuando
queremos ver una página web cualquiera, por ejemplo, El Comercio, nuestro PC (en
realidad es el navegador: Internet Explorer, Firefox, etc.) hará la petición al
servidor webcaché, paso siguente, el servidor webcaché hará la petición
directamente a la página El Comercio, descargando y almacenando en su disco duro
todos los elementos que esta página contiene (imagenes, animaciones, música,
etc), y durante ese proceso, el servidor webcaché también estará enviando esos
mismos elementos al PC que hizo la petición para así poder mostrar la página en
pantalla. Debido a este proceso, el servidor webcaché tendrá almacenado la 'página
web' de El Comercio en su disco duro, así que cuando otro PC solicite la misma
página, el servidor webcache se la enviará directamente desde su disco duro a
velocidad superior, ahorrando ancho de banda de internet.

Bueno, este proceso no es tan simple como parece. Separemos 2 instancias:

'CACHÉ' y 'HIT'. Cuando un elemento cualquiera es descargado y grabado en el
disco duro y/o memoria del servidor, a este proceso lo llamaremos 'CACHÉ'.
Cuando un elemento grabado salga del disco duro y/o memoria del servidor, a este
proceso lo llamaremos 'HIT'; como es de suponerse, el ahorro de ancho de banda
de internet sólo sucederá cuando tengamos un 'HIT', y mientras más 'HIT'
tengamos, más ahorro tendremos.

Para que exista un 'HIT' son necesarias las siguientes condiciones:

 El elemento origen tiene que ser el mismo que el elemento guardado en

el disco duro del servidor (tamaño, fecha de creación, fecha de
modificación). Si el elemento cambia, entonces no habrá 'HIT', y claro,
el server al notar la diferencia lo volverá a descargar para así 'refrescar'
el caché.
 El URL del elemento tiene que ser siempre el mismo. Entonces, si veo o
descargo estaimagen, esta imagen se almacenará en el servidor, por lo
 tanto hará 'CACHÉ', y si la volviésemos a ver, entonces esta imagen
saldría del disco duro y ya no de internet, entonces tendremos un 'HIT'
ya que el URL es el mismo.

Ya en este segundo punto viene lo interesante. Muchas páginas como por ejemplo
YouTube, Megaupload, y un largo etc. utilizan un sistema de URL dinámicos; esto
quiere decir, que a pesar que el elemento sea el mismo, el URL siempre tendrá una
ligera -o muy estructurada- variación, por lo tanto, el server creerá que se trata de
un elemento distinto, y lo volverá a descargar de internet:

 http://www640.megaupload.com/files/f5xcvde579a7a55b49070xce579
a4c10/naruto112.rar
 http://www720.megaupload.com/files/f51b4fe579a7asdfa34tt70c2fb89
54c10/naruto112.rar

Ambos URL apuntan al archivo "naruto112.rar", y a causa de diferencias en el URL,

este se volverá a descargar de internet a pesar de ser el mismo archivo. Tener en
cuenta que estos URL dinámicos apuntan directamente a un elemento, y no a la
página en sí.

Bueno, es justamente ahí donde empieza a trabajar ThunderCache. Tomando el

mismo ejemplo anterior:

 http://www640.megaupload.com/files/f5xcvde579a7a55b49070xce
579a4c10/naruto112.rar
 http://www720.megaupload.com/files/f51b4fe579a7asdfa34tt70c2f
b8954c77/naruto112.rar

ThunderCache hará que esas variaciones en el URL sean ignoradas por el servidor
webcaché; eso quiere decir, que a pesar de que el elemento tenga URL's distintas,
este nos devolverá un 'HIT'. Programas de este tipo son llamados "URL rewritters",
en este caso, uno dedicado al webcaché.

Toda la lógica para hacer funcionar a ThunderCache (cosas como: ¿Con qué
páginas tengo que funcionar? ¿Qué parte o partes del URL ignorar? ¿Qué parte del
URL es el nombre del archivo a descargar?, etc.) , están contenidos en pequeños
archivos programados en C++ llamados plugins. Tener en cuenta que el URL que
usé como ejemplo es uno muy simple, que sin ir muy lejos se pueden encontrar
URL's de una complejidad impresionante, y por lo tanto, la dificultad en la
programación del plugin será mucho mayor.

Bueno, con esto habré explicado a gran escala cómo funciona ThunderCache.
Obviamente utilicé terminos muy poco técnicos para que se pueda entender mejor.
Así que si un usuario entendido lee esto, que me perdone la simpleza.

¿Qué es un plugin?

Como vimos en el artículo ¿Cómo funciona? Toda la lógica que explica a

ThunderCache para que haga 'CACHÉ' y 'HIT' de elementos con URL dinámicos
están dentro de archivos programados en C++ llamados plugins. Existen tantos
plugins como páginas de URL dinámico a las que se necesite hacer 'CACHÉ', y que
obviamente quieras que ThunderCache se encargue. Como es natural, los
elementos de URL estático no necesitan plugin.

De esta manera, tenemos un plugin para YouTube, RedTube, Vimeo, Avira, NOD32,
Windows Update, Megaupload, Rapidshare, y muchos más.

¿Cuándo un plugin es obsoleto?

Bueno, en la red nada es permanente, todo está bajo constante cambio, mudanza
de servidores, nuevos dominios, fusiones empresariales, etc. y para los plugins,
esto no es la excepción. Aunque si bien es algo difícil que una página web ya
consolidada cambie su estructura con facilidad, se han dado casos, como por
ejemplo, Redtube en abril.

Si un plugin está programado para trabajar con la siguiente lógica:

 http://www640.facebook.com/video/e3vde579a7a55b49070xce57
9a4c99/grupo5concierto.mp4

Pero si luego de indeterminado tiempo llegara a utilizar otro dominio como:

 http://www145.fbkcdn.net/video/f5xcvdsd579a7a545g9070xc5trd
g10/grupo5concierto.mp4

Entonces:

 Si ya no se utilizara facebook.com como dominio de los videos, se dice

que el plugin es obsoleto.
 Si se utilizara tanto facebook.com y fbkcdn.net como 2 dominios de
videos, se dice que el plugin está desactualizado.

Si se diera el caso, se tendría que volver programar el plugin o actualizarlo para

que vuelva a funcionar.

Requerimientos del Sistema

ThunderCache necesita ser instalado en un PC 'buenas' prestaciones. ¿Qué tan

buenas? Pues eso depende de la cantidad de clientes que se lleguen a conectarse y
hacer peticiones al server.

Se puede hablar de requerimientos mínimos, en este caso podría ser:

 2GB de RAM por cada 40 clientes

 1TB de Disco duro por cada 60 clientes.

Obviamente, si hablamos de caché dedicado, la RAM siempre es bienvenida, así que

si se tiene la oportunidad de colocarle más RAM, pues mejor. Tener en cuenta que
esto no es una proporción fija; por ejemplo, mi consultor MikroTik (USA) tiene una
base de 500 clientes aproximadamente, y su server ThunderCache tiene un raid 0
de 3 discos de 2TB, y 8GB de RAM, y todo bien. Según estadísticas, tendrá que
hacer limpieza cada 5 meses.

El procesador no es un elemento del todo importante, pero si ya se superan los 50

clientes, sí que llegará a necesitar un procesador Dual Core mínimo.

En mi caso, tengo esta configuración para una base con 42 clientes:

 Motherboard Gigabyte MA-785GPMT-UD2H

 Procesador Sempron 140, con un núcleo desbloqueado gracias a la
placa.
 RAM 2x2GB DDR3
 Disco duro 1TB Seagate.

La placa madre es uno de los elementos más importantes de cualquier sistema de

cómputo que necesite estabilidad, esa placa en especial usa únicamente
condensadores sólidos, bobinas de núcleo de ferrita, y demás características que la
harán muy durable y fiable. Claro, todo esto acompañado por una fuente de poder
de marca reconocida para evitar daños por alguna falla eléctrica. En todo caso, esto
último ya es a gusto de cada uno, que aveces gastar un poco más en piezas de
calidad evita hacer doble gasto debido a un supuesto 'ahorro'.

ThunderCache y Mikrotik

ThunderCache y Mikrotik son 2 sistemas distintos, ninguno sustituye al otro, y

tampoco se recomienda instalar ambos sistemas en el mismo servidor, por lo tanto,
son necesarios 2 servidores independientes, uno dedicado al caché: ThunderCache,
y uno dedicado a ser un core-router: Mikrotik RouterOS

Si se quiere ahorrar luz, se puede sustituir el PC-Server MikroTik por un RB450G

sólo si se tiene no más de 100 clientes; obviamente utilizaremos al RB450G
únicamente como core router, NO como balanceador de carga. Si se dispone de 2 o
más lineas de internet, lo mejor que se puede hacer es comprar un RB750 ó
RB750G para dedicarlo al balanceo de carga... o bueno, si no se dan las facilidades
para hacer la infraestructura que recomiendo, no habría problema en añadir el
balanceo de carga al core router... esto no lo recomiendo ya que cuando tenemos
acumulación de servidores, lo mejor es separar los problemas, y así poder
descartar y solucionar rápidamente cualquier imprevisto, y si se tienen muchos
clientes, el equipo no será suficiente.

Por estadística, el 80% de los clientes estarán completamente desconectados desde

las 2AM hasta las 8AM, así que se puede programar el apagado y encendido
automático en ThunderCache para el ahorro de luz durante esas 6 horas de tiempo
muerto, obviamente por configuración se hará que los clientes no 'sientan' el
apagado del servidor ThunderCache.