bueno. asi pensando, se me ha ocurrido la madre de todas las ideas (?). a veces necesito mucha potencia de calculo (aun me acuerdo de aquella matriz de 1000x1000 con 10k iteraciones... intentando que acabara "algun dia" en mi eeepc. ), y como tengo varias maquinas por casa, se me ha ocurrido hacer el bruto, y ponerlas a trabajar juntitas en paralelo.

el caso es, ayer me pase por la wikipedia y llegue a varias conclusiones. la primera, es que lo que yo quiero se puede hacer, se llama cluster load-balance (o algo asi ), y lo que hace es balancear la carga, de tal modo, que si un nodo esta muy cargado, le pasa procesos a otro para que los ejecute, todo esto de forma transparente al usuario.

tambien lei, que esto se puede hacer de varias maneras. la que me interesa, es el single system image (que hace mas o menos lo que he dicho antes).

el tema es, implementaciones de SSI sobre linux, hay varias. esta openMosix (parado completamente), kerrighed (interesante, pero tiene una pega que ahora comentare), y openSSI, que oficialmente no esta parado, pero tampoco lleva un desarollo muy activo, siendo que no sacar version estable desde hace varios anios, y la ultima release es una previw, y data del anio pasado.

asi que primera pregunta: alguien trabaja con openSSI actualmente?? o con algun otro?? me podeis contra vuestra experiencia??

mas. viendo el estado de los otros dos proyectos, kerrighed parece la opcion logica. PERO. a decir verdad, la implementacion parece un poco compleja: solo funciona ocn determinadas versiones del kernel (2.6.30 actualmente), y dos detalles muy importantes: solo admite nodos diskless (yo preferiria que las maquinas aprovechasen el disco que tienen...), y en la pagina pone algo de que a partir de la version 2.4 solo esta soportada la arquitectura amd64. sin embargo, durante el resto de la documentacion no pone nada mas. pregunta: se refiere al server?? o a los nodos?? (los nodos son cada uno de su padre y de su madre, asi que me gustaria que en este aspecto soportara amplitud de caracteristicas).

otra pregunta mas. segun lei, se pueden ejecutar los procesos "dentro" del cluster (en una especie de entorno virtual), o fuera, de tal forma que si lo haces fuera, es como si no estuviera instalaldo kerrighed. pregunta. esto se aplica tambien a los nodos?? (digo: uno de los nodos, si puede ser, es el eeepc, que hace de router. la idea es, que en el corra el kernel de kerrighed, pero que fuera, yo pueda cargar lo necesario para que siga haciendo de router, y como minimo, le de internet al servidor. logicamente, si no se puede, dejare al eeepc fuera del cluster... )

un detalle mas: se que esto es un poco matar moscas a canionazos. el cluster casero, va a ser una chapuza de cuatro maquinas (si puedo meter al eeepc), sin mucho mas objetivo que el de sacar un poquito mas de potencia para los momentos en que la necesite. no obstante, tambien quiero aprender. porque lo cierto, es que de clusters y cosas en paralelo, no tengo ni idea.

*nota: no busco que alguien me pase documentacion. google esta lleno, y kerrighed tiene una guia que parece facil (ingluso para la parte de configurar los nodos para diskless) . busco mas que la gente me cuente su experiencia, y si le ha gustado tal programa o tal otro.

*nota 2: TAMPOCO quiero un beowulf basado en MPI/PVM. no quiero tener que recompilar programas, y mucho menos aprender a programar para que se aprovechen las caracteristicas del cluster. busco un sistema SSI: ya que tengo cuatro cpu's, que si necesito potencia, se usen esas cpu's, al igual que mi sistema usa sus dos cores como si tal cosa (aka, SMP).

mm lo que planteas se discutió hace un tiempo atrás en un grupo del que yo participaba y la conclusión final es que mas aya de los fines pedagógicos es muy costoso económicamente montar un cluster con maquinas inferiores o iguales a un P4 -- para el caso mejor comprar un hard mas potente... el costo de energía eléctrica es ya abrumador .. no se que tal eso por españa pero por aquí en tres meses te compras una core dos duo con la plata del ahorro.

con respecto a la opinión sobre el software te comento que no conozco en profundidad el tema pero los mas entendidos habían sugerido trabajar con http://code.google.com/p/inferno-os/

si ya se que no querías enlaces pero bue .... es que tengo miles de enlaces y me gusta compartir XDD

tengo dos de esos (bueh, son amd, pero para el caso... ). lo que no quiero, es tener que comprarme un phenom X6.

a ver, yo lo entiendo, el bicho grande, traga unos 500W. no es plan de tenerlo tooodo el dia solo para que iceweasel vaya mas ligero. pero si me pongo a compilar el kernel, por poner un ejemplo, quiero que ese otro dual core, no este apagado. quiero que me =d potencia, y que durante, a ojo, una hora, este encendido, compilando el kernel. si, consume. pero yo tardo una hora en vez de dos (a ojo) en compilar el kernel. luego lo apago, y ya estamos como antes. (nota: si, kerrighed permite hacer eso. creo. ) el resultado, es que he tenido ~700 W durante 1 hora, en vez de ~500 durante 2.

y ya ni hablar del ejemplo que he puesto antes. si necesito esos datos, los nmecesito antes de pasado maniana. la factura de la luz, por ~ tres horas del bicho grande, no me preocupa. me preocupa no tener que irme a dormir a las mil, porque los datos no se han procesado.

en cuanto al link.. no he dicho que no quiera links, he dicho que no quiero guias sobre como donfigurarlo. mirandolo un poco, para mi incumple dos premisas (que, cierto, antes nohe mencionmado, al menos la primera)
a) eso es un SO aparte. mi querer debian. releo. parece que si que se puede montar sobre debian.
b) la base, es un "lenguaje" para programar aplicaciones que corran en paralelo. mi idea no es esa. mi idea es sencillamente tener mas cores. si tengo que recompilar tooodo el sistema (o una parte), me da algo. si encima lo tengoq ue optimizar para paralelo, ya si que dimito. releo. la compilacion es opcional. aun asi, la base el el grid computing (aka, cada maquina a su bola, y luego comparten la informacion), NO un SMP a traves de la red (por si alguien no lo sabe, SMP es lo que hace mi maquina dual core para manejar dos cores a la vez, dicho llanamente. )

por si no me he explicado bien: la idea es: yo quiero compilar el kernel (por poner un ejemplo). tengo mi ian (amd64 X2 @ 2.0 Ghz ), que trabaja, y tarda un par de horas. y luego, el bichito grande (amd 64 X2 @ ~2.5 Ghz). pues bien. quiero que trabajen esos cuatro cores a la vez mientras se compila el kernel (aka SMP.). luego ya me encargare de apagar al bichito grande para que no se dispare la factura de la luz.

y aclaracion: YA SE que la base de lo que quiero hacer, es el SSI. la pregunta basica es: que implementacion de este uso?? y la pregunta b es: kerrighed, en concreto, tiene las limitaciones que he dicho?? (64 bits, nodos "independientes" que pueden hacer mas cosas que solo trabajar en el cluster, etc.)

PD: de todas formas, muchas gracias, mcun. lo cierto es que en el tema "gasto de luz" no habia pensado, y si que es verdad, que al bichito grande no se le puede tener mucho encendido, que traga mucho. aun asi, no me preocupa. quiero potencia para momentos puntuales, no para el uso diario.

Un consejo, Niky

Al usar tantos smileys le quita seriedad al asunto.... yo no he podido leerlo entero y he ido saltando de smiley en smiley xDD

[/mode offtopic off]

creo que niky fundo esta pagina

pero esta buscando ayuda

XDD

cierto. no habia releido a fondo el segundo post. se me ha ido la mano... voy a coger la bayeta y a limpiarlo un poco.

PD: no obstante, prometo ir moderandome.... a partir del proximo post

PD2: hala, yoyo, ya lo puedes leer entero. ya no creo que te distraigan mucho los emoticonos.

jajaj es broma, mujer, si a mi me gustan, acá no los uso mucho por ser un foro mas serio, pero en mis foros locales pongo mas smileys que palabras

Ahora leo tus mensajes, o mejor mañana que ya me llaman pa cenar

Por ahi me dijeron que no se gana mucha potencia con ese tipo de clusters. 20 PII = 1PIV o algo mas sangriento todavia. Estuve jugando con OPENAIX para hacer cluster redundantes aun sigo en pruebas , Y claro tambien se puede hacer balanceo de carga. Y por ahora estoy haciendo mis pruebas en maquinas virtuales solamente.

RHEL y Centos tiene excelente soporte , esta en almacenamiento resistente, Debian no creo que se haya quedado quieto(hasta slackware posee soporte externo y eso ya es mucho).

Existen varios sistemas de archivos como gfs ,gfs2 , otro de oracle,ibm, etc .

Y si eso de los emoticones distrae mucho , La primera vez pase al siguiente comentario ,Lo lei finalmente al tercer intento.

podrias... darme referencias?? o datos?? o algo??

imagino que la mayor parte de esto es porque la red es un buen limitante (tengo fast ethernet, posibilidad de gigabit ethernet en dos de las maquinas), pero... corcho, yo creo que se tiene que notar.. por ahi hay un monton de guias de gente que monta un minisuperordenador a base de esto, y el hardware es muy variado (desde pentium 2 hasta quad cores). obviamente, no voy a ganar esos 2 x 2.5 Ghz (hablando del bicho grande), pero digo yo que algo si que se notara, no??



interesante. lo cierto es que para lo que estoy mirando (kerrighed) en los repos de debian no hay nada, pero vamos, que la base es meter un kernel con un parche (esto es independiente de la distro), y el resto es solo cargar en diskless desde ese kernel (trambien independiente de la distro, y debian tiene MUY buenas herramientas para ello, -lease debootstrap)


interesante. tienes algun link sobre eso a mano?? (si vas a tirar de google, lo hago yo, es por si tu ya sabes donde esta ) algun dato??? hasta ahora no he leido sobre sistemas de ficheros para cluster (casi todas las implementaciones se basan en un diskless). podria ser interesante.


mejor asi??



AJAJA!!! te pille. tu no los lees porque son muy largos. (era una broma. sobre todo lo del "ya puedes leerlo todo") *nota: que yo te entiendo. si los tuviera que leer yo, tambien ponia cualquier excusa... OH. WAIT.

*nota-offtopic: mira que me esta constando no abusar de ellos, eh?? he tenido que borrar varios. (niky, no cierres la frase con un emoticono, que te veo... )

PD: a modo de resumen de todo (resumen?? O_o ) ahora mismo, estoy siguiendo esta guia: http://www.stevekelly.eu/cluster.shtml si bien aun no he decidido que sea kerrighed, la parte del nfs (diskless boot) es igual haga lo que haga. ahora mismo esta en el debootstrap.

Lo del rendimiento , asi es uno de los limitantes es la red, el segundo es el procesamiento en paralelo , imagina que todavia seguimos en la era del monoproceso a toda velocidad. Asi que la planificacion de los procesos es muy mala . Si nada mas tenemos problemas en procesadores de varios nucleos , imagina en procesadores separados.

Hasta donde estoy avanzando no eh tocado mucho el kernel . Salvo para el soporte gfs2 que por ahora esta para mas adelante . Seguire trabajando en etx4 , ya que me da mucha flojera estar compilando el soporte para estos sistemas de archivos.

Mi fuente es wikipedia , y estuve leyendo la documentacion de redhat , y oracle con respecto a los sistemas de archivos. Estos ensus respectivas paginas bien escondidas. T-T

Yo creo que debian si debe tener soporte solo que esta escondido por ahi . Eh oido de varios cluster debian por ahi , incluso el top de supercomputadoras usaba una version modificada de debian . Pdt no estoy seguro.

y sin embargo, la dieferncia entre un core y dos, es abismal, icluso a velocidad inferior del reloj... (ciertamente, dos cores a 2 Ghz, no te dan 4 Ghz... pero si algo mas de tres. a ojo. y hablando de rendimiento.)

de todas formas, ya se que las aplicaciones hoy en dia no aprovechan todo el potencial de las CPU's multinucleo. sin embargo, tener mas cores, permite tener mas tareas activas, por lo que, en el peor de los casos, si yo estoy compilando un kernel (ejemplo rapido), lo demas pasara a ejecutarse en otra cpu, dejando mas potencia neta a la encargada de compilar el kernel (auqnue lo cierto es que este ejemplo no es valido, gcc permite un multihilo de forma que se aprovechen todas las CPU's/cores).

en cuanto a los sistemas de ficheros, uno de los primeros resultados de google, es esto: http://www.symantec.com/es/mx/business/ ... ile-system leyendo, llego a la conclusion, de que viene a ser lo mismo: un unico sistema de ficheros centralizado para todos los nodos. aka, un diskless, que se puede hacer perfectamente sobre reiserfs (aka, me niego a formatear salvo que sea imprescindible)

*nota: buscando gfs2, llego a la wikipedia, y a la pagina oficial (red hat). de esta, saco la misma conclusion: es un sistema para que todas las maquinas lo vean. y eso, en mi casa (?) se hace mas sencilamente con un netboot diskless. (aka, arranque por red + nfs para montar la raiz). corrigeme si me equivoco.

PD: pero muchas gracias. asi por lo menos me voy enterando de algo mas.

pero que tema mas interesante has sacado de la galera.
la verdad no tengo ni idea, pero en cuanto tenga tiempo libre en la oficina me pongo a experimentar.

Saludos!