| fernand0 | Vamos allá |
|---|
| dani | redes? |
|---|
| dani | ok |
|---|
| viZard | le intentamos, pero no es muy fiable |
|---|
| *** fernand0 changes topic to "19:00 - David Santo Orcero (España) - Distributed Filesystems for Linux clusters. English live translation in #redes" |
| fernand0 | vamos allá |
|---|
| fernand0 | Hola, |
|---|
| fernand0 | es un placer para nosotros presentar a David Santo Orcero. |
|---|
| fernand0 | Nacido en |
|---|
| fernand0 | Málaga, después de una estancia en Brasil, volvió recientementea su ciudad |
|---|
| fernand0 | de origen. Trabaja como administrador y consultor. |
|---|
| fernand0 | Sus intereses son muy amplios, siendo los relativos a paralelismo, |
|---|
| fernand0 | clusters, y otros 'monstruos' similares lo que más podemos encontrar en |
|---|
| fernand0 | diversas publicaciones con las que colabora. |
|---|
| fernand0 | Su conferencia de hoy se titula: 'Distributed Filesystems for Linux |
|---|
| fernand0 | clusters'. |
|---|
| Ston | JUA |
|---|
| fernand0 | Agradecer a todos los presentes su asistencia, y a David su conferencia. |
|---|
| fernand0 | Sr. Orcero ... |
|---|
| irbis | Comienzo |
|---|
| irbis | Hola a todos |
|---|
| Pabli | si en verdad es un placer |
|---|
| irbis | Vamos a hablar de sistemas de ficheros distribuidos para clusters. |
|---|
| irbis | En lugar de perdernos en divagaciones teóricas sobre a qué suena |
|---|
| irbis | un aplauso de una sola mano en un bosque donde solo hay un sordo, |
|---|
| irbis | nos centraremos en el aspecto práctico de estos sistemas de ficheros, |
|---|
| irbis | y en su dia-a-dia. |
|---|
| irbis | Vamos a estudiarlos uno a uno |
|---|
| irbis | al final de cada sistema de ficheros |
|---|
| irbis | comento bibliografía y respondo a preguntas |
|---|
| irbis | Para esta conferencia, y después del ladrillazo del último año |
|---|
| irbis | -en inglés; larga como discurso de Fidel Castro, pesada como el |
|---|
| irbis | levítico y el deuteronomio cantados en latín- he intentado hacerla |
|---|
| irbis | un poco más viva y animada. |
|---|
| irbis | Y viendo que los hispanohablantes son |
|---|
| irbis | mayoría, y que hay traducción automática, vamos a hacerla en Español. |
|---|
| irbis | Comencemos por partes, ¿de qué vamos a hablar? |
|---|
| irbis | De sistemas de ficheros de alto rendimiento: |
|---|
| irbis | 1) PVFS |
|---|
| irbis | 2) DFSA+MFS |
|---|
| irbis | De sistemas de ficheros de alta disponibilidad: |
|---|
| irbis | 1) Coda |
|---|
| irbis | 2) Intermezzo |
|---|
| irbis | De otros engendros: |
|---|
| irbis | 1) OpenGFS |
|---|
| irbis | 2) RAID en red |
|---|
| irbis | (o mejor dicho, los tres RAID en red) |
|---|
| irbis | Lo primero, las malas noticias: |
|---|
| irbis | ninguno de los anteriores es la piedra filosofal. |
|---|
| irbis | La buena: sobre determinadas circunstancias, algunos son útiles y todo. |
|---|
| irbis | Sin que el hecho de que exista implique que funcione |
|---|
| irbis | (que bonito me ha quedado, creo que voy a patentar la frase) |
|---|
| irbis | vamos a ir uno a uno con los sistemas de ficheros para clusters. |
|---|
| irbis | PVFS: |
|---|
| irbis | PVFS es parte del projecto Beowulf, pero se ha desarrollado más lentamente. |
|---|
| irbis | Ahora comienza a ser funcional en entornos de producción |
|---|
| irbis | Está implementado en el kernel, debajo del VFS |
|---|
| irbis | NO forma parte de la distribución estandar del kernel |
|---|
| irbis | Eso significa que nuestras aplicaciones lo ven como un sistema de ficheros cualquiera |
|---|
| irbis | Además de esto, se puede usar también a través de un API propio |
|---|
| irbis | La diferencia es que los datos no se encuentran físicamente en un único nodo |
|---|
| irbis | Los datos se encuentran dispersos por todos los nodos del cluster |
|---|
| irbis | Es como el stripping de RAID, pero a nivel de clustering |
|---|
| irbis | Pros: |
|---|
| irbis | Aumenta el rendimiento de las aplicaciones concurrentes. |
|---|
| irbis | Si se usa el API específico de PVFS, el incremento de rendimiento llega ser espectacular. |
|---|
| irbis | FUNCIONA -en el último año, en todo lo relativo al kernel hay que dejar eso claro-. |
|---|
| irbis | Peeeeeeeeeeeeeeero: |
|---|
| irbis | PVFS ES ANTI-TOLERANTE A FALLOS. |
|---|
| irbis | Si cae cualquier nodo del cluster PVFS, lo hemos perdido TODO |
|---|
| irbis | Por lo tanto, pensemos en PVFS como una excelente solución para alto rendimiento -de momento, |
|---|
| irbis | lo mejor que se puede encontrar-, pero que no sirve en absoluto para alta disponibilidad ni |
|---|
| irbis | para tolerancia a fallos. |
|---|
| irbis | Bibliografía: |
|---|
| irbis | Sistemas de ficheros distribuidos: el Parallel Virtual File System |
|---|
| irbis | Este artículo debería aparecer en la Todo Linux de este mes, o en la |
|---|
| irbis | del proximo mes |
|---|
| irbis | También hay abundante documentación de implementación y uso |
|---|
| irbis | pero en inglés |
|---|
| irbis | ¿Alguna pregunta sobre PVFS? |
|---|
| irbis | ¿Dormidos? |
|---|
| irbis | Es normal. ;-) |
|---|
| irbis | Pasamos al siguiente, MFSç |
|---|
| irbis | MFS: Mosix File System. |
|---|
| irbis | La idea es muy similar al del PVFS |
|---|
| fernand0 | stop |
|---|
| fernand0 | estaba moderado |
|---|
| fernand0 | preguntas ? |
|---|
| irbis | A, vale. :-) |
|---|
| irbis | Venga, preguntas |
|---|
| viZard | irbis: elñ PVFS solo seria bueno usarlo para RAID ? |
|---|
| irbis | No es exactamente la idea de PVFS |
|---|
| irbis | La idea del PVFS es que tienes un sistema de archivos |
|---|
| irbis | en el que tienes distribuido por un cluster completo los datos |
|---|
| irbis | ni significa que hagas RAID |
|---|
| irbis | de hecho, no puedes hacer RAID encima |
|---|
| irbis | ya que PVFS te va a dar un directorio para jugar, no un dispositivo |
|---|
| irbis | ahora, nada impide que pongas RAID debajo |
|---|
| viZard | ya que dices que no es tolerante a caida de nodos, entonces no seria conveniente _montar_ nodos =) |
|---|
| irbis | de hecho, recomendaría en un entorno de producción RAID mirroring debajo |
|---|
| irbis | por hard o por soft |
|---|
| viZard | gracias |
|---|
| irbis | por cierto, el raid por soft en linux es MUY rápido |
|---|
| viZard | no mas preguntas =) |
|---|
| irbis | No ten entiendo lo de montar nodos. |
|---|
| irbis | Te puedo decir que para partición de scratch |
|---|
| irbis | para un tmp o para un arena |
|---|
| irbis | puede ir a pelo |
|---|
| irbis | si hablamos de algo más serio |
|---|
| irbis | es una buena idea tener RAID mirroring debajo, |
|---|
| irbis | y una política de backups inteligente |
|---|
| viZard | gracias =) |
|---|
| irbis | he respondido tu pregunta, viZard? |
|---|
| viZard | sip =) |
|---|
| irbis | Algunas pregunta más? |
|---|
| irbis | Quiero hacer enfasis en que PVFS funciona, |
|---|
| irbis | y que si usamos su API propio vamos como motos |
|---|
| irbis | -aunque no es imprescindible usarlo- |
|---|
| irbis | Alguna pregunta más? |
|---|
| irbis | Continuo? |
|---|
| irbis | Continuo |
|---|
| irbis | MFS |
|---|
| irbis | -o mejor dicho, MFS+DFSA- |
|---|
| irbis | El concepto es como PVFS |
|---|
| irbis | MFS nos dá un sistema de ficheros en el que los datos están distribuidos por el cluster |
|---|
| irbis | Por otro lado, MFS y PVFS se parecen lo que la velocidad y el tocino |
|---|
| irbis | Se mezcla con la semántica de Mosix de migración transparente de aplicaciones. |
|---|
| irbis | Con Mosix es interesante, si no tenemos Mosix, no sirve para nada. |
|---|
| irbis | Para entender la idea básica del MFS, vamos a ver un escenario Mosix. |
|---|
| irbis | (el escenario es real, y MUY frecuente) |
|---|
| irbis | Tenemos un proceso, que se llama mi_proceso |
|---|
| irbis | El proceso se genera en el nodo nodo_org |
|---|
| irbis | El proceso emigra al nodo nodo_dest |
|---|
| irbis | Y quiere acceder a un bloque que se encuentra en nodo_dato |
|---|
| irbis | ¿Como resolvemos el problema? |
|---|
| irbis | Solución inteligente: |
|---|
| irbis | mi_proceso pide el dato a la capa VFS de nodo_dest |
|---|
| irbis | La capa VFS de nodo_dest le pide el dato al servidor de nodo_dato |
|---|
| irbis | El servidor en nodo_dato le sirve el dato a la capa VFS de nodo_dest |
|---|
| irbis | La capa VFS de nodo_dest le sirve el dato al proceso mi_proceso |
|---|
| irbis | (faaaaaaaale, he simplificado mucho, pero quedaos con la idea) |
|---|
| irbis | ¿Esto es lo inteligente, no? Pues veamos lo que hace Mosix: |
|---|
| irbis | mi_proceso pide el dato a la capa VFS de nodo_dest |
|---|
| irbis | La llamada a la capa VFS es interceptada por Mosix en nodo_dest |
|---|
| irbis | Mosix en nodo_dest transmite la llamada a Mosix en nodo_org |
|---|
| irbis | Mosix en nodo_org le pasa la llamada a la capa VFS de nodo_org |
|---|
| irbis | (un minuto, me he perdido) |
|---|
| irbis | Fale |
|---|
| irbis | La capa VFS de nodo_org le pide el dato al servidor de nodo_dato |
|---|
| irbis | El servidor en nodo_dato le sirve el dato a la capa VFS de nodo_org |
|---|
| irbis | La capa VFS de nodo_org le sirve el dato al proceso mi_proceso |
|---|
| irbis | O eso piensa que hace, porque la llamada es interceptada por Mosix en nodo_org |
|---|
| irbis | Mosix en nodo_org le pasa el resultado de la llamada a Mosix en nodo_dest |
|---|
| irbis | Mosix en nodo_dest engaña a la capa VFS de nodo_dest, y le pasa el resultado |
|---|
| irbis | La capa VFS de nodo_dest le devuelve el resultado al proceso mi_proceso |
|---|
| irbis | Y ya está. Es solo esto. }:-) |
|---|
| irbis | MUY simplificado. |
|---|
| irbis | Esto es lo que hace a Mosix tan ineficiente con tareas ligadas al procesador |
|---|
| irbis | (tareas cuyo cuello de botella es la velocidad del procesador) |
|---|
| irbis | La solución es el DFSA |
|---|
| irbis | -Direct File System Access-. |
|---|
| irbis | La idea es que: |
|---|
| irbis | Si mi_proceso emigra de nodo_org a nodo_dest |
|---|
| irbis | Y además el dato está en nodo_dest |
|---|
| irbis | Y el sistema de ficheros local es MFS |
|---|
| irbis | Entonces, y solo entonces, se permite escribir localmente a un proceso emigrado |
|---|
| irbis | Pros: |
|---|
| irbis | Convertirá a Mosix en una solución válida para procesos ligados al disco. |
|---|
| irbis | Contras: |
|---|
| irbis | Sin Mosix, no tiene sentido |
|---|
| irbis | Sin MFS no tiene sentido |
|---|
| irbis | Anti-tolerante a fallos |
|---|
| irbis | Aún está en beta: interesante para investigar, aún verde para entornos de producción |
|---|
| irbis | (mis deedossss) |
|---|
| irbis | Un poco de paranoia: |
|---|
| irbis | DFSA hecho por el autor de NFS |
|---|
| irbis | perdon, MFS |
|---|
| irbis | Por y para MFS |
|---|
| irbis | DFSA soportaba OpenGFS, no lo soporta más |
|---|
| irbis | DFSA nunca ha intentado soportar otra cosa, a pesar de que hay mejores tecnologías |
|---|
| irbis | A pesar de estar bajo GPL, Mosix sigue un modelo de desarrollo cerrado y de catedral. |
|---|
| irbis | A pesar de corteses y agradables, la gente de Mosix no publica un roadmap ni información de |
|---|
| irbis | donde quieren ir a parar. |
|---|
| irbis | Por ello, dudo que DFSA soporte algo fuera de NFS. Y Mosix no a avanzado ni en este |
|---|
| irbis | oooootra vez |
|---|
| irbis | MFS |
|---|
| irbis | Por ello, dudo que DFSA soporte algo fuera de MFS. |
|---|
| irbis | Y Mosix no a avanzado ni en este aspecto ni en el de los sockets hace muuuucho tiempo. |
|---|
| irbis | FIN MODO PARANOIA |
|---|
| irbis | Conclusión: |
|---|
| irbis | DFSA prometía hace un año. |
|---|
| irbis | No parece avanzar. |
|---|
| irbis | Aún queda mucho por hacer. |
|---|
| irbis | Bibliografía: |
|---|
| irbis | www.mosix.org |
|---|
| irbis | (Hay cosas publicadas en español sobre Mosix, ahora está saliendo una serie de |
|---|
| irbis | artículos sobre Mosix mia en MundoLinux pero nada -que sepa- sobre DFSA ni MFS.) |
|---|
| irbis | Preguntas? |
|---|
| irbis | Preguntas? |
|---|
| irbis | Preguntas? |
|---|
| irbis | Preguntas? |
|---|
| irbis | Si no hay preguntas, hemos terminado la parte de alto rendimiento |
|---|
| irbis | No hay más para clusters de alto rendimiento |
|---|
| irbis | y hablamos de alta disponibilidad |
|---|
| irbis | Continuamos |
|---|
| irbis | Ahora pasamos al tema de alta disponibilidad |
|---|
| irbis | Como podemos suponer |
|---|
| irbis | los sistemas de ficheros de alta disponibilidad son más lentos que los de alto rendimiento |
|---|
| irbis | La mala noticia es que son rematadamente más lentos que los sistemas de ficheros normales |
|---|
| irbis | Y algunos de ellos se arrugan ante carga real |
|---|
| irbis | Los que voy a comentar aquí |
|---|
| irbis | los he puesto a trabajar con postgres y pgbench |
|---|
| irbis | Comenzamos con Coda |
|---|
| irbis | Imaginaos ir a cazar liebres. |
|---|
| irbis | Visualizadlo |
|---|
| irbis | Solo que vais montados en brontosaurios, y llevais tiranosaurios como perros. |
|---|
| irbis | Bienvenidos al mundo de coda. |
|---|
| irbis | Vamos a verlo con más detalle: |
|---|
| irbis | Coda permite arquitectura cliente y servidor |
|---|
| irbis | El servidor corre en area del usuario |
|---|
| irbis | El cliente ya está incorporado en el kernel |
|---|
| irbis | Coda es MUY robusto |
|---|
| irbis | Coda permite replicación de servidores |
|---|
| irbis | Coda gestiona backups de servidores |
|---|
| irbis | Coda gestiona backups incrementales de servidores |
|---|
| irbis | Coda usa ACLs |
|---|
| irbis | Coda ha sido portada a muchas plataformas |
|---|
| irbis | Su calidad es excelente |
|---|
| irbis | Aguanta la carga sin arrugarse |
|---|
| irbis | Coda permite uso desconectado |
|---|
| irbis | Coda nos da de una SSI de disco completa |
|---|
| irbis | Y todo eso lo hace el sistema de ficheros |
|---|
| irbis | hace hasta la autentificación |
|---|
| irbis | Explicamos conceptos: |
|---|
| irbis | replicación de servidores: tenemos tolerancia a fallos, ya que cuando |
|---|
| irbis | cerramos un fichero en el cliente y este cliente fué actualizado, la |
|---|
| irbis | actualización se propaga a todos los servidores replicados. La caida |
|---|
| irbis | de un servidor no supone perdida de datos ni parada del sistema. |
|---|
| irbis | ACL: Access Control List. Un sistema de permisos más avanzado que el |
|---|
| irbis | de Unix, que tiene más tipos de privilegio, y permite especificar pares |
|---|
| irbis | (usuario, privilegio) |
|---|
| irbis | cuando creamos un volumen coda, podemos especificarle a coda la política |
|---|
| irbis | de backups. CODA NOS HACE LOS BACKUPS |
|---|
| irbis | Si usamos coda, podemos desconectar los servidores entre sí, clientes y |
|---|
| irbis | servidores... podemos pedirle al cliente que recuerde unos archivos, llevarnos |
|---|
| irbis | el portatil de vacaciones, modificar los archivos y sinctronizar los datos |
|---|
| irbis | cuando volvamos. O incluso obtener nuevos ficheros por teléfono. |
|---|
| irbis | Es decir, estamos ante un sistema muy probado, muy estable, muy profesional... |
|---|
| irbis | Y MUY GRANDE |
|---|
| irbis | En el último cluster que he montado con Coda |
|---|
| irbis | El daemon codasrv ocupa 300Mb de RAM |
|---|
| irbis | No, no me que equivocado, trescientos megas de ram |
|---|
| irbis | Eso chupa memoria como un poseso |
|---|
| irbis | Además, la documentación de desarrollo es excelente, pero la documentación para |
|---|
| irbis | el administrador es malísima, y está desfasada. |
|---|
| irbis | Pros: |
|---|
| irbis | Coda hace de todo |
|---|
| irbis | Coda es sólido y robusto |
|---|
| irbis | Coda ya está en el kernel |
|---|
| irbis | Se monta encima de ReiserFS, y además aguanta el tirón de cables |
|---|
| irbis | La comunidad de coda es maravillosa |
|---|
| irbis | no tienen problemas en responder preguntas, hasta las más estúpidas |
|---|
| viZard | http://www.coda.cs.cmu.edu/ |
|---|
| irbis | Jan, el tipo que se esta currando ahora coda, no va de elite |
|---|
| irbis | Exacto, viZard. Es ahí. |
|---|
| irbis | Pues eso, es gente que no va de elite. |
|---|
| irbis | Eso ayuda mucho, y compensa la pésima documentación. |
|---|
| Eliz | saludos a todos! |
|---|
| irbis | Por tanto, 10 al soporte y a los creadores |
|---|
| irbis | Contra: |
|---|
| irbis | El tamaño del servidor es monstruoso en aplicaciones reales |
|---|
| irbis | Monstruoso significa 300Mb de codasrv en RAM en un cluster real que he instalado hace poco |
|---|
| irbis | Y la cosa es que el servidor va de muerte |
|---|
| irbis | es una cosa excelente |
|---|
| irbis | pero son 300Mb!!! |
|---|
| irbis | Conclusión: |
|---|
| irbis | Coda se diseñó para servidores de ficheros dedicados en entornos profesionales, |
|---|
| irbis | donde puedes poner todos los billetes que quieras encima de la mesa, pero son |
|---|
| irbis | imprescindibles un conjunto de propiedades del sistema de ficheros. El mejor para |
|---|
| irbis | empresas medianas y grandes, campus universitarios y departamentos. Un excelente |
|---|
| irbis | sistema de ficheros que, entre sus muchísimas propiedades, está hacer unos excelentes |
|---|
| irbis | servidores tolerantes a fallos. |
|---|
| irbis | Pregunta común: |
|---|
| irbis | ¿Que usas para comunicar tu portatil con el servidor de tu casa? |
|---|
| irbis | Respuesta, en mi casa, ahora uso Coda |
|---|
| irbis | Puede que si Intermezzo pase las pruebas de fatiga, me pase a intermezzo |
|---|
| irbis | pero Coda es tremendamente sólido, y de momento es impresionante. |
|---|
| irbis | Bibliografía: |
|---|
| irbis | Va a salir una serie sobre Coda en TodoLinux. Todavía no se cuando. |
|---|
| irbis | Hay también un HOWTO de coda, que forma parte del LDP. |
|---|
| irbis | Es muy antiguo, pero algunas cosas funcionan todavía. |
|---|
| irbis | Y ahora, 12 lineas de descanso, con una cuña publicitaria. O:-) |
|---|
| irbis | No se retiren de las pantallas. |
|---|
| irbis | >------------------------------------------------------------------------------------------< |
|---|
| irbis | CUÑA PUBLICITARIA |
|---|
| irbis | Interesados en linguística computacional libre: http://www.computationallinguistics.org |
|---|
| irbis | Interesados en bioinformática libre: http://www.freebioinformatics.org |
|---|
| irbis | Son unos weblogs en los que intento encontrar una masa critica de comunidad interesada |
|---|
| irbis | en el desarrollo de software libre para estos temas. Si alguien está interesado en colaborar, |
|---|
| irbis | traducir, o poner noticias de eventos o de software libre para estos temas, le animo a |
|---|
| irbis | colaborar. |
|---|
| irbis | FIN CUÑA PUBLICITARIA |
|---|
| irbis | >------------------------------------------------------------------------------------------< |
|---|
| irbis | Perdón, tenía que soltarlo. |
|---|
| fernand0 | pregunta |
|---|
| irbis | O._-) |
|---|
| irbis | Preguntas? |
|---|
| fernand0 | yo |
|---|
| fernand0 | si coda es tan monstruoso? |
|---|
| irbis | Si, fernand0 |
|---|
| fernand0 | que sentido tiene usarlo para una red casera? |
|---|
| irbis | Fácil. |
|---|
| fernand0 | no hay alternativas mas 'pequeñas' ? |
|---|
| viZard | Coda en si tambien tiene software de clustering ? |
|---|
| irbis | Coda me lo hace todo. |
|---|
| fernand0 | y la ram está barata ;) |
|---|
| irbis | Yo tengo una máquina en mi casa que tiene mucha memoria --256Mb- |
|---|
| irbis | y tengo un portatil, en el que hago roaming |
|---|
| irbis | programo, escribo artículos |
|---|
| viZard | Coda en si tambien tiene software de clustering, o tambien funca con Moxix, Beowolf, etc ? |
|---|
| irbis | mi mujer hace lo mismo con su portatil |
|---|
| irbis | los dos necesitamos operación desconectada |
|---|
| irbis | poder trabajar en cualquier lugar, y sinctronizar los datos |
|---|
| irbis | además, coda me hace los backups |
|---|
| irbis | por tanto, por ello escogi coda |
|---|
| irbis | como lo tengo en mi casa, ocupa menos -80Mb- |
|---|
| irbis | de RAM |
|---|
| CtrInt | 80Mb para cuanto espacio de disco? |
|---|
| irbis | pero en un entorno profesional con muchos usuarios, 300Mb |
|---|
| irbis | Poco, 120Gb. |
|---|
| irbis | Tengo tres discos de 40 haciendo RAID por soft |
|---|
| CtrInt | en otras palabras... ¿de que depende el consumo de codaserv? |
|---|
| irbis | van como una moto |
|---|
| gcc | pregunta: coda puede ser utilizado para sistemas donde se requiera respuesta rapida por parte del servidor digamos en sistemas web? |
|---|
| irbis | Del espacio disponible en el volumen, y del número máximo de archivos del sistema de ficheros |
|---|
| irbis | Depende de la velocidad de la red |
|---|
| irbis | Me explico |
|---|
| irbis | Con algunos ajustes, postgres va sobre venus y coda |
|---|
| irbis | no hay problemas reales en lanzar apache sobre venus, y venus sobre varios codas |
|---|
| irbis | aunque si te soy franco, ahi entramos más en el área de Intermezzo |
|---|
| irbis | que es de lo próximo que hablaré. |
|---|
| irbis | Coda funciona para todo esto, pero va claramente lento. |
|---|
| irbis | Ahí sale el proyecto Intermezzo, de los mismos autores de Coda, que implementa el 80% de la funcionalidad de coda |
|---|
| viZard | que es venus ? |
|---|
| irbis | pero funciona rápidamente |
|---|
| irbis | Un minuto quye rebovine, a ver las preguntas |
|---|
| irbis | que falta por responder |
|---|
| irbis | Coda no tiene un software específico para clusters |
|---|
| irbis | coda permite replicación en los servidores |
|---|
| irbis | por ello, podemos jugar con esto, y poner un cliente y un servidor por máquina |
|---|
| irbis | replicar servidores |
|---|
| irbis | y hacer tolerante a fallos el cluster |
|---|
| irbis | funciona. Lo he hecho. |
|---|
| irbis | Pero no tendremos un software específico, es apenas emplear las MUCHAS funcionalidades de coda. |
|---|
| irbis | La idea real detrás de coda es de tener un servidor de sistemas de ficheros replicado por el campus |
|---|
| irbis | con gran cantidad de usuarios tirando de cada servidor |
|---|
| irbis | y la posibilidad de que los usuarios se desconecten del servidor, o que los servidores se desconecten entre sí |
|---|
| irbis | o incluso tolerancia total a la caida de cualquier servidor. |
|---|
| irbis | ¿Que es venus? |
|---|
| irbis | Venus es el cliente de coda |
|---|
| irbis | Se ejecuta parte en área de kernel,y parte en área de usuario. |
|---|
| irbis | ¿He respondido vuestras preguntas? |
|---|
| viZard | se puede usar conjuntamente con Mosix, Beowolf, etc ? |
|---|
| irbis | Alguna pregunta más? |
|---|
| irbis | Pasamos a intermezzo? |
|---|
| irbis | Pasamos a intermezzo |
|---|
| fernand0 | con publicidad o sin ? |
|---|
| fernand0 | ;) |
|---|
| irbis | Solo una cuña por programa |
|---|
| irbis | No soy telecinco |
|---|
| CtrInt | jeh |
|---|
| irbis | Pasamos a intermezzo. |
|---|
| viZard | Intermezzo |
|---|
| irbis | En algún momento, a los mayores cerebros pensantes de coda se les ocurrió que tal vez |
|---|
| irbis | la caza de liebres con brontosaurios no era una buena idea. |
|---|
| irbis | Si bien coda es estupendo, funciona muy bien y hace auténticas maravillas, |
|---|
| irbis | Intermezzo filosóficamente es similar al coda, |
|---|
| irbis | aunque quitando muchos detalles |
|---|
| irbis | que hacen a coda lento y grande. |
|---|
| irbis | Intermezzo hace el 80% de todo lo que hace coda; pero ese 80% es lo que quiere casi |
|---|
| irbis | todo el mundo. |
|---|
| irbis | Intermezo es capaz de mantener replicación de datos en un cluster |
|---|
| irbis | Además de esto, admite operación desconectada |
|---|
| irbis | No automatiza backups, ni tiene ACLs, ni muchas de las características más pesadas de Coda |
|---|
| irbis | Intermezzo aún no ha llegado a la robustez de Coda, pero va por buén camino. Además, |
|---|
| irbis | está madurando a mucha velocidad, y podemos considerarlo como que ya está en producción. |
|---|
| irbis | A dia de hoy, si podemos permitirnos coda, mejor coda. |
|---|
| irbis | Si no podemos permitirnos coda, usamos Intermezo. |
|---|
| irbis | Equivalencias de vocabulario: |
|---|
| irbis | CODA Intermezzo |
|---|
| irbis | Volumes Filesets |
|---|
| irbis | SCM server |
|---|
| irbis | non-SCM client |
|---|
| irbis | (ojo, en Intermezzo se fusionan los conceptos de coda de cliente y máquina no-SCM) |
|---|
| irbis | Pros: |
|---|
| irbis | Hace el 80% de lo que hace coda |
|---|
| irbis | El servidor no es demasiado pensado |
|---|
| irbis | Contra: |
|---|
| irbis | Le falta el 20% de la funcionalidad de coda. |
|---|
| irbis | Aún no da la sensación de robustez de coda. |
|---|
| irbis | Conclusión: |
|---|
| irbis | Intermezzo es una excelente solución para los que tenemos un ordenador y un portatil, |
|---|
| irbis | un cluster con tolerancia a fallos pequeño, y para la pequeña y mediana empresa. |
|---|
| irbis | Bibliografía: |
|---|
| irbis | www.inter-mezzo.org |
|---|
| irbis | Estoy preparando un artículo, ya veremos donde lo pongo. |
|---|
| irbis | La documentación que tiene está en inglés |
|---|
| irbis | y es moderna |
|---|
| irbis | no explica como se hace replicación |
|---|
| irbis | con esas palabras. |
|---|
| irbis | ¿Preguntas? |
|---|
| CtrInt | yo |
|---|
| irbis | Venga |
|---|
| irbis | :-) |
|---|
| CtrInt | ¿con que versiones de intermezzo has probado? Yo estoy con la 1.0.5.3 contra una 2.4.9-ac10... |
|---|
| CtrInt | y no veas lo que me costó ponerlo estable (o creo que es estable ahora) |
|---|
| CtrInt | me parece muy alpha, vamos... bastante |
|---|
| irbis | -1.0.4- creo |
|---|
| irbis | el CVS no me compilaba |
|---|
| irbis | así que usé los paquetes de Red Hat. |
|---|
| irbis | Se instala, y funciona, |
|---|
| CtrInt | ajah |
|---|
| irbis | aunque todavía le estoy haciendo pruebas de fatiga. |
|---|
| CtrInt | ¿sin fallos en las recuperaciones? |
|---|
| irbis | Por eso he comentado antes que uso Coda |
|---|
| CtrInt | ajah |
|---|
| irbis | de momento, no |
|---|
| irbis | ten en cuenta que yo no grabo simultaneamente en todos |
|---|
| irbis | tengo un script en Perl que se encarga de negociar quien es el maestro, y solo |
|---|
| irbis | lanzo la aplicación en el maestro. |
|---|
| irbis | Jugando con las IPs sobrecargadas, consigo que los clientes de la aplicación no vean que hay detrás un cluster |
|---|
| irbis | por ejemplo, puedes coger direcciones en el rango 10.1.2.x para tu cluster |
|---|
| CtrInt | ya veo... en mi caso lanzo el demonio en todos |
|---|
| irbis | y que una maquina tenga también la 10.1.1.7, por ejemplo. |
|---|
| irbis | Esa máquina es la única que tiene la aplicación servidora |
|---|
| irbis | y, por lo tanto, que escribe en el sistema de ficheros. |
|---|
| irbis | La reintegración de momento me parece que funciona |
|---|
| irbis | Con escrituras simultaneas en varios clientes, de cualquier forma |
|---|
| irbis | Intermezzo no va muy fino. |
|---|
| irbis | Pero ya no estamos hablando de un uso para cluster con tolerancia a fallos |
|---|
| irbis | sino de servidor tipo NFS, que es otra cosa. |
|---|
| irbis | ¿Respondí tu pregunta? |
|---|
| irbis | ¿Respondí tu pregunta? |
|---|
| irbis | Hay alguien vivo? |
|---|
| gcc | tengo una pregunta: lo has utilizado es sistemas que esten en produccion real? si es asi que tipo de sistema? |
|---|
| {^DaNi^} | uops |
|---|
| {^DaNi^} | el Ctrint parece que esta out |
|---|
| {^DaNi^} | que lo tengo delante y dice que no leia nada ;) |
|---|
| irbis | No. No he usado nunca Intermezzo en sistemas de producción real. |
|---|
| irbis | Lo estoy evaluando ahora. |
|---|
| gcc | como ves su futuro? |
|---|
| irbis | De momento, es postgres, pgbench y ver si aguanta |
|---|
| CtrInt | me la pegué |
|---|
| irbis | Despues me volveré loco tirando de cables |
|---|
| CtrInt | si, respondiste (la he visto en el cliente de un compañero) |
|---|
| irbis | mi idea es que sustituya a Coda en algunas aplicaciones para pequeña empresa donde no tengan mucho hierro. ;-) |
|---|
| irbis | ¿Su futuro? |
|---|
| irbis | Buena pregunta |
|---|
| irbis | El problema es que no se como responderla |
|---|
| irbis | Detrás de Intermezzo está Petr Braam |
|---|
| irbis | Perdon, Peter |
|---|
| irbis | Por otro lado, la evolución actual del kernel me da miedo |
|---|
| gcc | por que? |
|---|
| irbis | pero ese es un tema polémico que queria dejar para el final |
|---|
| irbis | hay algunas meditaciones sobre la evolución del kernel y clusterin que después pueden dar lugar a un interesante coloquio |
|---|
| irbis | Alguna pregunta más? |
|---|
| irbis | Alguna pregunta más? |
|---|
| irbis | Alguna pregunta más? |
|---|
| irbis | Bueno, continuo |
|---|
| irbis | Paso a las cosas extrañas |
|---|
| irbis | No puedo decir que son soluciones de clustering |
|---|
| irbis | Pero si no hablo de ellas, muchos opinarán que la charla queda coja |
|---|
| irbis | Así que vamos |
|---|
| irbis | comenzamos por GFS: |
|---|
| irbis | Para estudiar GFS, tenemos que saltar primero a otro tema: Los rack storage |
|---|
| irbis | Los rack storage son unos dispositivos tremendamente caros -medio kilo, para |
|---|
| irbis | comenzar a hablar- que permiten que dos ordenadores se conecten a través de |
|---|
| irbis | SCSI a un bus SCSI, en el que habitualmente se coloca una matriz de discos |
|---|
| irbis | duros con RAID. |
|---|
| irbis | El problema de estos dispositivos es que necesitan un sistema de ficheros |
|---|
| irbis | que entienda sus pecularidades, y ahí es donde entra el GFS, que es el |
|---|
| irbis | único sistema de ficheros para Linux que funciona con rack storages. |
|---|
| irbis | Esto pone un punto único de fallo, que es el propio hardware de rack storage, |
|---|
| irbis | que interconecta los discos duros con los buses SCSI. Por lo tanto, aunque |
|---|
| irbis | formalmente sea un sistema para clusters, es para clusters muy pequeñitos -2 |
|---|
| irbis | o 4 nodos-, escala muy mal -hay que comprar un rack storage nuevo- y además |
|---|
| irbis | tampoco soluciona la tolerancia a fallos. |
|---|
| irbis | GFS puede echarse a andar en un cluster. Esto ha hecho a mucha gente hacer |
|---|
| irbis | creer que es es tolerante a fallos y además da alto rendimiento. Pues ni una cosa ni otra: |
|---|
| irbis | los datos se deben grabar en todos los nodos -fuera alto rendimiento-. Y GFS |
|---|
| irbis | en un cluster usa un daemon, el lock manager, para controlar los interbloqueos. |
|---|
| irbis | Si cae el nodo que tiene el lock manager, se quebranta el sistema de ficheros |
|---|
| irbis | -comprobado experimentalmente-. |
|---|
| irbis | Sixtina, creadores del GFS, cambiaron la licencia del GFS. Esto ha dado lugar |
|---|
| irbis | a un fork, el OpenGFS, que sí es libre. |
|---|
| irbis | (la puerta, un segundo) |
|---|
| irbis | (ya he vuelto) |
|---|
| irbis | Pros: |
|---|
| irbis | Funciona en un rack storage |
|---|
| irbis | Funciona en un rack storage |
|---|
| irbis | Funciona en un rack storage |
|---|
| irbis | y, por supuesto, que funciona en un rack storage |
|---|
| irbis | :-) |
|---|
| irbis | Contra: |
|---|
| irbis | No da alto rendimiento |
|---|
| irbis | No da alta disponibilidad |
|---|
| irbis | No da tolerancia a fallos |
|---|
| irbis | En un cluster real, no tiene ninguna ventaja sobre ninguno de los otros sistemas de ficheros |
|---|
| irbis | estudiados en esta ponencia. |
|---|
| irbis | Ninguno de los desarrolladores de GFS trabajan actualmente en el OpenGFS. |
|---|
| irbis | Por ello, el futuro de OpenGFS aún es incierto. |
|---|
| irbis | Conclusión: |
|---|
| irbis | Si tenemos un rack storage en nuestro cluster, es la única opción. |
|---|
| irbis | Si tenemos cualquier otra cosa, mejor olvidarlo |
|---|
| irbis | ¿Preguntas? |
|---|
| irbis | ¿Preguntas? |
|---|
| viZard | Funciona en un rack storage? :) |
|---|
| irbis | Si. |
|---|
| irbis | El problema, es que no es espectacular |
|---|
| irbis | En mi empresa tenemos un rack storage arrinconado |
|---|
| viZard | pero es lo unico que hay para ese caso |
|---|
| irbis | factor de replicación dos, no nos valia |
|---|
| gcc | que significa GFS? |
|---|
| irbis | Global File System |
|---|
| lucre | fd |
|---|
| irbis | Pero es hype |
|---|
| irbis | llamalo Rack Storage File System mejor. ;-) |
|---|
| irbis | Porque tiene de global lo que yo de monje |
|---|
| irbis | la fé. ;-DD |
|---|
| viZard | hablando de los dinosaurios: cual es el fs distribuido para cluster mas rapido ? |
|---|
| gcc | :-) o.k. gracias. |
|---|
| irbis | De cualquier forma, volvemos al problema principal |
|---|
| irbis | para un rack storage, es lo único que hay |
|---|
| irbis | y funciona bien |
|---|
| irbis | pero no vale para cluster. |
|---|
| irbis | El más rápido es PVFS. |
|---|
| irbis | El más robusto es Coda. |
|---|
| irbis | Coda es lento. |
|---|
| irbis | PVFS no es tolerante a fallos. |
|---|
| viZard | para alta disponiblidad ? |
|---|
| irbis | ¿Respondó su pregunta? |
|---|
| viZard | quisiera enumrerarlos |
|---|
| irbis | :-? |
|---|
| viZard | rendimiento, disponibilidad, velocidad ..... |
|---|
| irbis | Rendimiento: |
|---|
| viZard | ajem ajem :-) |
|---|
| irbis | PVFS, MFS, Intermezo, Coda |
|---|
| Drizzt | irbis: ¿Coda no se usaba para workstation que se desconectaban :?. |
|---|
| irbis | Disponibilidad: Coda |
|---|
| irbis | Velocidad: PVFS, MFS, Intermezo, Coda |
|---|
| Drizzt | irbis: Por cierto, ¿AFS encaja un poco en este tipo de sistemas de ficheros? |
|---|
| irbis | Te respondí, viZard? |
|---|
| viZard | sip, muchas gracias XD |
|---|
| irbis | Paso a responderte, Drizzt -hola- |
|---|
| viZard | al rato le envio un paquete de cafe santo domingo :) |
|---|
| irbis | Lo que dices de worksation que se desconecta es el soporte a sesión desconectada. |
|---|
| irbis | Pinchas un portatil, haces un hoarding de aquello en lo que quieres trabajar, lo desconectas y te vás a tu casa |
|---|
| irbis | y sí. Coda hace eso. |
|---|
| Drizzt | irbis: interesante :) |
|---|
| irbis | Coda hace eso, tolerancia a fallos de servidores y 47298749283 cosas más. |
|---|
| irbis | Ahí está el problema de Coda. |
|---|
| irbis | Hace tantas cosas, y tan bien, que es un dinosaurio andando por el procesador, gastando megas como un poseso |
|---|
| irbis | Te respondí, Drizzt? |
|---|
| Drizzt | irbis: perfectamente |
|---|
| irbis | Yasta. |
|---|
| irbis | Te respondo, debUgo. |
|---|
| irbis | Has hecho una pregunta MUY interesante, y fundamental. |
|---|
| irbis | Coda no es un producto de Linux. |
|---|
| irbis | Coda está para FreeBSD, OpenBSD y NetBSD, entre otros varios |
|---|
| irbis | y tiene clientes para un montón de sistemas operativos. |
|---|
| irbis | Coda no tiene journaling, porque la mayor parte de los sistemas operativos que usan coda no lo necesitan |
|---|
| irbis | Como sabreis, la mayor parte de los BSDs no tienen journaling. |
|---|
| irbis | Yo me he aburrido tirando del cable de mi OpenBSD, y sin perder un dato. |
|---|
| irbis | El problema es un problema del kernel de Linux, no del sistema de ficheros. |
|---|
| irbis | Por ejemplo, OpenBSD 2.8 no tiene por defecto compilado softupdates -tienes que compilarlo- |
|---|
| Drizzt | irbis:¿escritura sincrona de metadatos en el BSD :? |
|---|
| Borja | Sobre todo de las actualizaciones asincronas de metadatos |
|---|
| irbis | pero puedes tirar del cable a placer. |
|---|
| Borja | Si, eso es. |
|---|
| irbis | Nonono. Olvidaos de metadatos. El concepto es otro. |
|---|
| irbis | Primero escribes los bloques, después escribes los inodos, y por último los bloques de bitmaps. |
|---|
| irbis | Softupdates va por otro lado. |
|---|
| irbis | Si pego un tirón del cable y enciendo la máquina, pierdo un montón de tiempo en el fsck |
|---|
| irbis | con softupdates, no se pierde tanto tiempo. |
|---|
| Borja | Ya, ya. Me referia al problema de Linux con los tirones de cables, y al no problema de BSD configurado por defecto. |
|---|
| irbis | Esque ahí está el tema. |
|---|
| irbis | Digamoslo diplomáticamente... si las operaciones se realizan en el orden correcto, el sistema de ficheros no se daña por un tirón de cables. |
|---|
| Borja | Si, eso es lo que hacen los softupdates |
|---|
| irbis | Por lo tanto, en OpenBSD antiguamente si tiramos del cable no dañabamos el sistema de ficheros, pero teníamos que aburrirnos delante del fsck |
|---|
| Drizzt | irbis: Es decir, las operaciones a dusco están "serializadas" no :? |
|---|
| irbis | Olvidaos de momento de los softupdates, yo todavía estoy en el año 98. |
|---|
| irbis | No hay softupdates, ni journaling |
|---|
| irbis | solo que Linux tiene una forma de grabar los datos en disco, y BSD otra. |
|---|
| irbis | Si se tira del cable en linux, hay una probabilidad de perder muchas cosas. |
|---|
| irbis | Si se tira del cable en BSD, se pierde lo que estaba en el buffer y no se había sincronizado. |
|---|
| irbis | En los dos, tenemos el coñazo de esperar a fsck. |
|---|
| irbis | El jorunaling en Linux es indispensable, porque realmente se echavan a perder cosas. |
|---|
| irbis | En BSD el tema de los softupdates es una comodidad para acortar el tiempo de restitución, y perder la mínima cantidad de datos posibles |
|---|
| irbis | porque siempre perdemos el buffer, pero el objetivo es con un buffer grande perder lo menos posibles. |
|---|
| Borja | De todas formas, cuando hablamos de servidores no es tan importante el fsck. Me parece un parametro mas importante las prestaciones y las probabilidades de perdida o no de datos en caso de caida. Pero se supone que una caida sera algo excepcional |
|---|
| irbis | Lo de metadatos es una historia del journaling, de hecho cada uno se lo monta como puede |
|---|
| irbis | reiserFS hace journaling de los metadatos -o sea, de las operaciones sobre i-nodos-. ext3fs lo hace sobre los datos y los metadatos |
|---|
| irbis | pero cada uno está implementando lo que quiere a su bola. |
|---|
| Borja | Y softuates proporciona las prestaciones de las actualizaciones asincronas de metadatos junto con la fiabilidad de las actualizaciones sincronas :-) |
|---|
| irbis | Tienes razón en parte, borja. Tienes razón en tanto realmente no se producen tantas caidas. No la tienes en cuanto un fsck en Linux con ext2 podía suponer |
|---|
| irbis | perder muchas cosas, además de que el fsck tanto de Linux como de *BSD tardaban horrores. |
|---|
| Borja | De todas formas, en la nueva version de FreeBSD (la linea 5-) se haran los fsck en background :-) |
|---|
| irbis | Si, borja, tienes razón. |
|---|
| irbis | Tienes razón. |
|---|
| Roque | Buenas tardes para todos |
|---|
| irbis | Para el usuario, tarda menos. Ten en cuenta que pasas a traves de él, te pones a usar ya el sistema de ficheros y se ejecuta en segundo plano. |
|---|
| irbis | Lo importante -que quería que quedase claro- es que Coda no está kugadi a journaling. |
|---|
| irbis | Coda se monta encima de un sistema de ficheros cualquiera en el servidor. |
|---|
| irbis | Por lo tanto, podeis tener en Linux Coda sobre Reiser, Coda sobre ext2, coda sobre ext3, coda sobre VFAT... lo que querais |
|---|
| irbis | Aunque recomiendo Coda sobre Reiser. |
|---|
| irbis | He respondido tu pregunta? |
|---|
| irbis | He respondido tu pregunta? |
|---|
| irbis | ¿Alguna pregunta más hasta aquí? |
|---|
| irbis | ¿Continuamos? |
|---|
| irbis | Continuamos: |
|---|
| irbis | RAID por red: |
|---|
| irbis | Este es un cajón de sastre en el que vamos a meter tres proyectos distintos: |
|---|
| irbis | drbd: |
|---|
| irbis | RAID-mirroring de dos discos, ubicados en máquinas remotas |
|---|
| irbis | Tolerancia a fallos, a mucha velocidad |
|---|
| irbis | Pero: |
|---|
| irbis | Admite, a lo máximo, dos máquinas (no escala) |
|---|
| irbis | DRBD funciona, funciona MUY bien. |
|---|
| irbis | Mejor solución para tolerancia a fallos factor 2. |
|---|
| irbis | No sirve para tres o más máquinas. |
|---|
| irbis | NBD: |
|---|
| irbis | ahora comienzan las pegas ;-) |
|---|
| irbis | Hay dos grandes ramas de desarrollo de NBD |
|---|
| irbis | La primera, tiene un límite interno de tamaño de particiones |
|---|
| irbis | ¡De sólo 2Gb! |
|---|
| irbis | El límite está en el tamaño de los punteros |
|---|
| irbis | Esto lo hace completamente inútil para usos serios |
|---|
| irbis | La segunda, no tiene problemas con el tamaño de los punteros. |
|---|
| irbis | La gente de HA dicen que funcionan perfectamente, y que son maravillosos. |
|---|
| irbis | Yo solo tengo un problema: |
|---|
| irbis | (un poco de copipaste, un segundo) |
|---|
| irbis | In file included from nbd-server.c:45: |
|---|
| MJesus | por correr ! |
|---|
| viZard | jiji |
|---|
| irbis | perdon por la salidita |
|---|
| irbis | he visto que no se puede poipoasetarrr |
|---|
| irbis | pues eso |
|---|
| MJesus | :)) |
|---|
| irbis | como habeis visto |
|---|
| irbis | no compila |
|---|
| irbis | ERRORES DE SINTAXIS |
|---|
| irbis | Con los RPMs, no he conseguido que supere las mínimas pruebas de stress. |
|---|
| irbis | En fín, un buen concepto, pero todavía le queda mucho por mejorar. |
|---|
| irbis | ¿Preguntas? |
|---|
| irbis | ¿Preguntas? |
|---|
| Drizzt | el nbd es el network block device del kernel :?. |
|---|
| irbis | Si. |
|---|
| irbis | O mejod richo, más o menos |
|---|
| irbis | Linux tiene en el kernel un soporte a network block device |
|---|
| Drizzt | irbis: hace algunos años montamos un engendro con un un nbd + raid 0 distribuido entre varios en una campus party :), pero el problema era que cuando caía un ordenador ;) |
|---|
| irbis | A todo esto hay que sumarle unas aplicaciones en áreas de usuario, que permite montar realmente el RAID sobre bloques remotos. |
|---|
| irbis | Esas son las que fallan. |
|---|
| irbis | Drizzt, ¿conseguistes echar a andar unn nbd con RAID con particiones de más de 2Gb? |
|---|
| Drizzt | no |
|---|
| irbis | Ah. |
|---|
| irbis | Pues estamos iguales |
|---|
| Drizzt | no me acuerdo cuantos nos pusimos con el tema |
|---|
| irbis | yo tampoco he sido capaz. |
|---|
| irbis | :-) |
|---|
| irbis | ¿Alguna pregunta más? |
|---|
| irbis | ¿Alguna pregunta más? |
|---|
| irbis | ¿Continuamos? |
|---|
| irbis | Conclusiones: |
|---|
| irbis | Hay cosas que funcionan |
|---|
| irbis | Pero hay muchas cosas por hacer |
|---|
| irbis | El problema es que el kernel es un blanco movil, por lo que hace falta mucha gente |
|---|
| irbis | para mantener un proyecto paralelo al desarrollo natural del kernel, con parches. |
|---|
| irbis | Al menos, no para una única persona |
|---|
| irbis | que además lo hace en su tiempo libre. |
|---|
| irbis | Y más ahora, que actualizarse constantemente el kernel es obigatorio, devido |
|---|
| irbis | a la apabullante cantidad de problemas y fallos del kernel -ahora monto todos |
|---|
| irbis | los sistemas de ficheros con sync, porque hace tiempo que no me inspira confianza-. |
|---|
| irbis | Por otro lado, el kernel no ha tenido ningún adelanto tecnológico desde hace un año |
|---|
| irbis | y medio; y mientras que se han incorporado cosas que es tan fundamental que esten en |
|---|
| irbis | el kernel como un servidor web -como se puede concebir un sistema operativo sin un |
|---|
| irbis | servidor Web en el kernel- };-) , hay muchísisimo código de clustering que lleva |
|---|
| irbis | tres o cuatro años dando vueltas por ahí, y que no se ha incorporado. |
|---|
| irbis | (vamos a comenzar a polemizar, por si luego quereis una discusión) |
|---|
| irbis | La política de inclusión de parches y mejoras del kernel va por ahí -es decir, |
|---|
| irbis | caminando para atrás- y además en las reuniones de "grandes gurús" kernelianos |
|---|
| irbis | -particularmente, me acuerdo de una que vi el resumen en lwn.net, y aparecian todos |
|---|
| irbis | en la foto- solo se leen características planeadas para incorporar en la 2.5 que solo |
|---|
| irbis | sirven para que Oracle -producto NO LIBRE- corra mejor en Linux. Y es triste cuando |
|---|
| irbis | el clustering para Linux se reduce a "mejorar" Linux para que corra mejor Oracle, |
|---|
| irbis | y mucho vaporware de Compaq. |
|---|
| irbis | El primer 2.4 que instalé, me quebrantó el sistema de ficheros del portatil. En los |
|---|
| irbis | últimos seis meses, he tenido dos kernels que me han dado problemas graves de quebrantamiento |
|---|
| irbis | de disco, y en uno fallaban los sockets. El SMP hasta hace poco no ha vuelto a funcionar. |
|---|
| irbis | Los sistemas de ficheros los tengo que montar con sync, para no hacer demasiado uso |
|---|
| irbis | del backup. Tengo un uptime de pena, y hay kernels que ni compilan. Decir que no se |
|---|
| irbis | incluye ninguna extensión para clustering porque no están probadas suena extraño. |
|---|
| irbis | Ahora se ha abierto la 2.5. Ya no hay escusas. Estamos en un punto de inflexión, y |
|---|
| irbis | los popes deben decidir si quieren que Linux se convertirá en un sistema operativo |
|---|
| irbis | barato para ejecutar Oracle, o en un sistema operativo con opciones reales de |
|---|
| irbis | clustering. Esta elección parece que la tomarán únicamente los popes de Linux, |
|---|
| irbis | y no tengo tan claro que no escogan la primera. |
|---|
| irbis | Mientras, los usuarios estamos a la espera. |
|---|
| irbis | Comencemos la polémica. :-) |
|---|
| LuisMi | totalmente de acuerdo |
|---|
| irbis | ¿Opiniones, dudas, preguntas? |
|---|
| Drizzt | irbis: hace tiempo leí un comentario en Barrapunto sobre lo de orcale |
|---|
| LuisMi | yo solo tengo que decir que estoy plenamente de acuerdo con esto ultimo del desarrollo del kernel |
|---|
| Drizzt | irbis: de todas maneras, de los 2.4.x he usado los de las distros (RH en mi caso), el resto de los server que llevo sigo con un 2.2.x |
|---|
| dardhal | irbis: ¿ alguno de los proyectos más avanzados de clustering ha "contactado" con los popes para saber su opinión ? |
|---|
| irbis | Drizzt: Si. En http://www.lwn.net lei un resumen de la reunion. |
|---|
| dardhal | irbis: es decir, ¿ se sabe algo en favor o en contra ? |
|---|
| FloodeR | Hola |
|---|
| irbis | Se habló de muchas cosas que le interesaban a Oracle, pero nada de utilidad real en clustering. |
|---|
| LuisMi | nas FloodeR |
|---|
| Borja | Hombre, aparte de a Oracle seguro que sirven para ma cosas! |
|---|
| irbis | dardhal: No se nada más que lo aparecido en la noticia, que es muy poco. |
|---|
| irbis | Pues si realmente se está haciendo lo que se dijo, estamos llendo para atras. |
|---|
| Drizzt | Borja: no sé, por ejemplo, todo el tema del himem no está demasiado claro para qué sino. De hecho, incluso NT usa eso solo con bases de datos. |
|---|
| dardhal | irbis: creo que Alan Cox una de las intenciones que tenía era precisamente empujar las características "empresariales" del kernel |
|---|
| dardhal | irbis: de momento está con el scheduler, para aumentar la escalabilidad, no sé si recuerdo algo suyo acerca de clustering |
|---|
| Borja | Ya, pero hay mas bases de datos en Linux, no solamente Oracle |
|---|
| Drizzt | Borja: ya lo se :) |
|---|
| irbis | El problema es el recurrente. ¿Porqué hacer cosas que benefician sólo a Compaq o a Oracle? |
|---|
| Borja | Seguro que solamente benefician a Compaq u Oracle? |
|---|
| LuisMi | si |
|---|
| irbis | Básicamente lo que proponian era una descripción de lo que necesita Oracle. |
|---|
| dardhal | Borja: coincido contigo, el como el "Google memory problem", no es que hayan solucionado el problema de Google, es que su carga de trabajo manifestó un problema que estaba ahí , y que necesitaba una solución |
|---|
| irbis | Respecto a compaq, están ahora con todo el vaporware de su ssi -del que prometen de todo para un futuro proximo- |
|---|
| irbis | no se ha apoyado tecnologías que ya hay |
|---|
| Borja | Esas mejoras permitiran que otros proyectos libres consigan mejores prestaciones. |
|---|
| irbis | El principal problema de Oracle es el VFS, que no se puede quitar de enmedio. |
|---|
| Drizzt | irbis: ¿limites en los tamaños? |
|---|
| irbis | Todas las propiestas de Oracle van para eliminar el sistema de buffering y el VFS. |
|---|
| Drizzt | irbis: acceso crudo :? |
|---|
| Drizzt | irbis: algo parecido a lo que se hace en SunOS con las viejso /dev/rdsk/ :? |
|---|
| dardhal | irbis: ¿ eliminar, o hacer posible acceder a un dispositivo evitando el VFS ? |
|---|
| irbis | Ahora, no se habló de ninguna de las soluciones ya existentes, ni de reaprovechar código. |
|---|
| FloodeR | -topic |
|---|
| FloodeR | Uis |
|---|
| irbis | Exactamente. Esa es la obsesión a Oracle, el acceso directo a los recursos hardware. |
|---|
| irbis | Hay cosas fundamentales, como son un sistema de interbloqueos de archivos válido para clustering, |
|---|
| irbis | ampliar el formato de PIDs, y posicionarse respecto a los grandes paquetes que hay para clusters, a ver lo que se puede aprovechar |
|---|
| irbis | y lo que no se puede aprovechar. |
|---|
| irbis | Mosix es lo más parecido a un SSI que se puede hacer con una compatibilidad total para atras. |
|---|
| irbis | El problema es que Mosix sea incompleto. |
|---|
| irbis | Mosix aún no es capaz de tratar con muchas cosas. |
|---|
| irbis | No trata con IPC. |
|---|
| FloodeR | Ni con sockets, no? |
|---|
| irbis | Podría, si se operase con el DIPC. |
|---|
| irbis | El problema es que DIPC está para las 2.2.x |
|---|
| irbis | Tampoco trata con sockets. |
|---|
| irbis | Tampoco trata con sistemas de discos en condiciones |
|---|
| irbis | hay aún muchas cosas para hacer |
|---|
| FloodeR | Hasta donde se, mosix solo es un distribuidor de procesos |
|---|
| irbis | Exactamente, es a eso lo que me refiero. |
|---|
| riel | debUgo-: yes |
|---|
| irbis | Mosix implementa la parte de procesos, pero aún falta todo lo realtivo a disco, a red, a IPCs... |
|---|
| FloodeR | Mosix tambien tenia planeado soportarlo (sockets) en proximas implementaciones |
|---|
| irbis | Estoy ahora entrrando en el site. |
|---|
| FloodeR | De todas maneras la cosa creo que se complica de manera exponencial, no? |
|---|
| irbis | Si, pero Mosix no ha avanzado en features desde hace dos años. |
|---|
| FloodeR | Un scheduler de red, por decirlo asi, no tiene pinta de ser muy complejo |
|---|
| irbis | El problema es que sigen un modelo de desarrollo cerrado. |
|---|
| FloodeR | irbis: No sigo mucho el proyecto, la verdad, pero si que tiene toda la pinta de ser lo que dices |
|---|
| irbis | Y al nivel de complejidad actual, no se hasta que punto sean capaces de llevar tanta cosa junta. |
|---|
| irbis | Es un buen momento para apoyrase en la comunidad. |
|---|
| irbis | Es solo que les podamos devolver lo que nos han dado. |
|---|
| irbis | Ellos nos han dado Mosix, y poder echarles un cable. |
|---|
| viZard | Queremos agradecer a David Santo Orcero por su _MUY_ interesante charla, |
|---|
| irbis | Entonces, algo mas? |
|---|
| viZard | la cual ha despertado un gran interés, preguntas y comentarios en muchos. |
|---|
| viZard | El log de esta conferencia sera liberado mañana en la web del congreso. |
|---|
| viZard | plas plas plas plas plas plas plas plas plas plas |
|---|
| viZard | plas plas plas plas plas plas plas plas plas plas |
|---|
| irbis | Gracias a vosotros por escucharme durante tanto tiempo. :-) |
|---|
| viZard | plas plas plas plas plas plas plas plas plas plas |
|---|
| viZard | plas plas plas plas plas plas plas plas plas plas |
|---|
| Ston | clap clap clap clap clap clap clap clap clap clap clap clap clap clap clap clap |
|---|
| viZard | plas plas plas plas plas plas plas plas plas plas |
|---|
| FloodeR | splas splas slas |
|---|
| Ston | clap clap clap clap clap clap clap clap clap clap clap clap clap clap clap clap |
|---|
| Ston | clap clap clap clap clap clap clap clap clap clap clap clap clap clap clap clap |
|---|
| viZard | plas plas plas plas plas plas plas plas plas plas |
|---|
| Drizzt | tjx :) |
|---|
| viZard | plas plas plas plas plas plas plas plas plas plas |
|---|
| FloodeR | splas splas slas |
|---|
| Ston | clap clap clap clap clap clap clap clap clap clap clap clap clap clap clap clap |
|---|
| FloodeR | splas splas slas |
|---|
| FloodeR | splas splas slas |
|---|
| Ston | clap clap clap clap clap clap clap clap clap clap clap clap clap clap clap clap |
|---|
| viZard | plas plas plas plas plas plas plas plas plas plas |
|---|
| viZard | plas plas plas plas plas plas plas plas plas plas |
|---|
| oraclito | ;) |
|---|
| FloodeR | chop chop chop chop |
|---|
| FloodeR | chop chop chop chop |
|---|
| oraclito | :) |
|---|
| riel | debUgo-: see the TODO list on http://linuxvm.bkbits.net/ ;) |
|---|
| viZard | Muchas gracias david XD |
|---|
| riel | debUgo-: but don't expect it in 2.5 |
|---|
| viZard | menos mal no tuve que traducir :-) |
|---|
| irbis | :-) |
|---|
| Borja | plas plas plas plas |
|---|
| Borja | :-) |
|---|
| Ston | lol |
|---|
| Ston | 8-) |
|---|
| zerog | llego el primo |
|---|
| Zero | Buenass |
|---|
| riel | irbis: good to see you again ;) |
|---|
| Zero | Como va primo? |
|---|
| zerog | regular para el tiempo |
|---|
| irbis | Hello, riel! |
|---|
| irbis | Hay gente que quiere localizarme. |
|---|
| Ston | dos zero* ? uhhh que pesadilla... espero que no se junten X-) |
|---|
| irbis | Yoestoy en irbis@orcero.org |
|---|
| irbis | http://www.orcero.org/irbis |
|---|
