Cómo optimizar el sistema de archivos ext3.

Gracias a Luis, que me ha pasado este tutorial muy bueno el que muestra o explica de manera comprencible como optimizar el sistema de archivos ext3, sin mas aqui se los transcribo sin omitir un agradecimiento a su autor el Sr: Joel Barrios Dueñas.

Introducción.

Cuando se trabaja con servidores y estaciones de trabajo con instalaciones de Ubuntu, CentOS, Red Hat o Fedora y se busca optimizar el uso del disco duro de sistemas de archivos ext3, hay ajustes que pueden mejorar el desempeño significativamente.

Acerca de ext3.

ext3 (third extended filesystem o tercer sistema de archivos extendido) es el sistema de archivo más utilizado por las distribuciones de GNU/Linux y. Se diferencia de ext2 en que trabaja con registro por diario (journaling) y porque utiliza un árbol binario balanceado (árbol AVL, creado por los matemáticos rusos Georgii Adelson-Velskii y Yevgeniy Landis) y también por incorporar el método Orlov de asignación para bloques de disco (el mismo que se gestiona a través de los mandatos lsattr y chattr). Además ext3 permite ser montado y utilizado como si fuera ext2 y actualizar desde ext2 hacia ext3 sin necesidad de formatear la partición y, por tanto, sin perder los datos almacenados en ésta.

Acerca del registro por diario (journaling).

El registro por diario (journaling) es un mecanismo por el cual un sistema de archivos implementa transacciones. Consiste en un registro en el que se almacena la información necesaria para restablecer los datos dañados por una transacción en caso de que ésta falle, como puede ocurrir durante una interrupción de energía.

Procedimientos

Para determinar que dispositivos corresponden a las particiones en el disco duro, se utiliza el mandato df. Ejemplo:

[root@m064 ~]# df
S.ficheros Bloques de 1K Usado Dispon Uso% Montado en
/dev/hda2 19283024 17279260 1207584 94% /
/dev/sda1 77749 21905 51830 30% /boot
/dev/sdb1 17496684 10618980 5988912 64% /home
/dev/hda5 54158844 41284544 11223624 79% /var/ftp
/dev/sda2 15352348 4874232 9698164 34% /home/rpmbuild
tmpfs 777732 0 777732 0% /dev/shm

Una vez determinados que dispositivos corresponden a las diferentes particiones, pueden aplicarse varios métodos de optimización.
Utilizando el mandato e2fsck.

El mandato e2fsck se utiliza regularmente pararevisar y reparar particiones con formato etx2 y ext3. Incluye la opción -D que realiza la optimización de directorios en el sistema de archivos. La optimización de todos los directorios de una partición consiste en volver a posicionar (reindexing) los directorios, cuando el sistema de archivos incluye soporte para tal, o volviendo a acomodar y comprimiendo directorios. La opción -D se debe utilizar junto con la opción -f para forzar la verificación de la partición del disco duro.

Para optimizar una partición en formato ext3, es indispensable que ésta no esté montada.Para poder desmontar una partición es indispensable que no haya procesos haciendo uso de contenidos en dicha partición. Puede utilizarse el mandato lsof para determinar esto y así definir que es lo que se debe detener momentáneamente. Si no hay procesos haciendo uso de contenidos en la partición, se puede seguir el procedimiento ejemplificado a continuación con el dispositivo /dev/sda3 que en este particular ejemplo corresponde a la partición para /home:

umount /home
e2fsck -f -D /dev/sda3

La salida puede devolver algo similar a lo siguiente:

[root@m100 SPECS]# e2fsck -D -f /dev/sda3
e2fsck 1.39 (29-May-2006)
Pass 1: Checking inodes, blocks, and sizes
Pass 2: Checking directory structure
Pass 3: Checking directory connectivity
Pass 3A: Optimizing directories
Pass 4: Checking reference counts
Pass 5: Checking group summary information

/home: ***** FILE SYSTEM WAS MODIFIED *****
/home: 13/5244736 files (7.7% non-contiguous), 208319/5243214 blocks

Una vez terminado el procedimiento, se pueden volver a montar las particiones optimizadas.

En el caso de tratarse de particiones que no se pueden desmontar por encontrarse en uso, puede utilizarse un disco de instalación en modo de rescate (boot: linux rescue), en el caso de CentOS, Red Hat o Fedora, o un LiveCD, en el caso de Ubuntu, y desmontando las particiones que se quiera optimizar antes de utilizar el mandato e2fsck -f -D.
Opciones de montado.

Los sistemas de archivos ext3 permiten tres opciones que particularmente son útiles. Todas se específican en la columna de opciones de los dispositivos en el fichero /etc/fstab.
Opción noatime (no tiempos de acceso).

Es la forma más rápida y fácil de lograr mejoras en el desempeño. Esta opción impide se actualice los tiempos de acceso de los inodos (nodos índice), los cuales realmente son poco utilizados por la mayoría de los usuarios. Esto permite mejor desempeño en servidores de noticias y HTTP pues permite un más rápido acceso hacia el sistema de archivos. Es particularmente útil en computadoras portátiles pues reduce considerablemente la cantidad de procesos de E/S o Entrada y Salida (I/O o Input/Output) del disco duro. Equivale a utilizar chattr +A, pero aplicado a todos los datos de la partición.

En el siguiente ejemplo, se configurará la opción noatime para la partición /var/www en el fichero /etc/fstab de un servidor HTTP.

LABEL=/var/www /var/www ext3 defaults,noatime 1 2

Opción commit (consignación de cambios).

Esta opción controla el tiempo que se utilizará entra cada operación sincronización (sync) de datos y metadatos en una partición. El tiempo predeterminado es de 5 segundos. Puede incrementarse ligeramente para mejorar el desempeño, tomando en cuenta que si se específica demasiado tiempo y ocurre una interrupción de energía antes de hacer una operación de sincronización (sync), se perderán los datos más recientes con los que se haya trabajado. Esta opción solo se recomienda si se dispone de un sistema de respaldo de energía confiable.

En el siguiente ejemplo, se configurará la opción commit con el valor equivalente a 8 segundos para la partición /var/www en el fichero /etc/fstab de un servidor HTTP.

LABEL=/var/www /var/www ext3 defaults,commit=8 1 2

Opción data (datos).

Esta opción permite tres posibles valores:

* ordered: Es el valor predeterminado. Escribe los datos asociados a los metadatos primero en el sistema de archivos antes de hacerlo en el registro por diario. Si es prioritario garantizar la integridad de datos o no se dispone de un sistema de respaldo de energía confiable, es la opción que debe utilizarse.
* writeback: Hace que el sistema de archivos se comporte de manera similar a XFS. No preserva el ordenamiento al escribir en el disco, de modo que las consignaciones de cambios (commits) en el registro por diario puede ocurrir antes de la escritura en el sistema de archivos. Este método es el más rápido porque solo los metadatos se almacenan en el registro por diario, pero puede hacer que se muestren datos viejos después de una falla del sistema o interrupción de energía. Solo se recomienda si se dispone de un sistema de respaldo de energía confiable.
* journal: Es lo opuesto a ordered. Obliga a escribir primero los datos en el registro por diario y luego en el sistema de archivos, por lo cual utiliza un registro por diario más grande y que por lo tanto demora más tiempo en recuperarse en caso de una falla del sistema o interrupción de energía. Este es evidentemente el método más lento en la mayoría de los casos, salvo que se realicen operaciones de lectura y escritura al mismo tiempo, como ocurre con las bases de datos.

En el siguiente ejemplo se configurará en el fichero /etc/fstab de un servidor HTTP y base de datos la partición /var/www con la opción data con el valor writeback y la partición /var/lib con la opción data y el valor journal:

LABEL=/var/www /var/www ext3 defaults,data=writeback 1 2
LABEL=/var/lib /var/lib ext3 defaults,data=journal 1 2

Para aplicar los cambios, sin correr el riesgo de reiniciar con errores de sintaxis en el fichero /etc/fstab que impedirían montar las particiones configuradas, se puede utilizar el mandato mount con la opción -o remount. Ejemplos:

mount -o remount /var/www
mount -o remount /var/lib

Si lo anterior devuelve el símbolo de sistema sin errores, significa que las opciones se aplicaron correctamente y que el sistema puede ser reiniciado con toda seguridad en el momento que se considere apropiado.


Última Edición jueves, julio 03 2008 @ 11:24 CDT

3 comentarios:

Anónimo dijo...

SuSE y Unix en el planeta Marte!


Los modelos para construir el escudo de la phoenix se diseñaron usando supercomputadoras que corren SuSE Linux con programas avanzados diseñados para este fin. Pero el dato más curioso es el sistema operativo que lleva el módulo de aterrizaje Phoenix Lander.

Esta vez ha sido una variación del Unix bajo un CPU especialmente fortalecido y una placa base producida por IBM.

Varias sondas llegaron a marte anteriormente, pero hasta ahora no sabíamos qué sistemas operativos utilizaban. El procesador es un Rad6000 construído por IBM que se ha endurecido para soportar los estragos de la radiación en el espacio, con una velocidad de proceso de 33 MHz y con unos 128 MB de RAM. El Phoenix Lander usa una variante de Unix llamada VxWorks, que es un sistema operativo incrustado en un chip


Organizaciones tan prestigiosas como la NASA usan SUSE Linux Enterprise Server para operaciones informáticas de alto rendimiento en los más importantes supercomputadores.

Superordenadores de todo el mundo están funcionando con SUSE Linux Enterprise Server de Novell(R) y prueba de ello es que, de acuerdo con TOP500, proyecto que sigue y detecta tendencias en informática de alto rendimiento (HPC: High Performance Computing), SUSE Linux Enterprise es actualmente la solución de Linux favorita de los mayores superordenadores HPC.

De este modo, de los 50 superordenadores más importantes del mundo, el 40 por ciento están funcionando con SUSE Linux Enterprise, incluyendo los tres más importantes:

* IBM eServer Blue Gene del Laboratorio Nacional Lawrence Livermore,
* IBM eServer BlueGene/P (JUGENE) del Centro de Investigación de Jülich (Alemania), y
* SGI Altix 8200 del Computing Applications Center, en Nuevo México.

Gracias a una oferta de software de código abierto económica y de alta calidad y hardware de bajo coste, Novell y sus partners permiten disfrutar de las mismas funcionalidades informáticas de alto rendimiento de las que se benefician los superordenadores a empresas y clientes del denominado segmento mediano de distintos sectores, como el manufacturero, el de la investigación o las entidades académicas.

Clientes como Audi, la división de Supercomputación avanzada de la NASA, MTU Aero Engines, el Instituto de Tecnología de Tokio, Porsche Informatik, la Universidad Nacional de Seúl, la Universidad de Tecnología de Swinburne y Wehmeyer están utilizando superordenadores y clusters de ordenadores con SUSE Linux Enterprise Server para gestionar cargas de trabajo de misión crítica con tiempos de parada mínimos.

En el caso de la división de Supercomputación Avanzada de la NASA, tres de sus superordenadores funcionan con SUSE Linux Enterprise de Novell. Estos equipos se utilizan para evaluar si tecnologías de próxima generación cumplen los requisitos científicos y técnicos, programas de lanzamiento y funcionamiento de sus sistemas de control, así como para el soporte de iniciativas de operaciones espaciales, científicas y aeronáuticas de la NASA. Además, el próximo superordenador de la NASA, cuya finalización está prevista para este verano, también funcionará con SUSE Linux Enterprise Server y, cuando esté instalado, será uno de los mayores sistemas SGI Altix ICE, equiparable al actual tercer superordenador más potente del mundo.

“En la NASA trabajamos para resolver algunos de los desafíos más complejos de la ciencia, por lo que es fundamental contar con un sistema operativo que nos permita lograr el más alto nivel de funcionalidad informática. Cuando elegimos un sistema operativo, nuestras dos principales consideraciones son el rendimiento y la flexibilidad. Contar con el sistema operativo adecuado nos permite superar los límites del rendimiento informático e introducir nuevos niveles de innovación en nuestros programas espaciales, científicos y aeronáuticos”, afirmó William Thigpen, engineering branch chief de la división de Supercomputación Avanzada de la NASA.

El ámbito de la informática de alto rendimiento también supone una oportunidad para los partners de Novell. Así, empresas como Appro International, Atipa Technologies, Cluster Resources, HP, Penguin Computing, SGI y Teradata están incorporando SUSE Linux Enterprise Server a las soluciones informáticas de alto rendimiento que suministran a sus respectivos clientes.

SUSE Linux Enterprise lleva siendo líder del mercado de la informática de alto rendimiento durante más de una década, un liderazgo basado en la potente herencia técnica de esta distribución.

“SUSE Linux Enterprise se ha convertido en el sistema operativo HPC de referencia gracias a sus capacidades de rendimiento y escalabilidad, y a la amplia variedad de software de fuente abierta y herramientas de desarrollo disponibles. Al aprovechar las ventajas de los servidores estándar y grupos de ordenadores que están funcionando con SUSE Linux Enterprise, los clientes y colaboradores pueden crear e instalar los mejores productos y aplicaciones de tipo HPC del mundo”, afirmó Carlos Montero-Luque, vicepresidente de Gestión de Producto de Soluciones de Plataforma Abierta de Novell.

Estadística de Top 500 por familia de Sistema Operativo - Junio 2008

Estas son las principales conclusiones de la lista con el Top-500 de supercomputadores mundiales, publicada hoy desde la Conferencia Internacional de Supercomputación que se celebra en Dresden. Según el informe el gigante azul ha fabricado 210 de los 500 sistemas, incluidos cinco de los diez primeros, encabezados por el Roadrunner, el supercomputador del Departamento de energía estadounidense que recientemente ha superado la barrera del petaflop, siendo además uno de los que tienen mayor eficiencia energética. El segundo fabricante por número de sistemas en el top es HP con 183 y Sun Microsystem puede presumir de la fabricación de cuatro de los diez primeros. Por procesadores, Intel domina el 75 de los sistemas y el 90% de los que integran de cuádruple núcleo, utilizados en la mitad de las máquinas. La mayor parte de los sistemas contienen entre 2049 y 4096 procesadores, más del doble que hace seis meses. En cuanto a sistemas operativos se impone SUSE Linux Enterprise de Novell, que gobierna nada menos que 20 de los 50 primeros, incluyendo los tres superordenadores más potentes. La lista contiene una incorporación significativa por lo poco usual que es ver un “Windows” en este tipo de sistemas. En concreto en el puesto 23 un Windows HPC Server 2008, que además es la primera vez que corre sobre hardware de IBM. Por países, Estados Unidos aloja a 257 máquinas, Reino Unido 53, Alemania 46, Francia 34, Japón 22 y China 12.

Y nosotros podemos disfrutar de todo ese poder con nuestro humildes PCs y openSUSE!.

Fuentes:

* Top500.org
* The Inquirer ES - IBM, Intel y SUSE Linux dominan la supercomputación mundial


Link de la noticia:

http://www.nasa.gov
http://www.microteknologias.cl/blog/?p=1311
http://www.theinquirer.es/2008/06/18/imb_intel_y_suse_linux_dominan_la_supercomputacion_mundial.html

Anónimo dijo...

SuSE y Unix en el planeta Marte!


Los modelos para construir el escudo de la phoenix se diseñaron usando supercomputadoras que corren SuSE Linux con programas avanzados diseñados para este fin. Pero el dato más curioso es el sistema operativo que lleva el módulo de aterrizaje Phoenix Lander.

Esta vez ha sido una variación del Unix bajo un CPU especialmente fortalecido y una placa base producida por IBM.

Varias sondas llegaron a marte anteriormente, pero hasta ahora no sabíamos qué sistemas operativos utilizaban. El procesador es un Rad6000 construído por IBM que se ha endurecido para soportar los estragos de la radiación en el espacio, con una velocidad de proceso de 33 MHz y con unos 128 MB de RAM. El Phoenix Lander usa una variante de Unix llamada VxWorks, que es un sistema operativo incrustado en un chip


Organizaciones tan prestigiosas como la NASA usan SUSE Linux Enterprise Server para operaciones informáticas de alto rendimiento en los más importantes supercomputadores.

Superordenadores de todo el mundo están funcionando con SUSE Linux Enterprise Server de Novell(R) y prueba de ello es que, de acuerdo con TOP500, proyecto que sigue y detecta tendencias en informática de alto rendimiento (HPC: High Performance Computing), SUSE Linux Enterprise es actualmente la solución de Linux favorita de los mayores superordenadores HPC.

De este modo, de los 50 superordenadores más importantes del mundo, el 40 por ciento están funcionando con SUSE Linux Enterprise, incluyendo los tres más importantes:

* IBM eServer Blue Gene del Laboratorio Nacional Lawrence Livermore,
* IBM eServer BlueGene/P (JUGENE) del Centro de Investigación de Jülich (Alemania), y
* SGI Altix 8200 del Computing Applications Center, en Nuevo México.

Gracias a una oferta de software de código abierto económica y de alta calidad y hardware de bajo coste, Novell y sus partners permiten disfrutar de las mismas funcionalidades informáticas de alto rendimiento de las que se benefician los superordenadores a empresas y clientes del denominado segmento mediano de distintos sectores, como el manufacturero, el de la investigación o las entidades académicas.

Clientes como Audi, la división de Supercomputación avanzada de la NASA, MTU Aero Engines, el Instituto de Tecnología de Tokio, Porsche Informatik, la Universidad Nacional de Seúl, la Universidad de Tecnología de Swinburne y Wehmeyer están utilizando superordenadores y clusters de ordenadores con SUSE Linux Enterprise Server para gestionar cargas de trabajo de misión crítica con tiempos de parada mínimos.

En el caso de la división de Supercomputación Avanzada de la NASA, tres de sus superordenadores funcionan con SUSE Linux Enterprise de Novell. Estos equipos se utilizan para evaluar si tecnologías de próxima generación cumplen los requisitos científicos y técnicos, programas de lanzamiento y funcionamiento de sus sistemas de control, así como para el soporte de iniciativas de operaciones espaciales, científicas y aeronáuticas de la NASA. Además, el próximo superordenador de la NASA, cuya finalización está prevista para este verano, también funcionará con SUSE Linux Enterprise Server y, cuando esté instalado, será uno de los mayores sistemas SGI Altix ICE, equiparable al actual tercer superordenador más potente del mundo.

“En la NASA trabajamos para resolver algunos de los desafíos más complejos de la ciencia, por lo que es fundamental contar con un sistema operativo que nos permita lograr el más alto nivel de funcionalidad informática. Cuando elegimos un sistema operativo, nuestras dos principales consideraciones son el rendimiento y la flexibilidad. Contar con el sistema operativo adecuado nos permite superar los límites del rendimiento informático e introducir nuevos niveles de innovación en nuestros programas espaciales, científicos y aeronáuticos”, afirmó William Thigpen, engineering branch chief de la división de Supercomputación Avanzada de la NASA.

El ámbito de la informática de alto rendimiento también supone una oportunidad para los partners de Novell. Así, empresas como Appro International, Atipa Technologies, Cluster Resources, HP, Penguin Computing, SGI y Teradata están incorporando SUSE Linux Enterprise Server a las soluciones informáticas de alto rendimiento que suministran a sus respectivos clientes.

SUSE Linux Enterprise lleva siendo líder del mercado de la informática de alto rendimiento durante más de una década, un liderazgo basado en la potente herencia técnica de esta distribución.

“SUSE Linux Enterprise se ha convertido en el sistema operativo HPC de referencia gracias a sus capacidades de rendimiento y escalabilidad, y a la amplia variedad de software de fuente abierta y herramientas de desarrollo disponibles. Al aprovechar las ventajas de los servidores estándar y grupos de ordenadores que están funcionando con SUSE Linux Enterprise, los clientes y colaboradores pueden crear e instalar los mejores productos y aplicaciones de tipo HPC del mundo”, afirmó Carlos Montero-Luque, vicepresidente de Gestión de Producto de Soluciones de Plataforma Abierta de Novell.

Estadística de Top 500 por familia de Sistema Operativo - Junio 2008

Estas son las principales conclusiones de la lista con el Top-500 de supercomputadores mundiales, publicada hoy desde la Conferencia Internacional de Supercomputación que se celebra en Dresden. Según el informe el gigante azul ha fabricado 210 de los 500 sistemas, incluidos cinco de los diez primeros, encabezados por el Roadrunner, el supercomputador del Departamento de energía estadounidense que recientemente ha superado la barrera del petaflop, siendo además uno de los que tienen mayor eficiencia energética. El segundo fabricante por número de sistemas en el top es HP con 183 y Sun Microsystem puede presumir de la fabricación de cuatro de los diez primeros. Por procesadores, Intel domina el 75 de los sistemas y el 90% de los que integran de cuádruple núcleo, utilizados en la mitad de las máquinas. La mayor parte de los sistemas contienen entre 2049 y 4096 procesadores, más del doble que hace seis meses. En cuanto a sistemas operativos se impone SUSE Linux Enterprise de Novell, que gobierna nada menos que 20 de los 50 primeros, incluyendo los tres superordenadores más potentes. La lista contiene una incorporación significativa por lo poco usual que es ver un “Windows” en este tipo de sistemas. En concreto en el puesto 23 un Windows HPC Server 2008, que además es la primera vez que corre sobre hardware de IBM. Por países, Estados Unidos aloja a 257 máquinas, Reino Unido 53, Alemania 46, Francia 34, Japón 22 y China 12.

Y nosotros podemos disfrutar de todo ese poder con nuestro humildes PCs y openSUSE!.

Fuentes:

* Top500.org
* The Inquirer ES - IBM, Intel y SUSE Linux dominan la supercomputación mundial


Link de la noticia:

http://www.nasa.gov
http://www.microteknologias.cl/blog/?p=1311
http://www.theinquirer.es/2008/06/18/imb_intel_y_suse_linux_dominan_la_supercomputacion_mundial.html

Anónimo dijo...

Amiable brief and this fill someone in on helped me alot in my college assignement. Gratefulness you for your information.