S.O.: Sistemas de cheros - LSUBlsub.org/itso/traspas/7.pdf · I La ROM de la tarjeta usa DHCP para...

Almacenamiento secundario Sistema de ficheros vs servidor de ficheros Particiones Arranque de un PC Sistema de Ficheros Asignacion contigua Asignacion enlazada Asignacion enlazada con tabla FAT Asignacion indexada Inodos Enlaces Directorios Espacio de nombres Cache Problemas de inconsistencia/coherencia Imagenes de disco Ficheros con huecos

S.O.: Sistemas de ficheros

Gorka Guardiola

Laboratorio de Sistemas,Grupo de Sistemas y Comunicaciones,

URJC

27 de agosto de 2010

S.O.: Sistemas de ficheros Laboratorio de Sistemas, Grupo de Sistemas y Comunicaciones, URJC


(cc) 2008 Grupo de Sistemas y Comunicaciones.

Algunos derechos reservados. Este trabajo se entrega bajo la licencia Creative Commons Attribution-ShareAlike.

Para obtener la licencia completa, vease http://creativecommons.org/licenses/by-sa/2.1/es. Tambien puede

solicitarse a Creative Commons, 559 Nathan Abbott Way, Stanford, California 94305, USA.



Almacenamiento secundario

I Mas grande que la memoria

I Persistente

I Problema similar a la asignacion de memoria

I Diferencias: bloques, lento, muy grande



Sistema de ficheros vs servidor de ficheros

I Sistema de ficheros: FAT32, Ext3, NTFS, HFS+, ISO9660I Estructura de datos persistente para repartir el discoI Abstrae bloques a ficheros, directorios con permisos, usuarios

etc.I Asigna bloques y espacio libreI Fragmentacion, y el resto de problemas de asignar espacio

I Servidor de ficherosI Programa, parte del sistema operativoI Arbitra el acceso al sistema de ficherosI Acceso concurrenteI ProteccionI Interfaz de llamadas al sistema, read(), write(), open()

etc.I Protocolo de red, 9P, NFS (tambien se les llama sistemas de

ficheros en red)



Sistema de ficheros

I Estructura de datos para repartir el disco

I Incluye datos (contenido de ficheros) y metadatos, nombresde ficheros, permisos, etc.

I Los ficheros en sı no tienen (mucho) tipo

I Los ficheros datos en crudo con un nombre que es una cadenade texto.

I Excepcion extensiones (tipo del fichero en Windows), resourceforks (Mac OS) etc.

I Los metadatos sı tienen tipo, nombres usuario, permisos,enteros con tamanos, fechas



Particiones

I Estructura de datos que parte el disco en regiones fijas

I Tamanos fijos (aunque algunas aplicaciones lo puedencambiar, para reconfigurar, no es lo normal)

I Tabla de particiones, al principio del disco, en el MBR (MasterBoot Record)

I Cada particion tiene un tipo, sistema de ficheros, o swap etc.

I Tambien tienen un bit diciendo si se puede cargar un kernel deellas (bootable)

I Dentro de una particion hay un sistema de ficheros



Particiones



Particiones

I Hay que hacerlas con cuidado porque no se pueden cambiarfacilmente

I Hay normales y extendidas, que pueden contener otras en elinterior

I Tambien tienen un bit diciendo si se puede cargar un kernel deellas (bootable)



Arranque de un PC

I BIOS, Rom de arranque (El equivalente en Mac es EFI y elarranque y el sistema de particiones es un poco diferente)

I Carga el MBR en memoria

I El MBR contiene la tabla de particiones

I Y codigo para arrancar

I El codigo del MBR busca una particion marcada comobootable

I Si es primaria, carga el kernel (o el cargador) y lo arranca.

I En una particion secundaria hay otro Boot Record secundarioque a su vez carga el kernel (o el cargador)



MBR



Arranque de un PC

I A veces en lugar de cargar el kernel, se carga un cargador, unprograma que carga el kernel y salta a el

I Se llama cargador secundario, flexibilidad, limitaciones delMBR

I Grub o LILO vienen con linux

I NTLDR Windows XP, BOOTMGR con Windows Vista

I 9load en Plan 9

I Suele tener una shell, menu para elegir que se arranca etc.



Arranque de un PC, de red

I BIOS, ROM de arranque

I La BIOS salta a la ROM de la tarjeta

I La ROM de la tarjeta usa DHCP para configurarse, se trae elcargador secundario de la red por tftp

I Esto se llama PXE, Preboot eXecution Environment

I El cargador secundario normalmente tiene que ser especialpara esto (se carga en una direccion diferente y tiene lımites)

I Permite arrancar sin disco como en el laboratorio



Sistema de Ficheros, FS

I Evitar la fragmentacion

I Maximizar la velocidad, transferir bloques grandes, minimizarel acceso al disco para metadatos

I Bloque fısico (sector), tamano fijado por el disco, el hw

I Bloque logico (bloque o cluster) fijado por el fs

I Compromiso: Mayor el bloque −→ mayor la tasa detransferencia (mejor) y mayor la fragmentacion (peor)



Sistema de Ficheros, FS

I Un directorio puede ser un tipo especial de fichero(normalmente) u otra cosa diferente

I Hay que ver donde van los metadatos, a veces en el directorio,a veces en estructuras de datos para el fichero, a vecesasociada al fichero.



Asignacion contigua

I Pongo los bloques contiguos en disco

I ¿Cuanto va a ocupar el fichero?, reservo hueco

I Si me quedo sin espacio tengo que mover y actualizar lospunteros, aquı puedo, pero es caro

I Si hay mucha fragmentacion externa, puedo compactar, denuevo, caro

I En casos simples o que no se modifican, puede resultar util(por ejemplo, en un CDROM que solo se va a escribir una vez)



Asignacion enlazada

I Un fichero es una lista enlazada (¿simple, doble?) de bloques

I Se tiene un puntero al primero (¿y al ultimo?)

I Acceso aleatorio ineficaz (aunque una cache de bloques loresuelve)

I ¿Que pasa si pierdo un enlace?



Asignacion enlazada con tabla

I Lista enlazada, separada en una tabla

I Ejemplo, FAT



FAT

15

0x0FFFFFF60xFF0−0xFF6

0xFFF0−0xFFF6

FAT12 FAT16

0x000

0x001

0x002−0xFEF 0x0002−0xFFEF

Significado

Cluster libre

Valor reservado

0x00000000

FAT32

0x0000

0x0001

0x2−0x0FFFFFEF

0x00000001

Cluster en uso

Valoresreservados

0xFF7 0xFFF7 0x0FFFFFF7 Cluster malo

0xFF8−0xFFF

0xFFF8−0xFFFF

0x0FFFFFF8−0x0FFFFFFF

Clusterfinal

1 4 72 3 5 6 8 9

2 0xFFF5

TABLA FAT

Fichero

0xFFF 3 7

DirectorioEjemplo de Directorio

dos

tres

uno 2

10

Cluster inicioNombre

0x0FFFFFF0−



FAT32I Empieza con un Boot Sector (como las particiones extendidas)I Datos de la tabla, numero de sectores, numero de copias de la

tabla fat etc.I Clusters de 32Kb, 64 sectores.I Maximo tamano de disco, 2TbI Entrada de directorio, contiene metadatos de un fichero 32

bytesI Nombre, 8 bytesI Extension, 3 bytesI Atributos, 1 byteI Reservado, 10 bytesI Hora de modificacion, 2 bytesI Fecha de modificacion, 2 bytesI Primer cluster del archivo, 4 bytesI Tamano del archivo 4 bytes



FAT

I La FAT ocupa espacio: clusters, FAT mas pequena a cambiode fragmentacion

I Es muy sencillo

I ¿Que pasa si se pierdo la FAT?: varias copias, actualizacionproblemas

I ¿Me cabe la FAT en la memoria?, ¿la cargo en demanda?



Asignacion indexada

I Todos los punteros a los bloques juntos, acceso aleatorio masrapido

I Cada fichero tiene su lista de punteros, puede ir pegado a losdatos para minimizar accesos a disco

I Bloque de indireccion grande, desperdicio, pequeno, ficheromaximo



Asignacion indexada: lista enlazada

I Bloque de indireccion con N punteros y referencia al siguiente

I Extensible, mas accesos a disco para leer un fichero entero



Asignacion indexada: multinivel

I Un arbol, profundidad fija, tamano logarıtmico, menosmetadatos, menos accesos a disco

I Desperdiciamos para ficheros pequenos o de diferentestamanos

I Queremos lo mejor de los casos anteriores: esquemacombinado



Asignacion indexada: esquema combinado

I Bloques directos de datos

I Bloques de indireccion simple

I Bloques de indireccion doble, etc.



Unix: inodos

I Inodo: bloque de punteros, metadatos

I Contienen bloques de indireccion doble, etc.

I Directorios, nombres, numero de inodo (dentry)

I Dos entradas especiales, una para . (actual) y otra para ..(padre)

I Superbloque/descriptores de grupo, tamanos, tabla deinodos/bloques ocupados (bitmap), varias copias por si hay undesastre

I Los bloques de punteros estan en los bloques de datos



Enlaces

I Enlaces duros, varias entradas de directorio apuntando almismo inodo

I indistinguible de un directorio normalI necesito cuenta de referencias para liberar los datos

I Enlaces blandos o simbolicosI como un fichero con un nombre, en la parte de datosI open requiere resolver dos nombresI el fichero al que apunta puede no existir



Unix: inodos

I Ejemplo, Ext2 (y Ext3, que es el mismo pero con un journal,mas adelante)



ext2: inodos



ext2: super bloque/descriptores de grupo



Directorios, implementacion

I Lineal, simple, lenta

I Lineal ordenada, rapida, problema para creacion y borrado

I Tabla hash, mas rapida, menos localidad para caches



Montaje, espacio de nombres

I Como lo ve el usuario

I Un bosque de arboles, unidades, C:, D: (windows)

I Un arbol en el que se montan (pegan) sistemas de ficheros

I Una unica tabla de montajes global, mount(2) UNIX,/etc/fstab

I Varios espacios de nombres, uno por proceso ns(1), Plan 9

I bind(2), para pegar unos trozos de arboles en otros

I substitution mounts, oculta lo que hay debajo, union mounts,se ven ambos contenidos en el mismo sitio (Plan 9)



Espacio de nombres

Sistema de ficheros Organizacion de datos Espacios de nombres Cache Coherencia

Espacio de nombres

/

386 usr bin n

rubia

/

386 usr bin

...

...

PUNTO DE MONTAJE

FICHERO MONTADO

Tema 8: Gestion de ficheros Laboratorio de Sistemas, Grupo de Sistemas y Comunicaciones, URJC



Cache

I Buffer cache: parte de la memoria se usa para almacenarbloques disco

I Page cache: Marcos de memoria no usados por los procesos,guarda paginas (mmap, carga en demanda etc).

I No necesito tener dos realmente, o tendre dos copias (Labuffer cache de linux usa la page cache).

I Ambos transparentes al usuario. ¿Completamente?, ¿y siapago el ordenador?

I Otras caches: cache de inodos, de dentries etc.



Cache

I Las polıticas que ya hemos visto valen, tıpicamente se usaLRU, con extras

I para escribirI delayed write-back: se espera un poco (con la esperanza de

que escriban mas en ese bloque)I write through: simple y si se va la luz, esta ya en el disco

I para leer, como suele haber lectura secuencial:I read-ahead: leo mas hacia adelante con la esperanza de que

sea lo siguiente que me pidanI free-behind: los datos que se han leıdo secuencialmente con

readahead, se tiran (para evitar llenar la cache)



Problemas de inconsistencia/coherencia

I Mientras escribo datos y metadatos para un fichero se puedeir la luz

I Puedo terminar con el sistema de ficheros inconsistente, datoscorruptos, leaks de espacio etc.

I La cache lo empeora (puede desordenar las escrituras,aumenta las ventanas de tiempo)

I Ejemplo: borrar un directorio en un sistema con inodosI 1: Tengo que borrar la entrada de directorioI 2: Tengo que marcar el espacio para el inodo y los datos como

libre en el grupo.I Si se va la luz entre la 1 y 2, tengo un leak de espacio (inodo

huerfano)I Si se desordenan y solo pasa 2 pero no 1, se me

sobreescribira el fichero (peor caso)



Solucion: filesystem check

I Tengo un bit que escribo el ultimo diciendo que he hecho synccompleto

I Si arranco y el bit no esta puesto, fsck. Cada cierto tiempo,fsck. Si sospecho, fsck.

I fsck se recorre todo el sistema de ficheros y arreglainconsistencias. Si encuentra ficheros corruptos oproblematicos, los deja en /lost+found

I fsck es lento y no hay garantıas, ¿hay soluciones mejores?



Solucion: soft updates

I Ordeno cuidadosamente lo que escribo en el disco

I Nunca escribo algo que apunte a algo que pueda estar sininicializar o que todavıa pertenezca a otro

I Puedo tener leaks pero nunca inconsistencias

I Complicado en la practica, aunque posible



Solucion: journaling, ej: ext3

I Tengo una zona de disco especial y escribo todos los cambiosantes de hacerlos, estructura circular

I Tengo que ser cuidadoso con el journal y tener garantizadoque las escrituras van en orden

I Si hay algun problema rehago el journal por donde me quede

I Malo, dos escrituras y escribo mucho en el journal (se meestropean facilmente los bloques)

I journal fısico: escribo en el journal los bloques enteros

I journal logico: escribo en el journal los cambios que voy ahacer

I log fs: solo tengo el journal (me cambia toda la estructura delsistema de ficheros)



Imagenes de disco

I En realidad un disco duro es como un fichero y esa es laabstraccion que ofrece el sistema

I A veces es conveniente crear un fichero que contenga unsistema de ficheros (ej: grabar un DVD)

I Creo un fichero con ceros (por ejemplo con dd(1)), loformateo, y lo puedo montar (en linux con el loop device,mount -o loop)



Ficheros con huecos o “sparse”

I Algunos ficheros tienen trozos enteros a cero

I ¿Que pasa si hago un seek mas alla del final y escribo?

I Puedo tener ficheros que ocupen en disco menos que sutamano

I Especialmente utiles para imagenes de disco


S.O.: Sistemas de cheros - LSUBlsub.org/itso/traspas/7.pdf · I La ROM de la tarjeta usa DHCP para...

Documents

Transcript of S.O.: Sistemas de cheros - LSUBlsub.org/itso/traspas/7.pdf · I La ROM de la tarjeta usa DHCP para...