Plataforma de servidores - Tareas #2596 · #6 - 2014-05-16 14:25 - Andrés Pías - % Realizado...

Plataforma de servidores - Tareas #2596

Tareas # 2474 (Cerrada): Migrar virtuales de sabato

Tareas # 2502 (Cerrada): Migrar russell

Tareas # 2593 (Cerrada): Crear virtual en hipatia para migrar Rusell: Watson

Generar respaldo completo de Russell y Restaurarlo en Watson

02/06/2014 02:37 PM - Andrés Pías

Status: Cerrada Start date: 02/06/2014

Priority: Urgente Due date:

Assignee: Daniel Viñar Ulriksen % Done: 100%

Category: Estimated time: 0.00 hour

Target version: Spent time: 50.50 hours

Description

Para migrar [[servidores:Russell]], fue creada una nueva virtual que va a ser utilizada como punto de restauración para levantar Rusell a

partir de un backup completo del mismo.

Necesito que el responsable de los respaldos de este servidor programe un respaldo completo en la noche (habiendo detenido

previamente todos los servivios) y luego me de acceso al storage para poder realizar las tareas de sincronizacion de datos.

Related issues:

Related to Listas de correo - Tareas # 580: Actualización de Sympa - Servidor... Cerrada 01/14/2013

Related to Listas de correo - Errores # 3113: problemas de rebotes en las dir... Cerrada 07/03/2014

Related to Listas de correo - Errores # 3134: Error 500 buscando una dirección Nueva 07/08/2014

Blocked by Plataforma de servidores - Tareas # 2774: Acceso a Diderot Cerrada 03/31/2014

History

#1 - 03/31/2014 12:30 PM - Andrés Pías

- Assignee changed from Cielito - Coord. regional to Cielito - adminsys

#2 - 03/31/2014 12:32 PM - Andrés Pías

- Subject changed from Generar respaldo completo Rusell to Generar respaldo completo de Rusell y Restaurarlo en Watson

#3 - 03/31/2014 12:33 PM - Andrés Pías

- Status changed from Nueva to En curso

#4 - 04/01/2014 12:30 PM - Andrés Pías

- Assignee changed from Cielito - adminsys to Andrés Pías

- % Done changed from 0 to 10

Se está aplicando el procedimiento: [[Reconstrucción a partir de los respaldos]]

que se va a mejorar con mas info despues de esta experiencia, haciendo una prueba de restauración, basicamente para verificar que no hayan problemas

de espacio por el tamaño de las particiones elegidas.

#5 - 05/14/2014 03:52 PM - Andrés Pías

- Assignee changed from Andrés Pías to Daniel Viñar Ulriksen

Luego de restaurar las particiones /var y /etc, estoy teniendo problemas para que las detecta ya que no son detectadas. Ya edite con un rescuedisk, los

archivos /etc/fstab, /etc/mtab y /proc/mounts y no consigo que sean detectadas las particiones. Te paso la tarea para ver si me das una mano. De lo

contarario mas adelante, clono rusell directamente con dd.

05/12/2020 1/19

#6 - 05/16/2014 02:25 PM - Andrés Pías


Estoy intentando hacer una nueva prueba de recontrucción, pero copiando los datos de las particiones desde un rescue cd para evitar que la sobrescritura

de archivos del sistema cancele el proceso.

Solucioné la conexión desde Diderot al rescue cd en watson para el usuario backuppc.

Despues desde Watson, monté las particiones del disco y respaldo los archivos que deben recuperarse luego de la restauración:

mount /dev/mapper/grupolvm-raiz /mnt/raiz/

mount /dev/vda1 /mnt/raiz/boot/

mount /dev/mapper/grupolvm-USR /mnt/raiz/usr/

mount /dev/mapper/grupolvm-VAR /mnt/raiz/var/

cp /mnt/raiz/etc/mtab /mnt/raiz/etc/mtab.backup

cp /mnt/raiz/etc/fstab /mnt/raiz/etc/fstab.backup

cp /mnt/raiz/boot/grub/grub.cfg /mnt/raiz/boot/grub/grub.cfg.backup

cp /mnt/raiz/etc/passwd /mnt/raiz/etc/passwd.backup

cp /mnt/raiz/etc/group /mnt/raiz/etc/group.backup

cp -R /mnt/raiz/root /mnt/raiz/root.backup

cp -R /mnt/raiz/home/apias /mnt/raiz/home/apias.backup

Luego empecé a restaurar en Watson, los directorios desde backuppc.

Funcionó rápido:

russell.csic.edu.uy:/etc/ --> watson.csic.edu.uy:/mnt/raiz/etc/

Todavía esta corriendo:

russell.csic.edu.uy:/var/ --> watson.csic.edu.uy:/mnt/raiz/var/

#7 - 05/20/2014 01:43 PM - Andrés Pías

- Assignee changed from Daniel Viñar Ulriksen to Andrés Pías

La restauraci{on de var no funcionó, dio este error:

exiting after signal ALRM

restore failed: aborted by signal=ALRM

Buscando encontre esta solución: http://osdir.com/ml/sysutils.backup.backuppc.general/2005-05/msg00042.html

BackupPC checks to make sure that there is communication between the

client and the server. With tar and SMB, the server is capable of seeing

that the copy is still ongoing, but with rsync, it seems that BackupPC has

no way of knowing that rsync is happily copying files. Therefore, the

band-aid fix is to up the length of the ClientTimeout parameter to

05/12/2020 2/19

http://osdir.com/ml/sysutils.backup.backuppc.general/2005-05/msg00042.html

something big (I have mine at 86000). Then, everything works fine.

Además revise que cada directorio a respaldar no estuviera vacío http://sourceforge.net/apps/mediawiki/backuppc/?title=Troubleshooting

Quité backups, local, lost+founf, opt, tmp porque estaban vacíos.

Voy a probar de nuevo...

Archivo/Dir Original Será restaurado a

russell.csic.edu.uy:/var/cache watson.csic.edu.uy:/mnt/raiz/var/cache

russell.csic.edu.uy:/var/lib watson.csic.edu.uy:/mnt/raiz/var/lib

russell.csic.edu.uy:/var/lock watson.csic.edu.uy:/mnt/raiz/var/lock

russell.csic.edu.uy:/var/log watson.csic.edu.uy:/mnt/raiz/var/log

russell.csic.edu.uy:/var/mail watson.csic.edu.uy:/mnt/raiz/var/mail

russell.csic.edu.uy:/var/run watson.csic.edu.uy:/mnt/raiz/var/run

russell.csic.edu.uy:/var/spool watson.csic.edu.uy:/mnt/raiz/var/spool

russell.csic.edu.uy:/var/www watson.csic.edu.uy:/mnt/raiz/var/www

#8 - 06/02/2014 12:54 PM - Andrés Pías

Se siguen generando los mismos errores y la restauración demora muchisimo.

El problema puede ser porque el tamaño del directorio /var es muy grande, voy a comenzar a restaurar sub-diretorios por separado. Primero backups.

/mnt/raiz/var % du -csh ./* | grep M

2.9M ./backups

470M ./cache

332M ./lib

44M ./log

44M ./mail

35M ./www

927M total

#9 - 06/03/2014 03:42 PM - Andrés Pías

- File errores-watson1.png added

Casi todo los directorios de /root, /var y de /home/sympa se pudieron restaurar de forma individual, salvo algunos casos puntuales:

russell.csic.edu.uy:/var/mail watson.csic.edu.uy:/mnt/raiz/var/mail

Hubo errores del tipo: restore failed: aborted by signal=PIPE

russell.csic.edu.uy:/home/sympa/respaldo-30-11-12 watson.csic.edu.uy:/mnt/raiz/home/sympa/respaldo-30-11-12/

05/12/2020 3/19

http://sourceforge.net/apps/mediawiki/backuppc/?title=Troubleshooting

Como implicaba un respaldo pasado obviamos este directorio. Restauramos el resto, dentro de home/sympa los que dan problemas son:

42M ./spool

1,5M ./static_content

4,0K ./sympa.pid

4,0K ./task_manager.pid

Como al arrancar se generaban errores del tipo:

errores-watson1.png

Me di cuenta de que estaba faltando el directorio lib, por eso estaba Rusell generando esos errores.

Faltaba /lib/init/rw en /mnt/raiz/ que en cambio en rusell si existía en raiz, por lo que se agrega al respaldo de rusell para hacer un nueva restauración de

/lib y /usr.

Restaure el archivo fstab desde el fstab.backup. Reinicé y luego se generó un nuevo error:

init[1]: segfault at 0 ip (null) sp

Kernel panic - not syncing: Attempted to kill init!

Intenté reinsalar el grub pero no funcionó, haciendo un chroot desde un liveCD no puedo ejecutar ningún comando, porque todos dan error. Voy a probar

copiar el directorio /bin desde Russell.

#10 - 06/04/2014 02:28 PM - Andrés Pías

Como lo anterior no funcionó, la idea ahora es comenzar de nuevo. Rusell no tiene kernel y no tiene grub por ser vserver, por lo cual para migrar con dd

habría que hacer una serie de pasos luego.

La idea es diferente. Para contar con el SO actualizado, instalar un nuevo Watson con Debian 7.

Y usando los links http://mancoosi.org/~abate/sympa-migration-step-step y http://www.softwarelibre.edu.uy/Instalar+un+servidor+de+listas+Sympa migrar

todo lo de sympa:

1. /home/sympa (Lo mas importante. NO debería estar acá el sympa, luego hay que moverlo a /var/lib/sympa)

2. /etc/sympa.conf

3. todas las bd del directorio Postgres (Hoy en día se generan respaldos locales de las bd de postgres que no estan siendo respaldadas por

backuppc de D'alembert)

4. /var/www

5. modulos de perl: /usr/lib/perl5 y /usr/lib/perl

6. archivos de config de apache: /etc/apache2 (en especial etc/site-avaiables)

7. Setear variables de entorno

Luego se ven asuntos de upgrade e integración LDAP.

#11 - 06/11/2014 03:12 PM - Andrés Pías


Lo dicho, se creó nuevo Watson con este hardware:

- 1 nucleo de CPU

05/12/2020 4/19

http://mancoosi.org/~abate/sympa-migration-step-step

http://www.softwarelibre.edu.uy/Instalar+un+servidor+de+listas+Sympa

- 4 GB de RAM

- 50 GB de disco

Se le definió este particionamiento:

- /boot 500 mb

- swap 4 gb

- El total restante se asigno todo a un grupo de volumenes LVM

Dentro del mismo se definieron los volumenes lógicos LVM:

- / 10 gb

- /var 20 gb

- /usr 15 gb

Al instalar Debian, elegí que instalara además los paquetes de postgres, ssh y apache.

Instale Dependencias y requerimientos, de acuerdo al primer paso: http://www.softwarelibre.edu.uy/Instalar+un+servidor+de+listas+Sympa

base de datos

Se crea la base de datos y el usuario sympa en postgres

su - postgres

$ psql

postgres=# CREATE USER sympa WITH PASSWORD 'NoSeLoDigasANadie';

postgres=# CREATE DATABASE sympa;

postgres=# GRANT ALL PRIVILEGES ON DATABASE sympa TO sympa;

Se configura que el usuario backuppc de Diderot pueda acceder a Watson remotamente.

Restauré el archivo respaldado de russell /var/backups/pgsql/rsync/sqldump/postgres_dump_all mediante la interfaz web

russell.csic.edu.uy:/var/backups//pgsql/sqldump --> watson.csic.edu.uy:/home/apias/

Restauro la base de datos:

su - postgres

psql -U postgres < /home/apias/postgres_dump_all

Vemos todas las tablas restauradas:

postgres@watson:~$ psql -U postgres -d sympa

sympa=# \dt

Modulos Perl

Luego seguimos con la instalación de todos los módulos de Perl necesarios. Para lo cual, antes fue necesario instalar las herramientas de compilación

aptitude --with-recommends install gcc make

sudo apt-get install libdigest-md5-file-perl

perl -MCPAN -e shell

(bajo el prompt cpan1>):

i /Base64/

install MIME::Base64

install CGI

install Crypt::CipherSaber

Se crea un usuario unix para Sympa.

adduser --shell /bin/bash --disabled-password sympa

05/12/2020 5/19

http://www.softwarelibre.edu.uy/Instalar+un+servidor+de+listas+Sympa

Restauracion archivos

Comienzo con la copia de directorios, primero se copia:

russell.csic.edu.uy:/home/sympa/ --> watson.csic.edu.uy:/home/sympa/

Se restauran los archivos de config:


russell.csic.edu.uy:/etc/sympa.conf watson.csic.edu.uy:/etc/sympa.conf

russell.csic.edu.uy:/etc/sympa.conf.23.jul.2011-21.28.06 watson.csic.edu.uy:/etc/sympa.conf.23.jul.2011-21.28.06




russell.csic.edu.uy:/etc/wwsympa.conf watson.csic.edu.uy:/etc/wwsympa.conf

russell.csic.edu.uy:/etc/wwsympa.conf.23.jul.2011-21.28.06 watson.csic.edu.uy:/etc/wwsympa.conf.23.jul.2011-21.28.06




Luego fue necesario corregir los permisos

root@watson:/etc# chown sympa sympa*.*

root@watson:/etc# chgrp sympa sympa*.*

Luego /var/www:


russell.csic.edu.uy:/var/www watson.csic.edu.uy:/var/www

Archivos de config de apache: /etc/apache2


russell.csic.edu.uy:/etc/apache2 watson.csic.edu.uy:/etc/apache2

Config Apache

Veremos que es lo que funciona.. Al reiniciar apache aparecen algunos errores:

root@watson:/etc/apache2# sudo service apache2 restart

/var/lock/apache2 already exists but is not a directory owned by sympa.

Please fix manually. Aborting.

failed!

Solucion:

root@watson:/etc/apache2# chown sympa /var/lock/apache2/

Además fue necesario instalar el módulo mod_fastcgi y php5 de Apache. Previamente se actualizó source-list con nuestros repositorios.

sudo apt-get update

sudo aptitude install libapache2-mod-fastcgi

sudo apt-get install php5

Al reiniciar apache, aparecían ahora errores en la configuración: apache2.conf

Se mueve el archivo phppgadmin porque no necesitaba ser configurado a priori:

root@watson:/usr/lib# mv /etc/apache2/conf.d/phppgadmin /home/apias/

En los virtual hosts definidos en /etc/apache2/sites-enabled/ se comenta:

#Include /etc/phppgadmin/apache.conf

05/12/2020 6/19

Finalmente arranca:

root@watson:/usr/lib# sudo service apache2 restart

[ ok ] Restarting web server: apache2.

Arranque de Sympa

Falto copiar el archivo que controla el demonio sympa:


russell.csic.edu.uy:/etc/init.d/sympa watson.csic.edu.uy:/etc/init.d/sympa

Al iniciarlo, si bien los otros servicios levantaban, no funcionaba sympa

root@watson:/etc/init.d# /etc/init.d/sympa start

Starting Sympa subsystem:

Starting sympa, overwriting old pid file.output checkfiles_as_root : Missing files. Aborting.

failure

Starting bulk, overwriting old pid file.success

Starting archived, overwriting old pid file.success

Starting bounced, overwriting old pid file.success

Starting task_manager, overwriting old pid file.success

Inspeccionado el archivo syslog, se descubre que es tema de permisos:

cat /var/log/syslog

Jun 10 13:15:44 watson task_manager[16291]: err Lock::_lock_file() Cannot open /home/sympa/list_data/todos_cur/config.lock: Permiso

denegado

Jun 10 13:15:44 watson task_manager[16291]: err List::get_lists() Unable to open /home/sympa/list_data/listas.cure.edu.uy

Jun 10 13:15:44 watson task_manager[16291]: err List::get_lists() Unable to open /home/sympa/list_data/listas.csic.edu.uy

Solución:

root@watson:/home/sympa# chgrp -R sympa *

root@watson:/home/sympa# chgrp -R sympa .*

root@watson:/home/sympa# chown -R sympa *

root@watson:/home/sympa# chown -R sympa .*

Vuelve a fallar pero con otro error:

Jun 10 13:29:28 watson task_manager[17334]: info List::_load_admin_file() Missing key "email" in param "update" in

/home/sympa/list_data/udelar/config


/home/sympa/list_data/listas.cure.edu.uy/todos-33/config


/home/sympa/list_data/listas.cure.edu.uy/todos-rocha/config

Creamos el directorio faltante, siguiendo la guía de instalación:

mkdir /etc/mail

Finalmente arranca:

root@watson:/home/sympa# /etc/init.d/sympa status

Status of Sympa subsystem:

Status file for subsystem found.

05/12/2020 7/19

sympa (pid(s) 17619) is active...

bulk (pid(s) 17631) is active...

archived (pid(s) 17647) is active...

bounced (pid(s) 17658) is active...

task_manager (pid(s) 17673) is active...

Para que Sympa arranque solo cuando reiniciamos el servidor:

update-rc.d sympa defaults

Se configura temporalmente el dominio watson.csic.edu.uy en sites-avaiable (virtual host) el cual ya es accesible vía:

https://watson.csic.edu.uy/sympa/

Problemas con el idioma

Al entrar por primera vez al sitio, la diferencia que se nota es que está todo en ingles. Se consultan los logs de apache:

tail /var/log/apache2/error.log

[Wed Jun 11 10:11:23 2014] [error] [client 164.73.60.200] FastCGI: server "/home/sympa/bin/wwsympa-wrapper.fcgi" stderr: Argument "" isn't

numeric in numeric gt (>) at /home/sympa/default/web_tt2/setlang.tt2 line 19., referer: https://watson.csic.edu.uy/sympa/help

Se aprecia en un primer momento, que hay algun problema al cargar las traducciones al español para el sitio Sympa. Se hicieron algunas pruebas

mirando el codigo, con escasos resultados, porque Sympa utiliza un lenguage de plantillas sobre Perl.

Mirando el syslog, se puede ver:

apias@watson:/etc$ tail /var/log/syslog

Jun 11 12:01:48 watson sympa[31611]: err Language::SetLang() Failed to setlocale(es_ES) ; you either have a problem with the catalogue .mo

files or you should extend available locales in your /etc/locale.gen (or /etc/sysconfig/i18n) file

Descubrimos que Watson no tiene activado el idioma español en su SO y Russell si lo tiene:

apias@russell:/etc$ cat /etc/locale.gen | grep es_ES

es_ES.UTF-8 UTF-8

root@watson:/home/sympa/default/web_tt2# cat /etc/locale.gen | grep es_ES

# es_ES.UTF-8 UTF-8

Se descomentan las líneas correspondientes, buscado que fueran habilitados los mismos lenguajes activos en Rusell.

Luego se actualiza el sistema con:

locale-gen

Ejecutando lo que sigue se puede ver que los idiomas que aparecen en la config /etc/sympa.conf están habilitados

root@watson:/home/sympa/default/web_tt2# locale -a

C

C.UTF-8

en_GB.utf8

en_US.utf8

es_ES.utf8

es_UY.utf8

fr_FR.utf8

POSIX

Luego de todo esto queda por instalar y configurar el MTA: Postfix

#12 - 06/12/2014 12:32 PM - Andrés Pías


Configuración del manejador de correo (MTA)

05/12/2020 8/19


Se instaló Postfix para usar el mismo MTA que en Rusell

root@watson:/home/apias# apt-get install postfix

Se generaron unos wargnins que se revisarán

insserv: warning: script 'K01sympa' missing LSB tags and overrides

insserv: warning: script 'sympa' missing LSB tags and overrides

Se hacen mínimas configuraciones en /etc/postfix/main.cf. Aún no se modifica el parámetro myhostname, ni mydestination. Despues se copiaría

directamente la config desde Russell

Se agrega en los parámetros alias_maps y alias_database, los alias generados por sympa:

alias_maps = hash:/etc/aliases hash:/etc/mail/sympa_aliases

alias_database = hash:/etc/aliases hash:/etc/mail/sympa_aliases

Ajustes para que no hayan prblemas con los accesos:

adduser postfix sympa

cd /etc/mail

chown root:root sympa_aliases

newaliases

chown sympa:sympa sympa_aliases*

chmod g+w sympa_aliases*

postfix reload

#13 - 06/13/2014 12:06 PM - Andrés Pías


Te cree un usuario en waston Daniel, copie tu clave publica/privada.

Te paso la tarea para que verifiques si Sympa quedó bien instalado, ya que vos tenes mas experiencia con esto.

Quedan cosas para hacer, en cuanto a configuraciones como copiar los archivos: group passwd desde Rusell, luego cambiar el nombre de Watson a

Rusell y para finalizar el cambio de IP que las voy a ir haciendo. Pero antes de continuar sería contar con esta mínima verficación.

#14 - 07/03/2014 07:41 PM - Daniel Viñar Ulriksen

- Assignee changed from Daniel Viñar Ulriksen to Andrés Pías

Andrés: accesdo a mi cuenta, y veo que estoy en el grupo sudo, pero no tengo la contraseña. ¿me puedes generar una contraseña aleatoria y ponermela

en un archivo /home/ulvida/contrasenha?

gracias. Tenemos urgencia en actualizar el sympa.



05/12/2020 9/19

Retomo: me las arreglé: reinicié la máquina sobre un sysresccd, monté las particiones del sistema de watson, entré en chroot y me hice un "passwd

ulvida"


Veo interesante que en la debian, en los wheezy backports al menos, tengamos la 6.1.22, que es la que corrige el problema que estamos teniendo con los

rebotes (#3113)

Está muy lindo tener sistemas instalados a mano desde las distribuciones directas de sus comunidades, pero la experiencia del error #3113 demuestra

que no tenemos la fuerza de mantenerlas. Si tenemos a disposición algo empaquetado, mejor vayamos a eso. Igual, si está en los backports es que

probablemente la integración debian sea menos fluida, hay que estar atento al actualizar, pero sospecho que será más seguid que actualizar de un tar.gz

de sympa.org

#17 - 07/04/2014 09:59 AM - Daniel Viñar Ulriksen

Vamos a procurar instalar la versión 6.1.22 de los backports de la debian wheezy, e instalarle los datos desde un respaldo.

Primero tenemos que des-instalar la versión 6.1.7, que viene de russell, donde fue instalada a mano desde las fuentes en sympa.org.

Copio las fuentes desde russell, estaban en /root/sympa/sympa-6.1.7

Entro en la carpeta y hago:

make uninstall


En la wheezy, actualmente hay un serio problema de locales / console-setup / debconf (dialogos)

Para entender lo que configuramos con todo lo que usa debconf (aptitude, dpkg, dpkg-reconfigure, ...) configuramos debconf para que use la consola (y ya

no "dialoguess" de ventana completa, que se rompen):

dpkg-reconfigure debconf


- Assignee changed from Daniel Viñar Ulriksen to Cielito - adminsys

- Priority changed from Normal to Urgente

configuré los backports, está efecivamente la 6.1.22.

La instalé, pero por ahora no logŕé ver: https://watson.csic.edu.uy/sympa/

Esta tarea se vuelve urgente por la #3113. La paso al grupo si alguien quiere y puede mirar.

#20 - 07/04/2014 10:54 AM - Andrés Pías

Daniel Viñar Ulriksen escribió:

Vamos a procurar instalar la versión 6.1.22 de los backports de la debian wheezy, e instalarle los datos desde un respaldo.

La instalé, pero por ahora no logŕé ver: https://watson.csic.edu.uy/sympa/

Esta tarea se vuelve urgente por la #3113. La paso al grupo si alguien quiere y puede mirar.

05/12/2020 10/19

https://packages.debian.org/wheezy-backports/sympa



La reviso cuando vuelva de la licencia. El tema de que no lo estes viendo por el navegador es que está todo configurado para correr la instancia de

/home/sympa. Dicho sea de paso todo los datos están justamente en ese directorio y pueden ser reutilizados y copiados desde ahí a la nueva instalación.


- Assignee changed from Cielito - adminsys to Daniel Viñar Ulriksen


Gracias Andrés, hay buena parte de eso, sí.

respaldé el /etc/apache2/conf.d/sympa.conf, y puse el que el paquete debian propone en /etc/apache2/conf-available

Y cambié en el virtual de watson el "sympa" por el "wws" que aún usa el paquete debian.

Ahora me da un error 500, y en los log dice:

[Fri Jul 04 18:43:40 2014] [warn] RSA server certificate CommonName (CN) `watson.csic.edu.uy' does NOT match server name!?

[Fri Jul 04 18:43:40 2014] [warn] Init: Name-based SSL virtual hosts only work for clients with TLS server name indication support (RFC 4366)

[Fri Jul 04 18:43:40 2014] [notice] FastCGI: process manager initialized (pid 22412)

[Fri Jul 04 18:43:40 2014] [warn] RSA server certificate CommonName (CN) `watson.csic.edu.uy' does NOT match server name!?

[Fri Jul 04 18:43:40 2014] [warn] Init: Name-based SSL virtual hosts only work for clients with TLS server name indication support (RFC 4366)

[Fri Jul 04 18:43:40 2014] [notice] Apache/2.2.22 (Debian) mod_fastcgi/mod_fastcgi-SNAP-0910052141 mod_fcgid/2.3.6 PHP/5.4.4-14+deb7u11

mod_ssl/2.2.22 OpenSSL/1.0.1e configured -- resuming normal operations

[Fri Jul 04 18:43:43 2014] [crit] [client 179.26.182.154] configuration error: couldn't perform authentication. AuthType not set!: /wws

[Fri Jul 04 18:43:45 2014] [crit] [client 179.26.182.154] configuration error: couldn't perform authentication. AuthType not set!: /wws

¿Será un tema con AuthType ?


El postgres_dump_all que genereamos en russell es un poco complicado de explotar, porque comprende todas las bases.

En russell guardo solo la base sympa:

pg_dump sympa > sympa.sql

En watson, creo el usuario y la base sympa, con la contraseña de russell (?):

su - postgres

psql

postgres=# CREATE USER sympa WITH PASSWORD '****************';

Y luego cargo los datos de russell en la base:

psql sympa < sympa.sql


luego instalé phppgadmin.

Tuve un error, pero luego corregí que el apache arranque, e hice:

05/12/2020 11/19

http://httpd.apache.org/docs/2.2/howto/auth.html

dpkg --configure phppgadmin

Y anduvo. En el /etc/apache2/conf.d/phppgadmin, autoricé también la IP de bourdieu, y así puden entrar en web a phppgadmin con un tunel via bourdieu.

Veo la base sympa y sus datos.



Instalo sympa.

Primero lo hice con:

apt-get install sympa

Pero OjO: me instaló la 6.11 de la wheezy estable.


No logro entrar en la interfaz web de sympa,

Parece que aún nos falrtan módulos CPAN.

vemos la lista de modulos instalados desde el shell con:

instmods

y luego el comando "l". Entramos a la instalación con:

# perl -MCPAN -e shell

i /Digest-MD5/

te muestra los modulos disponibles con eso. Y luego con install se instalan. En algun caso tuvimos que hacer:

install GAAS/Digest-MD5

La lista de módulos por instalar está acá .


No encontré el script check_perl_modules.pl mencionado en la doc. Puse todos los modumos perl que pude,

pero aún tengo un problema: el /usr/lib/cgi-bin/sympa/wwsympa-wrapper.fcgi no arranca.

En /var/log/apache2/error.log:



</html>

[Sat Jul 05 16:24:25 2014] [warn] FastCGI: server "/usr/lib/cgi-bin/sympa/wwsympa-wrapper.fcgi" (pid 29735

) terminated by calling exit with status '0'

[Sat Jul 05 16:24:29 2014] [warn] FastCGI: server "/usr/lib/cgi-bin/sympa/wwsympa-wrapper.fcgi" restarted

(pid 29740)

Set-Cookie: sympa_session=38935481362785; path=/; HttpOnly

05/12/2020 12/19

http://www.sympa.org/manual_6.1/installing-sympa#installing_perl_and_cpan_modules

https://www.sympa.org/manual_6.1/installing-sympa#installing_perl_and_cpan_modules

Date: Sat, 05 Jul 2014 16:24 -0300

Cache-control: no-cache

Content-Type: text/html

<?xml version="1.0" encoding="utf-8" ?><!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "htt

p://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">

Y sigue y precede a cada uno de esos /usr/lib/cgi-bin/sympa/wwsympa-wrapper.fcgi" restarted con un nuevo número de pid, un contenido html que parece

venir del sympa: como si la salida hacia el http terminara en los logs....


en /etc/sympa/wwwsympa.conf activé el fcgi:

use_fast_cgi 1


Seguimos con errores del fcgi:

[Sat Jul 05 16:50:29 2014] [error] [client 179.26.168.201] FastCGI: server "/usr/lib/cgi-bin/sympa/wwsympa-wrapper.fcgi" stderr: DBD::Pg::st

execute failed: ERROR: la sintaxis de entrada no es v\xc3\xa1lida para integer: \xc2\xababa5243f8e61ad7e05c1e8fded1d644f40\xc2\xbb at

/usr/share/sympa/lib/SympaSession.pm line 131.

[Sat Jul 05 16:50:29 2014] [error] [client 179.26.168.201] FastCGI: server "/usr/lib/cgi-bin/sympa/wwsympa-wrapper.fcgi" stderr: Can't call method

"as_hashref" on unblessed reference at /usr/lib/cgi-bin/sympa/wwsympa.fcgi line 1134.

[Sat Jul 05 16:50:29 2014] [error] [client 179.26.168.201] FastCGI: server "/usr/lib/cgi-bin/sympa/wwsympa-wrapper.fcgi" stderr: Can't call method

"as_hashref" on unblessed reference at /usr/lib/cgi-bin/sympa/wwsympa.fcgi line 1134.

[Sat Jul 05 16:50:29 2014] [error] [client 179.26.168.201] FastCGI: incomplete headers (0 bytes) received from server

"/usr/lib/cgi-bin/sympa/wwsympa-wrapper.fcgi"

[Sat Jul 05 16:50:29 2014] [warn] FastCGI: server "/usr/lib/cgi-bin/sympa/wwsympa-wrapper.fcgi" (pid 30975) terminated by calling exit with

status '255'

[Sat Jul 05 16:50:29 2014] [warn] FastCGI: server "/usr/lib/cgi-bin/sympa/wwsympa-wrapper.fcgi" has failed to remain running for 30 seconds

given 3 attempts, its restart interval has been backed off to 600 seconds

[Sat Jul 05 16:50:29 2014] [warn] FastCGI: server "/usr/lib/cgi-bin/sympa/wwsympa-wrapper.fcgi" has failed to remain running for 30 seconds

given 3 attempts, its restart interval has been backed off to 600 seconds


Ahí en los logs habla del módulo DBD::Pg

lo instentamos instalar: en perl -MCPAN -e shell:

install DBD:Pg

Ahí nos pide una serie de carpetas de postgres, que más o menos vemos acá

Pero también nos pide instalar: postgresql-server-dev

05/12/2020 13/19

https://wiki.debian.org/PostgreSql#File_locations


Terminé por poner un mail a la lista de usuarios sympa, el 06/07/14 15:

We are experimenting bounce problems (specially to yahoo) so I want to

update our sympa server 6.1.7 on a debian squeeze

(www.softwarelibre.edu.uy and virtual robots) to a 6.1.22 on a debian

wheezy.

First I'm triyng to install a clean 6.1.22 on a debian wheezy server.

After triyng to deal with the fcgi and the cpan modules, I realized it

was the

use_fast_cgi 1

in /etc/sympa/wwsympa.conf

Now I can see the wws interface: https://watson.csic.edu.uy/wws/

I try to activate a sympa account: it sends me the ont-shot URL, but

when I want to set up the password, it fails to login. Nor wws can open

a session, as we can see in the log:

Jul 6 15:42:29 watson wwsympa[32333]: err ::load() Unable to execute SQL statement "SELECT id_session AS id_session, prev_id_session AS

prev_id,#012#011#011 date_session AS "date",#012#011#011 remote_addr_session AS remote_addr,#012#011#011 email_session AS

email,#012#011#011 data_session AS data, hit_session AS hit,#012#011#011 start_date_session AS start_date,#012#011#011

refresh_date_session AS refresh_date#012#011 FROM session_table#012#011 WHERE id_session = ? AND prev_id_session IS NOT

NULL OR#012#011#011 prev_id_session = ?" : ERROR: no existe la columna <AB>prev_id_session<BB>#012LINE 1: SELECT id_session AS

id_session, prev_id_session AS prev_id,#012 ^

Jul 6 15:42:29 watson wwsympa[32333]: err List::send_notify_to_listmaster()

List::send_notify_to_listmaster(failed_to_create_web_session,watson.csic.edu.uy) : error on incoming parameter "$param", it must be a ref on

HASH or a ref on ARRAY

Jul 6 15:42:29 watson wwsympa[32333]: info [robot watson.csic.edu.uy] [client 179.25.174.99] Failed to create session

Jul 6 15:42:29 watson wwsympa[32333]: info [robot watson.csic.edu.uy] [session 35705656223149] [client 179.25.174.99]

main::do_firstpasswd() do_firstpasswd()

Jul 6 15:42:29 watson wwsympa[32333]: info [robot watson.csic.edu.uy] [session 35705656223149] [client 179.25.174.99]

main::do_renewpasswd() do_renewpasswd()

Jul 6 15:42:29 watson wwsympa[32333]: err SympaSession::store() Unable to update session information in database while execute SQL

statement "INSERT INTO session_table#012#011 (id_session, prev_id_session,#012#011 date_session, refresh_date_session,#012#011

remote_addr_session, robot_session,#012#011 email_session, start_date_session, hit_session, data_session)#012#011 VALUES

('35705656223149', '35705656223149', 1404672149, 1404672149, '179.25.174.99', 'watson.csic.edu.uy', 'nobody', 1404672149, 1,

';is_family_owner="";redirect_url="https://watson.csic.edu.uy/wws/firstpasswd/";data=""')" : ERROR: no existe la columna

<AB>prev_id_session<BB> en la relaci<F3>n <AB>session_table<BB>#012LINE 2: (id_session, prev_id_session,#012

It seems that sympa or wwsympa can't write or read in the database.

Where am I doing wrong?


Y me respondí a mí mismo, el 06/07/14 16:36:

05/12/2020 14/19

http://www.softwarelibre.edu.uy

https://watson.csic.edu.uy/wws/

I forgot to mention I user postgresql, and I think I found the answer here:

https://www.sympa.org/manual_6.1/database#database_automatic_creation_and_update

sympa.pl process will create the database or update its structure for you. Note however that this feature is available with mysql and SQLite only,

with postgres, I have to manually update my database structure.


Hay que ver de hacer la actualizción manual de la base de datos. Y también habrá que ver cosas como el tuneo del tamaño máximo de mensajes en la

base.


- File update_sympa_6.1.7_6.1.22-v0.2.sql added

Luego de varias instalaciones / desintalaciones (purge) de sympa, esta requiere previamente que se cree la base correctamente, eventualmente con

datos, y que se la lleve a la estructura de la base de la 6.1.22.

Exportamos la base de la 6.1.07 de russell, la re-creamos, con derechos al usuario sympa, en watson. Le cargamos los datos.

La actualizamos a la 6.1.22 con el script sql adjunto, que ejecutamos:

postgres@watson$: psql sympa < update_sympa_6.1.7_6.1.22.sql

Ahí el sympas 6.1.22 se instala sin problemas (tenemos que darle la versión exacta, si no, nos instala el de la estable):

apt-get install sympa=6.1.22~dfsg-1~bpo70+1

Ahora el servidor de listas parece funcionar por completo. Si bien están en las bases, no logro ver los suscriptores de las listas, porque están en otro

robot: listas.softwarelibre.edu.uy, y no watson.csic.edu.uy

Hemos reconstruido bastante como para probar una reconstrucción del servidor russell, que vamos a proceder a parar.


suprimos las pruebas de sympa:

apt-get purge sympa

Paro apache para que phppgadmin ya no acceda a bases:

service apache2 stop

Desde el usuario postgres, suprimpo la base sympa:

postgres@watson:~$ dropdb sympa

Ya queda solo la base de gestión:

postgres@watson:~$ psql -l

List of databases

Name | Owner | Encoding | Collate | Ctype | Access privileges

-----------+----------+----------+-------------+-------------+-----------------------

05/12/2020 15/19

https://www.sympa.org/manual_6.1/database#database_automatic_creation_and_update

https://www.sympa.org/manual_6.1/database#required_tunning_of_database

https://www.sympa.org/manual_6.1/database#required_tunning_of_database

postgres | postgres | UTF8 | es_UY.UTF-8 | es_UY.UTF-8 |

template0 | postgres | UTF8 | es_UY.UTF-8 | es_UY.UTF-8 | =c/postgres +

| | | | | postgres=CTc/postgres

template1 | postgres | UTF8 | es_UY.UTF-8 | es_UY.UTF-8 | =c/postgres +

| | | | | postgres=CTc/postgres


Apagamos el apache y el sympa en russell (esperemos que todos los dominios de listas tengan secundarios...):

root@russell:~# service apache2 stop

root@russell:~# service sympa stop

Guardamos los datos de la base sympa:

root@russell:/home/sympa/list_data# su - postgres

postgres@russell:~$ pg_dump sympa > sympa.sql

postgres@russell:~$ gzip sympa.sql

Copiamos esois datos y los archivos de las listas al sevidor watson:

root@russell: scp /var/lib/postgresql/sympa.sql.gz root@watson:/var/lib/postgresql/

root@russell:# rsync -av /home/sympa/arc/* root@watson:/var/lib/sympa/arc/

root@russell:# rsync -av /home/sympa/list_data/* root@watson:/var/lib/sympa/list_data/


Ahora en watson volvemos a crear la base de datos para el sympa:

1. su - postgres

postgres@watson:~$ createdb sympa

La base sympa es del usuario sympa y tiene todos los derechos sobre esta:

postgres@watson:~$ psql sympa

sympa=# ALTER DATABASE sympa OWNER TO sympa;

sympa=# GRANT ALL PRIVILEGES ON DATABASE sympa TO sympa;

Ingresamos los datos sacados de russell:

postgres@watson:~$ guzip sympa.sql.gz

psql sympa < sympa.sql

Y finalmente actualizamos la base datos a la 6.1.22 con el script que me armé:

05/12/2020 16/19

postgres@watson:~$ psql sympa < update_sympa_6.1.7_8.1.22-v0.2.sql


Paramos russell en sabato:

vserver russell stop

Y ahora mismo le cambiamos la identidad al servidor por la de russell:

- en /etc/hostname cambiamos por russell,

- en /etc/network/interfaces, cambiamos la IP por la IP de russell: .14

reiniciamos el servidor ex-watson, ahora russelle, desde el virt-manager, anda.

Una vez reiniciado, y teniendo ya la base con todos los datos necesarios, instalamos sympa:

apt-get install sympa=6.1.22~dfsg-1~bpo70+1

configuramos en /etc/sympa/wwsympa.conf correctamente el:

use_fast_cgi 1


Algunos ajustes más, en los virtuales (el paquerte debian todavía usa /wws, nosotros nos quedamos en /sympa para conservar nuestras URLs

Tenemos que cambiar un parámetro en /etc/sympa/wwsympa.conf:

1. arc_path /var/lib/sympa/wwsarchive

arc_path /var/lib/sympa/arc

... y aparentemente tenemos todo andando.


- Status changed from En curso to Resuelta



Bueno... anoche me había faltado actualizar y completar todo lo que tiene que ver con el MTA postfix.

La recepción y distribución quedó bloqueada.

Faltaba:

- configurar el /etc/postfix/main.cf, con todos los mecanismos que utiliza para articularse con sympa:

- el myhostname y el mydestination,

- los dominios de alias virtuales,

- la gestión de los dominios de robots por regex para transformarlos en alias locales (que, desgraciadamente, acepta cualquier correo entregado, sin

discriminar la lista exacta de las listas existentes)

- la gestión de los alias locales, para re-dirigirlos al robot sympa, que ahora están en /etc/mail/sympa/aliases (ya no en /etc/mail/sympa_aliases)

- en la gestión de los alias, había referencia explícita a las viejas carpetas donde estaban las herramientas e sympa: /home/sympa/bin. Reemplazamos

por /usr/lib/sympa/bin

05/12/2020 17/19

No re-instalé todo: postulo que el servidor russell, ex-watson, está más o menos bien instalado.

Sí, conviene cambiar el usuario sympa como usuario sistem, con una carpeta de usuario en /var/*/sympa, en vez de /home/sympa. ¿Hacemos como

postgres (/var/lib/postgresql) o como postfix (/var/spool/postfix)? Empecemos por /var/spool/sympa.


También faltaba mover las carpetas de robots virtuales (listas.csic.edu.uy/ y listas.cure.edu.uy/), de /home/sympa/etc/ en la vieja instalación en 6.1.7, a

/etc/sympa/, y retocar los correspondientes VirtualHost Apache, en /etc/apache2/sites-enabled/

Aparentemente, ahora quedó funcionando bien el https://listas.csic.edu.uy, pero en el https://listas.cure.edu.uy se ven listas que son del robot madre,

sl.edu.uy


- Subject changed from Generar respaldo completo de Rusell y Restaurarlo en Watson to Generar respaldo completo de Russell y Restaurarlo en

Watson

- Description updated

#44 - 07/15/2014 11:30 AM - Andrés Pías

En este momento veo que están respondiendo Rusell y Watson a la vez:

cup@CUP-040:/srv$ ping listas.softwarelibre.edu.uy

PING listas.softwarelibre.edu.uy (164.73.68.14) 56(84) bytes of data.

64 bytes from russell.csic.edu.uy (164.73.68.14): icmp_req=1 ttl=60 time=12.7 ms



^C

--- listas.softwarelibre.edu.uy ping statistics ---

3 packets transmitted, 3 received, 0% packet loss, time 2001ms

rtt min/avg/max/mdev = 8.556/13.450/19.061/4.318 ms

cup@CUP-040:/srv$ ping watson.csic.edu.uy

PING watson.csic.edu.uy (164.73.68.36) 56(84) bytes of data.

64 bytes from watson.csic.edu.uy (164.73.68.36): icmp_req=1 ttl=60 time=8.22 ms



^C

--- watson.csic.edu.uy ping statistics ---



cup@CUP-040:/srv$ ping russell.csic.edu.uy

PING russell.csic.edu.uy (164.73.68.14) 56(84) bytes of data.





^C

--- russell.csic.edu.uy ping statistics ---


05/12/2020 18/19

https://listas.csic.edu.uy

https://listas.cure.edu.uy


cup@CUP-040:/srv$

Por lo que leí el ex-Watson, ahora es Rusell, no entiendo...

Que queda por hacer además de respaldos, iptables, monitoreo?


Por lo que leí el ex-Watson, ahora es Russell,

sí: al momento de poner en producción en Hipatia, fue más simple re-nombrar y cambiarle la IP a Watson que arriesgar a dejar un DNS mal modificado

por ahí.

No obstante, para recuperar datos de la configuración postfix, luego tuve que volver a encender el vserver en sabato y, para que no hayan conflictos, le di

la IP de watson:

root@sabato:~# vserver-stat

CTX PROC VSZ RSS userTIME sysTIME UPTIME NAME

40002 48 2.2G 210.5M 6m58s52 9m36s12 12d01h31 gould

40003 43 4.3G 543.3M 27m32s84 13m58s15 9d15h52 russell

40009 38 3.2G 162.8M 1h22m00 27m17s24 28d01h40 higgs

root@sabato:~# vserver russell enter

root@russell:/# ip addr

...

2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000

link/ether 78:e7:d1:dd:07:02 brd ff:ff:ff:ff:ff:ff

inet 164.73.68.36/26 brd 164.73.68.63 scope global secondary eth0:russell

Pero ahora ya no se necesita. a ver si apagamos sabato. ¿Aclara? (OjO: es idem para gould).

#46 - 07/16/2014 03:30 PM - Andrés Pías

Si, ahora me quedo claro.


- Status changed from Resuelta to Cerrada


Al final no procedimos por respaldos, dado que la instalación cambió bastante. Copiamos bases y archivos. cerramos igual.

Files

errores-watson1.png 35 KB 06/03/2014 Andrés Pías

update_sympa_6.1.7_6.1.22-v0.2.sql 3.38 KB 07/06/2014 Daniel Viñar Ulriksen

05/12/2020 19/19

Plataforma de servidores - Tareas #2596 · #6 - 2014-05-16 14:25 - Andrés Pías - % Realizado...

Documents

Transcript of Plataforma de servidores - Tareas #2596 · #6 - 2014-05-16 14:25 - Andrés Pías - % Realizado...