La evaluación de un programa de formación para … · que las bases teóricas sobre las que se...

La evaluaciónde un programadeformaciónparaprofesoresprincipiantesuniversitarios

CRISTINA MAYOR RuizDepartamentodeDidácticay O.E.

UniversidaddeSevilla

RESUMEN

Son numerosaslas iniciativasquecontemplanla evaluacióndel programacomo uncomponenteesencialde los proyectosformativos.Paraesteobjetivo, los profesoresres-pondena un cuestionarioy asistena unasesióndeevaluaciónconjuntaentreprofesoresy monitores.El análisisdedatosy los resultadosprocedentesdetodo el procesosonpre-sentadosen esteestudio.

SLrMMARY

They arenurnerousthe initiatives that envisagethe evaluntionof Iheprogramasunessentialcomponentof the formativeprojects.Forthis objective,the teacbersanswertoa questionnaireand attenda sessionof evaluationjoint betweenteachersandmonitors.Re analysisof dataandthe resultsoriginatingfrom ah tbeprocessarepresentedin Ibisstudy.

1. La evaluaciónde programasformativos para profesoresuniversitarios

Son numerosaslas iniciativas que contemplanla evaluacióndel programacomo un componenteesencialde proyectosformativos.Teichler (1992)afirmaque «la evaluaciónde los programasse considera tambiéncomo una parteintegralde/desarrollodel curriculurn» (p. 1943).Los planteamientoevaluativos,asícomolos elementosanalizados,dependende los objetivosde la experiencia,

RevistaComplutensedeEducación,vol.?, nY 1, 996.ServiciodePublicaciones.UniversidadComplutense.Madrid, 19%

172 CristinaMayor Ruiz

delos participantesy de las estrategiasruetodológicasusadas.Así unaautoraquerepresentaun modeloparalaevaluaciónde programasformativosqueconteniplacadaunode estoselementosy sus relacioneses Slimmer(1983).En la Figura1podemosobservarla secuenciade los distintos momentosdel procesoy lasinfluenciade las quecadaaspectoparticipa;podemosasimismoafirmar queeseste un modelobastantecompletoya querecogelas distintasetapasen la eva-luaciónde programasformativos,en las quemástardeprofundizaremos.

Pero debemoscomenzarpresentadolos distintos conceptosque sobre laevaluaciónde programashemosrevisado.Celorrio (1993)define laevaluacióndeun programaformativo como «la valoración cuidadosay sistemáticade suscaracterísticasy desufuncionamiento,con la finalidad de determinarla calidaddel mismopara tomardecisionessobreposiblessolucioneso cambiosválidospara llegar a ellas»(p. 121).CompletaestaperspectivaWorthen(1992) quiendefine laevaluaciónde programascomo«aquellasaccionesemprendidasparajuzgarel valor o la utilidad de un programade mejora (...). La evaluacióndelcurrículumpuedecaftficarsecomoevaluacióndeprogramassi el currículum seenfocahacia el cambioo la mejora; no obstante,la evaluacióndeprogramasamenudono implica unavaloracióndel currículum»(p. 2524).

INTUICIÓNFORMATIVA

FILOSOFÍADE PARTA M EN TO

OBJETIVOS DELPROGRAMA

r -—RECURSOS

DISPONIBLES

RECOGIDADE DATOS

¡ ANÁLISISDE DATOS

INTERPRETAC IONDE DATOS

TOMADE DECISIONES

t

CONGRUENCIA__J

SOR oÚ~ TOMA DE DECISION

L =r9~si=t

INTERNNEXTERNACÓMO -4—

FORMATIVA’SUMATIVA

L ESTUDIANTES

— OUIÉN ~ PROFESORES

COLEGAS

EXPECTATIVAS!

K _________

OUÉ ~ NECESIDADES!

DEFICIENCIAS

PRÁCTICA

LIMITACIONES 1MODIFICACIÓNPERMANENCIA LSXPANSSN

La evaluacióndeun programa dejórmacion... 173

Comoestamoscomprobandoen ambosplanteamientosexisteun elementocomúncual es determinarla calidad-utilidaddel propioprograma,cuestiónqueno siemprees tenidaen cuenta.El planteamientoevaluativodependerálineal-mentedel propósitou objetivo de tal proceso;en estesentidose entiendequelospropósitosmásfrecuentes,aunqueno los másnecesarioso convenientes,en laevaluacióndeprogramasson:

1. Rendircuentasdel valordel programa:Cubay Lincoln (1981)sostienenque una de las pocascuestionesque distintasperspectivastienenencomúnes la ideadequela evaluaciónpodríadeterminarel valorde unprogramaeducativo.

2. Ayudaren la toma de decisiones:Wortheny Sanders(1987)consideran«la evaluacióncomoun procesoparaidentificary recogerinformaciónque ayudea la toma de decisiones»(p. 44). Las tomasde decisionespuedenir dirigidasa laaplicación;ala continuación,expansióny certi-ficación.

3. Servircomofunción política,bienpararecogerapoyos~,o paraencontraroposición.

La evaluaciónde programaspuedeserun elementoqueapareceendiferen-tesmomentosdel procesoformativo. Un esquemade las etapasaconsiderarenunaevaluaciónde programasformativosse presentaen el trabajode Antúnezyotros (1987):

Se inicia el procesoconuna«FasePreviaDiagnóstica»o EvaluaciónFormativa Inicial,, consistenteen verificar la cohereciaentreel dise-ño y e] diagnósticode condicionesprevias.El instrumentomásacorde.segúnlos autoreses la entrevista.Evaluación formativa procesual: Se realiza duranteel períododeformación, aun cuandohay quetenerpresentequeladinámicade tra-bajo va adeterminarmodificacionesy adaptacionessucesivas;suponepor tanto un períodode control-regulaciónen el quese recogeinfor-maciónqueposibilitela adaptaciónmetodológica(acomodacióndelalíneade trabajoa las necesidades,niveles y expectativas)y lamedidadel progresoen laconsecuciónde objetivos.Instrumentorecomendadola observaciónde las sesionesy la aportacióndocumental.Estaeva-luaciónformativadebepretender,segúnlos autores«proporcionarele-mentosy generarinformaciónparala toma de decisionesdesdeunenfoqueprospectivo»(Antúnezy otros, 1987: 71).

— Evaluaciónsumativafinal: es la más frecuentey ademáses la quemenosinformaciónaportay conmenosprecisión.El cuestionarioes elinstrumentomásidóneo.

174 Cristina MayorRuiz

— evaluación de impacto: centrada en loscambios realesvisibles,paralo cual es necesarioatendera dosaspectos:loscambiosen el compor-tamientoy habilidadesdel profesor,y los cambiosen las estructurasorganizativasy funcionalesdel centro.La observacióny elcuestiona-rio son las técnicassugeridas.

Peroello no significaquetodoslos procesosevaluativoscompletencadaunade estasetapas,sino queexisten inicitivas queestánmáscentradasen unaaspec-to u otro. Un ejemplode ello es el modelo longitudinal,basadoen tresfases:eva-luación sumativa,formativa y confirmativa presentadopor Siegel y Hanson(1994);el cual estábásicamentedirigido hacialos resultados,procedimientosycriterios paraabordarestasfases.

Algunosenfoquesalternativossobrelaevaluaciónde programaslos presentaWorthen(1992)a travésde cincocategoríaso modelos,muchosde elloscentra-dos ampliamenteen este tema,aún cuandoalgunos de ellos se dirigen másespecíficamentea laevaluacióndel curriculum:

1) Enfoquesobre la congruenciaentre la ejecucióny losobjetivos:RepresentadoporTyler, quienproponeun procesoenel cual los gran-desobjetivosestabanestablecidosen términosde comportamientosymedidoscon instmmentosestandarizados;los resultadosse compara-bancon los objetivosa fin de determinarhastaquépunto la ejecucióneracongruentecon las expectativas.

2) Enfoquede la gestiónde decisiones:Basadoen el modelode eva-luación de Stufflebeam,a travésdel cual el evaluadoridentifica lasdecisionesy recogeinformación sobrelas relativas ventajaso des-ventajasde cadadecisión,a fin de decidircuál es lamásapropiada.Laevaluaciónresultauna función explícitamentecompartidaentrelosevaluadoresy los tomadoresde decisiones.

3) Enfoqueorientadoala elaboracióndejuicios: Estemodelopermi-te quelos expertosemitanjuicios sobreel programaqueexaminan,aun cuandomuchosevaluadoresno estándispuestoscumplir lasimplefunción dejueceseducativos,por lo queproponenal alternanciaconotros enfoques.

4) Enfoquescontrapuestos:Incluye prácticasdivergentesde evalua-ciones,que puedendefinirsecomo de naturalezacontrapuesta;unesfuerzoplanificadoparagenerarpuntosde vistasopuestosdentrodelaevaluaciónglobal.

5) Enfoquepluralistas-intuitivos:El evaluadores un retratistade losvaloresy necesidadesdetodoslos grupose individuosafectadosen elprograma,quecalibray equilibraestavariedadde juicios y criterios deun modo intuitivo.

La evaluaciónde un programadeformacion... 175

No obstante,esteanálisisde modelosde evaluaciónde programashademos-tradoqueestosplanteamientoshanfracasadoen la normalizaciónde criterios yque las basesteóricas sobrelas que se fundamentanlos mismoscarecendeaxiomas,no son deductivas,ni tienenpoderdepredicción,ni hansido probadasni validadasempíricamente(Worthen,1992).

En función de estosresultados,paraWorthen(1992)existencuatroáreasenel temade la evaluaciónde programasquedebensermejoradas:

La evaluacióncarecede unabaseadecuadade conocimiento,de formaqueguíela práctica.

— Los estudiosde evaluaciónraramentese evalúan.Los evaluadoresde programasno llegan a comprenderla naturalezapolítica de la evaluación.

— Los evaluadoresde programashacenuna elecciónrestrictiva de losenfoquesy técnicasde evaluación.Sin embargo,Lawrenzy McCreath(1988) utilizan procedimientostanto cualitativoscomocuantitativosparaevaluardos programasde formaciónparaprofesoresen ejercicioy com-pararlas ventajasy desventajasde los métodosde evaluación.

En estesentido,Schaffer, Stringfield y Wolfe (1992), Villar y Marcelo(1992)y Villar (1994)apoyaninsistentementela proliferaciónde proyectosdeinvestigacióncentradosen la evaluaciónde programasformativos.Es importanteparanuestrotrabajoconsiderarlasmatizacionesquesobrelostérminosevalua-cióny supervisiónrealizanDagleyy Orson(1991).Losautoresafirmanqueenla investigacióneducativaes comúnel uso indiscriminadodeambostérminosyello conlíevaproblemas.«Laevaluaciónestáreferida a las tareasadministrati-vasde enjuiciar la efectividady calidad de la enseñanza,para despuésdeter-minar la futura promocióndel profrsor <Pittman y Mate, 1989) <evaluaciónsumativa).La supervisiónestáreferida al desarrollodeprocesosencaminadosa¡nc/orar los comportamientosinstruccionalesdel projésor<...) Claramenteelconceptode supervisiónquehemosdesarrolladocoincidecon el deevaluaciónformativa.»(p. 73).

CoincidimosconVillar y Marcelo (1992)cuandoafirmanqueen elámbitode la evaluaciónde planesde formación se producenfundamentalmentedoslagunas,unaen cuantoa la falta de culturaevaluativay otraen cuantoal propioconcepto.En primer lugar, «no existeen nuestropaísuna tradición asentadadeevaluaciónde las actividadeseducativasen generaly deformacióndel projé-soradoenparticular En segundolugar la evaluacónes un conceptoquegene-ra reservas,de~sc~o~fi~anzao escepticismo»(p. 419).A estosproblemas,debemosañadirun tercero encabezadopor los instrumentosy técnicasde recogidadeinformacion.

En la evaluaciónde programasformativosescomúnel uso de instrumentosy procedimientosde investigaciónde cortecuantitativo,asícomoapuntanCooky Reichardt(1986)«el crecienteinteréspor losmétodoscualitativosen investi-

176 CristinaMayorRuiz

gación evaluativaprocede de la insatisfáccióncon el estilo de evaluacionescuantitativasy de unanuevaconcepciónde la adecuacióndel modelocientttwocuantitativoa la evaluacióndeprogramasde intervención(...). Losmétodoscua-litativos sonapropiadospor símismoscomoprocedimientosde estiniaciónde laevaluacióndel impactode un programa»(p. 75). Es porello queennuestrotra-bajohemosintentadoatendera las dos vertientes;podemosencontraren la faseque hemosdenominadode Reflexión o tambiéncalificadade evaluacióndelimpacto,unaaportaciónmáscualitativa,y en estaúltima, dedicadaa laevalua-ción del propio programa,de suscomponentes,estructura,etc., porunaconcep-ción máscuantitativa,aunque,pensamosque sinolvidar ladimensiónde calidad.

Estadecisiónha sido adoptada,entreotros motivos,porquecuandose utili-zan modeloscualitativosen laevaluaciónde programasaparecenproblemasdeinferencia, intrínsecosal entornode los procesossocialesen marcha; es porello que un diseñoexperimentalpara tal objetivo no causaestosproblemas(Cook, y Reichardt,1986). Estosautorespresentandos tipos de evaluacióndeprogramasde formación:

— Análisisde impacto: empleadoparaestimarel impactogeneraldel pro-gramaen quienesfueronparticipantes.Estábasadoen lacuestiónsobreel éxito o fracasode un programa.Normalmentede cortecuantitativo.

— Análisis deproceso:concentradoen los elementosinternosdel programa.preocupadosporcómo funciona,generalmenteutilizando técfficascua-litativas.

En estesentidoestostipos de evaluaciónse presentanen nuestrotrabajo.Entendemosquela Fasede Reflexiónsuponeconocerla aplicaciónprácticadecadauno de los contenidosdel programa,es decir, suponedescribire interpretarlos componentesdel procesoqueno sehanasimiladoe interiorizadoy queportanto son deficientesen laprácticade los profesoresuniversitarios.Estosuponeuna evaluacióndel impacto del programadesdeunalínea cualitativa,funda-mentadaen la grabaciónde vídeoy en las entrevistascomoelementosdel estu-dio de caso.

Complementarioaestaactividad,analizaremosen esteepígrafe,laevalua-ción del programaen cuantoa sus componentes,estructura,documentación.monitores,etc., quehemosdesarrolladoen basea unoscuestionariosy a lagra-baciónde unasesiónde evaluaciónconel conjuntode participantes.

Estaaportación,más o menosnovedosa,puestoque en principio parececontrariaa la queapuntanCooky Reichardt(1986), (quienesafirman que laevaluaciónde procesodebesercualitativay la evaluacióndel impactogene-ralmentees cuantitativa).Estasafirmacionesno se puedenentenderdrástica-mente,yaque los mismosautoresreconocenque ~<losanálL~isdeprocesoquetratan de evaluarlos componentesdelprograma(de.sdeuna línea cualitativa)proporcionan una escasaintórmación sobrelos efectosgeneralesdelprogro-ma» (p.2O3), aún cuandolos análisisenlazadosde una y otra metodología

La evaluaciónde unprogramadeformacion... ‘77

resultanrarosy escasos.Nuestraintenciónhaestadopor aunarambosesfuerzosy situar la evaluaciónsobreel impacto en una perspectivamáscualitativa,menosancladaenlos conceptosde eficienciay másdirigida a los procesosdemejora.

2. Los profesoresparticipantesen elprogramaformativo

Los profesoresque han participadoen nuestroprogramabásicamentehanconfigurado la muestrade los instrumentosutilizadospara la evaluacióndelmismo. El programaha reunidoa los profesoresuniversitariosqueparticipabanen el Seminario de «FormaciónparaProfesoresPrincipiantesen EstrategiasDidácticas»y queportanto poseíanun contratode trabajoen la UniversidadHis-palensea partir de 1990,es decir, cuyaexperienciadocenteno superabatresaños,paraasípoderlosconsiderarprofesoresnoveles.

- Los cuestionariosfueron distribuidosparael pretesten la «SesiónCinco»(una sesión intemedia) del Seminario,con el objeto de recogerinformaciónsobre la marchadel mismo; e igualmentese distribuyen en la ~<sesiónl0>~,sesion final o de evaluación,para recogerla informaciónque configuraráelpostest.

En las tablasquepresentamosa continuaciónaparecenlos datosreferidosalos sujetospertenecientesa lamuestradurantelos dos momentosde recogidadeinformación,un total de veintiochoen elpretesty de quinceen el postest,ade-más de los datosque conformanlas variablesde estudio (Sexo, FacultadyGrupo de Titulación).

Comovemosen la tabla 1 el porcentajede hombresquehacontestadoa loscuestionariospretesty postestes sensiblementesuperioral de las mujeresenamboscasos,superandoen tresy un puntos respectivamentelas puntuacionesfemeninas,por lo que podemosdecirque la variable sexo estáprácticamenteigualada.

TABLA 1Frecuenciasde sujetosenfunción del sexo

SEXO

E

Pretest Postest Pretest Postest

1. Hombres 15 8 53,6 53,3

2. Mujeres 12 7 42,9 46,6

Total 27 15 100 lOO


Cadaunadelascarrerasa lasquepertenecenlos sujetosde lamuestrasehanagrupadoen tornoa cincogruposde titulacionesbásicas:

Cuandonos referimosal «Grupode Titulación» estamosconsiderandounadistribución arbitrariaquerealizamosde los distintosDepartamentos,en funciónde la naturalezade la distintasáreasde conocimiento,categorizaciónfrecuente-menteutilizadaen laadministraciónuniversitaria.Básicamenteson cincogruposde titulaciones,aún cuandoen el trabajo de Mingorance,Mayor y Marcelo(1993) se atiendea tres grupos,ya que pensamosque ladistribuciónen baseacincocategoríasestámás ajustadaala realidad.

CUADRO 1

Distribución de titulacionesde la Universidad de Sevilla

Grupos Titulaciones

Grupo 1 (Humanas) • Filosofía, Geografíae H~, Filología, Pedagogía,Psico-logia y Bellas Artes.

Grupo2 (Sociales) Derecho.Económicas,CC. Información,Empresariales,GraduadoSocial y TrabajoSocial.

Grupo3 (Ciencias) e Matemáticas, Física, Química, Biología, Farmacia e Infor

mática y Estadística.

Grupo 4 (Técnicas) Arquitectura,IngenierosIndustriales,Agrícolas y Poli

técnica.

GrupoS(Sanitaria) Medicina,CC. Salud,Odontología.

Comoobservamosen la tabla 2 mayoritariamentelosprofesoresprincipian-tes se distribuyentanto en el pretestcomoen el postesten el Grupo 2 (Sociales>conunosíndicessuperioresal cincuentay cincoporciento;seguidodcl Grupo 1(Humanas)con valoresigual o superioral veinteporciento.En el pretestsobre-saleel GrupoS(Sanitarias)y en postestelGrupo 3 (Ciencias).

Los sujetosquehancontestadoa los cuestionariossc repartenmayoritaria-menteen titulacionescomoEconómicas.Enfermería,Derechoy Psicología.Elíndice de abstenciónen las respuestaes mayor en el postest(asciendea cuatrosujetos)mientrasqueen el pretestapareceúnicamenteel sujetode IngenieríadelDiseñoen la opción«No Contesta»(NC).

La evaluaciónde unprogramadefor¡nacwn...

TABLA 2

Frecuenciasde sujetosen función del grupo de titulación

Pretest Portes!Grupos

F F

Grupo 1 (Humanas) 6 21,4 3 20Grupo 2 (Sociales) . 16 57,1 8 53,3Grupo3 (Ciencias) . 2 7,1 2 13,3Grupo4 (Técnicas) 1 3,5 1 6,6GrupoS(Sanitaria) 3 10,7 1 6.6

Total . 28 15

TABLA 3

Frecuenciade sujetospor titulaciones en pretest/postest

Prelest PostestTitulaciones

F F

Contabilidad . 11 38,3 5 40Enfermería . 3 10,7 1 6,6DerechoPenal... . 3 lO,? 1 6.6Psiquiatría . 3 10,7 2 13,3TeoríaEconómica 1 3,6 NCIngenieríaEnergética 3 3,6 1 6,6TeoríaeFU Educación 1 3,6 1 6,6GeografíaFísica 2 7,1 NCComunicaciónAudiovisual 1 3,6 NCAlgebra 2 7,1 2 13,3IngenieríaDiseño NC NC

Total 27 15

En cuantoa los añosde experienciahabríaqueseñalarqueel 53,6%de lamuestraestáen su primer añode experienciadocentey el 39,3%en su segundoaño; podemosafirmar entoncesque son mayoritariamenteprincipiantesconmenosde tres años de experiencia,lo cual favorecelos objetivos de nuestroestudioy del programaquediseñamos.

179

1 80 CristinaMayorRuiz

30

25

20

15

10

5

0 Humaras Sociales Ciencias Técnicas Sanitarias

~ Pretest Postest

Figura 1. 1-lisiograma sobre caraeierísticass de profesoresparticipantes en seminario formativo.

3. Los instrumentos utilizados en la evaluación del programa

La evaluacióndel programaquepresentamosestábasadoenel análisisde losdistintoscomponentesdel mismo; es por ello que incluimostanto la valoraciónde los monitoresquehan participadoparasu desarrollocomola de los docu-mentosaportadosen el seminario.

El instrumentoquehemosutilizado paralaevaluacióndel «Seminariode for-mación paraprofesoresprincipiantesen estrategiasdidácticas»provienede laadaptaciónbásicamentedel cuestionariodel mismonombrediseñadoporVillary Marcelo (1992),y de algunasincorporacionesque ya Sánchez(1993) habíamodificadodel original.

El objetivo deesteinstrumentoes recogerel interésy lautilidad que paralosparticipantesen el programahatenidoel mismo,así comoconocerlas distintaspercepcionessobrelas posiblesdeficienciasestructuraleso técnicasquese hanadvertidodurantesu desarrollo.

El «Cuestionariode Evaluacióndel Seminario»original atiendea doceitemssobrelos diversoselementosde estaactividad, al que Sánchez(1993) incluyealgunascuestionesabiertas.Paranuestrotrabajohemosrevisadoe incorporadovarias preguntasmás específicasparanuestrosobjetivos. Es por ello que el«Cuestionariode Evaluacióndel Seminariorevisado»,se configuracon variassecciones,cadauna deellas conunafinalidad determinada.

ce

1,,

Hombres Mujeres


Seccionesdel Cuestionario de Evaluación del Seminario

Sección 1 a.

Sección2a.

Sección37:Sección4~.Secciónsa:

Sección67:

22 declaracionescenadas.3 preguntasabiertas.II Conipetenciasdocentesde los monitores.25 adjetivossobreel perfil del semínano.9 declaracionescenadassobreel documento.3 preguntasabiertassobreel documento.

Así en primerlugarse ofreceunabateriade 22 cuestionesrelativasalos dis-tintoselementosdel programa,quehemosagrupadoparasu mejorcomprensiónen sietedimensiones:Contenidos,metodología,organización,relaciones,moni-tores,impactoy unamásglobal dirigida ala actividadformativacomotal.

CUADRO 3Distribución de items por dimensiones

Dimensiones Declaraciones

CONTENIDO

METODOLOGíA

ORGANIZACION

1. Los contenidosabordadosdurantelas sesionesdel seminarioestánsiendointeresantespor sunovedady originalidad.—6. Me heaburridoen el seminarioporquela informacióndesa-rrolladaerairrelevanteparalosobjetivosquese pretendencubrir7. El contenidodel seminarioseestáadecuandoalas necesida-desy expectativasquetengo.

2. La experienciade entrenamientobasadaen un procesodetres fases(lectura, observacióny representaciónde destrezas)esmuy útil.3. Me estágustandoel seminarioporqueencuentroen él unanuevaformade desarrollarlas sesionesporpartedel coordinador.—9. Estoy tensoen el seminarioporqueserecomiendala actua-ción anteel restodecompañerosy a vecesantecámarasdevideo.12. El desarrollodel seminariome estáhaciendoreflexionarsobremi propiaenseñanzay centrarmeen aspectosque,aunquelos conocía,nuncahabíareparadodetenidamenteenellos

—10. El seminarioestátan organizadoqueno se aceptanmodi-ficacioneso sugerenciasqueproponemoslos profesorespartici-pantes.15. El tiempoempleadoereel seminariomepareceescaso.16. La organizacióndel cursoestásiendomuy acertada.


CUADRO 3

(Continuación)

Dimensiones Declaraciones

RELACIONES

MONITORES

IMPACTO

ACTIVIDADFORMATIVA

—8. Me estádefraudandoel seminarioporqueno pudoexpresarmis opinionesy sentimientosconLibertad.13. Las relacionesentreel/oscoordinador/esy los participantessonrelajadasy proporcionanla buenamarchadel seminario.14. Durantelas sesionesseestimulay motivala participaciónyla presentaciónante los compañerosde experienciasdocentespropias.

17. La variedadde monitoresestá aportandogran riquezadeperspectivasdidácticas,algo que considerovital paraeste tipodeformación.18. Seestápercibiendograndominiodel contenidoen los moni-Lores.

II. Duranteel desarrollodel seminarioestoyadquiriendosegu-ridady confianzaen mi tareadocente.19. La posibilidadde compartirexperienciascon otros compa-ñerosme ayudaaresolvermis propios conflictos y dilemascomodocentenovel.20. La formación adquiridaen el seminarioestárepercutiendodirectamenteen mi tareadocentediaria.

4. Si seconvocaotro seminariosobreesteteínalo recomendaríaa otros compañeros.5. En estosdíasbecomentadocon otroscompañerosel valoryla funcionalidadde esteserntnarío.21. Consideroestetipo deprogramasmuy útiles paraformar aprofesoresuniversitarios.22. Hastaahora,puedodecirqueestoysatisfechocon la activi-dadde formaciónrealizada.

Las respuestasen estaprimerasecciónes tipo Lieker con cinco opciones,queoscilan entreel Completamentede Acuerdo (CA) valoradacon 5 puntos,aCompletamenteen Desacuerdo(CD) valoradacon 1 punto;el puntointermedio,3 correspondea un gradode acuerdoNormal (N). Es importanteseñalarquealgunasde las preguntassehan codificadode formanegativa,ellassonla 6. 8, 9y lO.

La evaluacióndeun programadejórmacton...

ItemsPositivos ¡temsNegativos

CA: Completamentedeacuerdo 5 CA: Completamente de acuerdoDA: De Acuerdo 4 DA: De Acuerdo 2N: Normal 3 N: Normal 3ED: En desacuerdo 2 ED: En desacuerdo 4CD: Completamente en desacuerdo 1 CD: Completamente en desacuerdo 5

Completaestasección,un grupo de tres cuestionesabiertasdedicadasarecogerlas opinionesde los participantesen cuantoa los aspectospositivosynegativosquehan percibidoduranteel desarrolloy sobreaquellosquecomple-mentan el diseño del mismo; igualmenteincluimos un apartadoque permiteaportarunaopinión valorativafinal sobreel conjuntodel Seminario.

— Aspectospositivosdel seminario.Aspectosnegativosdel seminario.

— Aspectosqueañadiría.

Aspectosque completanel diseño delseflitnario.

— Valoracióngeneraldel seminario.

Una tercerasecciónestádedicadaa cadauno de los módulosque se hanimpartido, la finalidades muchomásespecíficay constade oncecompetenciasdocentessobreel monitor responsableen cadauno deellos, auncuandoen la pri-merasecciónsevaloraranglobalmente.Las opcionesde respuestasen estasec-ción oscilandesde«ValoraciónMuy Alta» (5) a «ValoraciónMuy Baja» (1).

CUADRO 4

Competenciasdelos monitoresdel seminario

Competenciassobre los monitoresdelos módulos

1. Relevanciaparami trabajo (5) ValoraciónMuy Alta2. Claridady estructuracióndecontenidos (4) ValoraciónAlta3. Posibilitar la adquisiciónde nuevasdestrezas (3) ValoraciónMedia

docentes4. Claridadexpositiva (2) ValoraciónBaja5. Capacidadde motivación (1) ValoraciónMuy Baja6. Dominiodel contenido7. Facilidadpara las relacionesinterpersonales8. Capacidadparapropiciarla reflexión9. Posibilidadde aplicaciónpráctica

lO. Adecuacióna los objetivosII. Valoracióngeneral

183


La cuartaseccióndel cuestionariopresentauna relaciónde adjetivos,enforma de diferencial semántico,extraídosde McCabe(1980),con los quepode-moscalificarel seminarioen el quese ha participado.Les pedimosa los sujetosquemarearanconunacruz(X) en elespacioquemejorexpresarasu valoraciónglobal deesteprogramaformativo. Comoresultadodeesteanálisisseobtieneelperfil que adviertesobrelas característicasdel seminario

Adjetivosnegativos

InútilMalo

DifícilDetestable

FragmentadoInsatisfactorio

ConfuSOSin valor

InnecesarioEstrecho

InconsistentePesimista

FalsoIrrelevante

DébilSuperficial

PasivoCorto

DesinformativoTeórico

AburridoRápido

InformalConvencional

No estimula

Adjetivospositivos

— Útil— — Bueno— — Fácil— — Se Disfruta— — Coherente— — Satisfactorio— — Claro— — Válido— — Muy Importante— — Amplio— — Consistente— — Optimista— — Cierto— — Relevante— — Fuerte— — Profundo— — Activo— — Largo— — Informativo— — Práctico— — Interesante— — Lento— — Formal— — Iínaginativo— — Estimulante

La qtiinta secciónestácompuesta nuevecuestionesoriginariasdel ms-portrumentode Sánchez(1993),aúncuandose le ha añadidootrascuestionesabier-tasquepermitenuna valoraciónlibre por partede los profesores.Las nuevecues-tionesestánagrupadasen función de cuatrodimensionesque recogenfunda-mentalmentelasopinionesen tomoal contenido,alas actividadespropuestasenel documento,al propio vídeo como materialdidáctico y a la imagenque eldocumentotransmite.


CUADRO 5

Distribución de items endimensiones

Items

CONTENIDO

ACTIVIDADESPROPUESTAS

VÍDEO

IMAGEN

1. El documentotiene valorescientíficos: claridadexpositiva,ausenciade inexactitudes,actualidadyrelevanciade los datos,etc.

2. El documentoestáordenadode forma sistemática.Sesigue un ordenlógico a lo largo detodoel texto.

5. El lenguajeutilizado en el documentoescompren-sible: el vocabulariotécnico se introducegradual-mente,los conceptosdifíciles seclarifican medianteejemplos.

3. El documentoproporcionalos requisitosnecesariosparaentrenara profesoresen estrategiasdocentes.

4. Los ejerciciospropuestosenel documentoson ade-cuadosparael entrenamientode las destrezasque sedesean.

6. El documentomotiva el aprendizajede las tareasya que se definentareas,se presentanejemplosy seproponenejerciciosparasu realización.

8. El documentoproponela prácticade aquellasdes-trezasque se pretendenconseguir,atendiendoconello a la individualizaciónde la formacióndocente.

7. Los videos introducidoscomo material de trabajorepresentanunaestrategiamás novedosa,motiva-doray atractivaqueel describiresasmismassitua-cionesdidácticasenpáginasescritas.

9. Los aspectosexternosdel documento(tamaño,for-mato, impresión...)tienen calidad, si se consideraqueesun materialparael perféccionamientode pro-fesores.

Finalmente,la sextaseccióndedicadaal documentoestáintegradaporcues-tionesabiertas.Cabeseñalarquese presentanen la mismalíneaquelas de eva-luación del seminario,es decir, se perfilan los aspectospositivos, los aspectosnegativosy aquellossesugierenparafuturosprogramas.

Dimensiones


4. Resultados

La aplicaciónde esteinstrumentoseha efectuadobásicamenteal finalizarelseminarioformativo.No obstanteera de nuestrointerésconocerduranteel pro-cesodel mismo algunaspercepcionesgeneralesque nosindicaran,auncuandolevemente,lospuntosde vistasquesobreel programaestabanteniendolos par-ticipantes.Como hemosseñalado,sobrela evaluacióndel seminariohemosrecogidodiversos tipos de datos. Es la causapor la cual en la sesiónnúmerocinco seles pasóa los profesoresúnicamentela primeraseccióndel cuestionariode evaluacióny aquellarelativaa las competenciasde losmonitores,quehastaentonceshabíanintervenido.El objetivoquenosmotivabaa ello era,por un ladola anteriormentemencionaday, por otro, no retardaren variosmeses,con la pér-dida de informaciónqueello pudieraconllevar,las percepcionesde los móduloshastaentoncesdesarrollados.En la tablasiguienteexponemoslos datosrelativosal pretesty postestde la primeraseccióndel cuestionario.

4.1. Análisisdelos componentesdel programa: la SecciónPrimeradel Cuestionariode Evaluacióndel Seminario

Hemoscomprobadoquelas valoracionespertenecientesa la etapadel pretestsonbastanteelevadas,lo cual no exigió duranteel desarrollodel programaqueseefectuaranmodificacionessustanciales.

Contrastandoambasetapas,pretesty postest,comprobamosquelas opinio-nes,en términos generales,sobrepasan,en todoslos casos,la puntuaciónquehemosdenominado«De Acuerdo»,lo cual apuntahaciaunavaloraciónbastan-te positiva del seminario.No obstante,aparecendimensionesque progresanhaciaíndicesmáspositivos y otrasquedisminuyenestos.

En cuantoal contenidodel seminario,éstehasido valoradoen torno al inte-rés de los temasseleccionados,sin olvidar que estosestabandeterminadosenfunción de losproblemase inquietudesdemostradosen loscuestionarioscarac-terísticosde la Fasede Diagnósticoy en función igualmentede la relevanciay dela adecuaciónde estos.Observamosque al finalizar el seminariose aumenta,en0.1 punto, la percepciónpositivade lostemaselegidos.La configuracióndelos temasdel seminarioexpuestacon anterioridaden el epígraferelativo al dise-ño del programa.

Sobrela metodologíadel seminario,tambiénseadvierteunaopinión posi-tiva, cercanaal índice 4, aun cuandodisminuyelevementeal finalizar éste.En muchasocasioneslas estrategiasdocentesqueutilizan los monitoresestádeterminadapor la propia temática,lo cual condicionatambiénestasaprecia-ciones.

187La evaluaciónde un programadeformaccon...

TABLA 4

Puntuacionesde lasdimensionesevaluadas

IihmensionesPretest Postest Difrrencia

ContenidoMetodologíaOrganizacionRelacionesMonitoresImpactoActividad Formativa

3,73,93,64,23,93,53,9

3,83,83,64,23,53,74

0,1-0,100

-0,40,20,1

5

4,5

4

3,5

3

2,5

2

1,5

Impacto

Contenido Organización MonitoresFormación

Metodologia Relaciones

~, Pretest Postest

Figura 2. Histograma sobre las dimensiones evaluadas. Evaluación dei seínínarin.


Las cuestionesorganizativasj de relacionesentrelos diferentesmonitoresylos profesoresparticipantesson,en todo momento,cordialesy respetuosas,locual tambiénfavorecea la participacióny al dinamismode las propiassesiones.Lasvaloracionesen tomoa losmonitoresserealizaenestadimensiónde mane-ra generalizada,no obstante,tenemosoportunidadde profundizaren ellasduran-te el análisis de la terceraseccióndel cuestionario.Sin embargo,debemosapun-tarel descenso,de 0,4 puntos,queaparecede unaaplicacióna otra; algo quesiobservamosel análisisde cadauno de los módulos,quepresentaremosseguida-mente,vemos que los monitoresde las cinco primerassesionesobtiene unapuntuaciónligeramentesuperiora los de las cinco últimas; motivo por el cualestadimensiónpuedeestarinfluenciada.

Las percepcionessobreel impacto nos parecende vital importanciaparanuestrotrabajo,ya quees imprescindibleparaconocerla eficaciay calidaddelprograma,queexistanrepercusionessignificativasen la prácticadiaria de los pro-fesores.El impacto de los aprendizajeslogradosse reflejanen basea trescues-tiones:la seguridady confianzaenlas actividadesdocentes;la resoluciónde pro-blemasde enseñanza;y la repercusióndirectaen las tareasdiarias.Observarnospues,quelosprofesoresal finalizar el programapercibenmáspositivamenteelimpactoquesuparticipaciónen estaactividadformativaestáteniendoen supro-fesióndocente.

Por último, es importanteparaevaluarel programaunasconsideracionessobreestaetapaformativaen la vida profesionaldel profesorprincipiante.Estasapreciacioneshanido dirigidas a la funcionalidad,a la utilidad y a la satisfacciónconesteseminario.Si observamosen las tablasexpuestasenlos anexosdondeserecogenlaspuntuacionesotorgadasa cadaitemse apreciaunade los índicesmáselevadosen la pregunta4, relativaala recomendaciónde estetipo de actividadaotros compañeros.

4.2. Análisisdelosaspectospositivosy negativos:la SecciónSegundadel Cuestionariode Evaluacióndel Seminario

Sobrelas aportacionesde los participantesen el programahemosprocedidoa suorganizaciónen funciónde las dimensionesqueconformanla secciónpri-meradel cuestionario,intentandoagruparaquellasqueestáii referidasa la mismatemática.Es por ello queconfiguramosuna tablaen la queconfrontamosestasopiniones.

Podemosobservarquebásicamentelasaportacionesde los profesores(reco-gido en la columnade «Aspectosa Añadir») van dirigidas a corregirlos aspectosnegativosquehan apuntado.Es frecuenteencontrarrecomendacionesdirigidasauna metodologíamás práctica,con más posibilidadesde exponersus propiosproblemasy con más coloquio o participación;se trata puesde atenderlasdemandadasindividuales.Así hay profesoresquesugierenel análisis de vídeo

La evaluaciónde un programadeformacion...

CUADRO 2

Matriz sobre lasdimensionesvaloradas

Dhnens¡anes

A. CONTENIDOS

B. METODOLOGÍA

Aspectos positivos

— Mostrar distintosmétodos de ensenan-za (5)

— Aporte de materialbibliográfico (12)

— Diversidad de enfo-ques (lO)

— Hacer reflexionarsobre la enseñanza(20)

— Orientar en soluciónde problemas (28)

— Análisis de Casos (4)

Aspectos negalivas

— Algunos monitores nose han ceñido al lemadel Seminario (15)

— Algunas cuestionesdemasiado técnicas(24)

Poco diálogogrupo (12)

en

Aspectos a añadir

Modelo de profesoreficiente (4)

Punto de vista dealumnos (4)Más demostractonpráclica t7)

— Coloquio eníre profe-sores (12)«Análisis de vídeo atodos los participan-ces: A mí me ha sidomuy positivo» (24)

C, ORGANIZACIÓN

1). RELACIONES

E. MONITORES

— Despliegue de re-cursos técnicos yhumanos (15)

— Conocer experienciade otros colegas (13)

— Compartir problemas(28)

— Gran riqueza de pun-tos de vistas por lavariedad de monttores(27)

Tener fotocopia detransparencias duran-te la sesión (19)Más posibilidades deplantear dudas (15)

Algunos ponentesmuy teóricos (24)

Falta saber cómo selleva a la práclica, nt>sólo mosirar modelos(7, 13)

E IMPACTO

G, ACTIVtDADFORMATIVA

— Extraer cuestionesaplicables a la prácti-ca (4, 24)

— Concienciarse denecesidad de mejorarla enseñanza (13)

— Posibilidades de per-fe cci o n amientodocente (28>

— Muchas aportacionesno tienen en cuentalimitaciones prácticas(20)

— No contar con apoyodel Departamento(28)

— Más posibilidades deponer en práctica lasideas (20)

— «Obligatorio paratodos los profesores.con ct,rrección dedeficiencias» (21)

189

* El número que aparece entre paréntesis identiltea al sujeto que hace la aportación.


paratodoslos participantes,algo queproporcionaríaesaresoluciónde problemaspersonalizadoqueseñalanotros participantes.Perola grabaciónde vídeo no esaceptadapor todoslos sujetosy tampocopuedeserunaactividadde obligadocumplimiento,al menosduranteel prograínano se planteócomorequisito. Engeneralse han resaltadopositivamenteaspectosque consideramosde vitalímportanciaparagarantizarla calidaddel programa,comosonla iniciativa o pro-puestadel propio programaa la institucióncorrespondiente(el ICE de la Uni-versidadde Sevilla), la selecciónde contenidoy actividades,y por último la per-tinenciaen la variedadde monitores.

Una segundapreguntaabiertapropuestaa los profesoreses la relativa aconsideracionesconcretasa incluir en futurosdiseñosde programasformativosde estascaracterísticas.Estapreguntanúmero24 del cuestionarioseasemejabas-tante a la que hemos expuestoen la columnatercerade la tabla anterior,auncuandoes más específicay sugiereactividadesmás detalladas.En la tablasiguienteexponemosestasaportacíones.

• Mesaredondadondeparticipenrepresentantesde la Universidad,alumnos,pro-fesoresprincipiantes,profesorescon experiencia,pedagogos,etc.

• Tratarmetodologíasespecíficasparacadauna delas distintasdisciplinasacadé-micas-

• Contenidosa incluir:

— Tutorías: ¿Cómodistribuir el tiempoentredistintastareas?— Gestión:¿Cómoaccedera los órganosde gestióndel Departamento?— ProyectoDocente:¿Cómohacerun proyectodocentepersonalizado?— Cuestionessobrecategoríaprofesional.— Comportamientoen el aula.— Oratoria:¿Cómohablaren público?— Atendera otrascompetecíciasprofesionalesno docentes.

Porúltimo, la pregunta25, demandaa los profesoresuna opinión abiertasobrela valoracióngeneraldel seminario.Coincidiendocon las aportacionesnuméricasla percepciónesbastantepositiva, en la tablasiguienterecogemoslos aspectosmásfrecuentesy destacados;no obstantesomosconscientesqueaparecenopinionesreiterativasde las ya expuestas,pensamospuesque estaintervenciónviene a resumir lo anterior en palabrasde los propios partici-pantes.

La evaluacióndeun programadeformacion.- - 191

4.3. Análisisde las Competenciasdocentesde los monitoresdelosMódulosFormativos: la SecciónTerceradel Cuestionariode EvaluacióndelSeminario

Hemosseñaladocon anterioridadque los monitoreshan recibido valora-cionestanto durantelas cuestionescerradas,con una dimensiónespecífica,como en las preguntasabiertas.En estaseccionse analizaen profundidada cadauno de los monitoresde los distintosmódulos,en basea unabateriade cues-tionessobrecompetenciasdocentes.En la tabla siguientese exponenlos re-sultadosde las puntuacionesmediasde cadaitem y el índice global de cadamódulo.

• «La ideaes buenay necesariaparalos profesoresprincipiantes»(13) *

• «En generalme ha gustado,aunquealgunosprofesoresno se hanajustadoaltemadel Seminario,mehubieragustadoparticiparmásen la evaluaciónque mehan hecholos alumnos»(15).

• Normal(16).• «Unainiciativa muyBuena»(4).• «Muy acertadala iniciativa, ya quehoy díano sele da importanciay cadapro-

fesorenseñasegúnsuexperiencia»(19).• «Muy interesantey me ha ayudadoa reflexionarsobrecómoenfrentarmea los

alumnosy a lapreparaciónmásamenadela asignatura»(20).• «Muy buenaorganización,elaboraday trabajada,al igual que los conteni-

dos»(27).• «Bastantepositiva,eliminar quizáscuestionesmuy técnicasqueno entendemos

e Ir más a la práctica»(24).• «Opiniónpositivadesdeque comenzóel curso.La variedaddeespecialistases

una fórmula muy positiva, máximecuandohan tenido el detalle dedar textostotocopiados.Es el másinteresantede los que a hechoel lCE>~ (25).

• «Muy bueno,estásuperadotodo loque sepuedepedirdeun seminariodeestetipo» (28).

• «Positivopor las nuevasposibilidades,quizásfuerainteresantehacerun segui-míentopasadounosaños»(29)

* El númeroqueapareceentreparéntesisidentitica al sujetoque hacela aporta-

ción.

CristinaMayorRuiz

TABLA 5

Puntuacionessobrelas competenciasdocentesde losmonitoresde los diferentes módulos

— (1) Introducción — (D) Estudio de Casos

— (P) Planificación — (A) Ambiente de clase

— (L) Lección Magistral — (Ci Creatividad

— (T) Trabajo en grupo — (E) Evaluación

—— (R) Reí, de eoí-nunícac’on — (Y) Proyecto Docente

COMPETFNCtAS Media 1 P L T R D A C E YRelevancia para mi

trabajo docente 3,6 3,1 3.6 3.6 3.1 3.5 3 2» 2.9 4 3.7Claridad y estructuración

de contenidos 3,3 3.2 3,9 3,6 3,4 3.1 3,3 2» 2.5 4,1 4.3Posibilitar la adquisición

de nuevas destrezas

docentes 3,7 3.3 4 3,3 4,2 4.1 4 3.3 3.2 4 3,6Claridad expositiva

del ponente 3,6 3.7 4 3,8 4 3.9 2.7 3.5 3 3,8 4,3

Capacidad de motivación 3.5 3,8 3.8 3,5 3.8 3.7 2.7 2,9 3.2 3.7 4.1Dominio del contenido 3,9 4 4 4 4.2 3,9 3,6 3.8 3.6 4 4.3Facilitad para las

relaciones interpersonales.. 3,8 4.1 4 4,1 4,1 4.1 3,3 3.3 3.1 3.9 4.1Capacidad para propiciar

la rellexión ..,,,,~,, 35 353,5 3.7 36 37 3,6 3.4 3.4 3,4 3.5

Posibilidad de aplicacion

práctica 33 3.1 3.6 3.6 3 3,5 3.3.32.7 3.7 4.3Adecuación a objclivos

del seminario 3.6 3.6 4 3.8 3,7 3,6 3,5 3.3 2,6 4.1 4Valoración general 3.7 3,8 3.9 3.8 3,9 3,6 3,3 3 4,1 4,2MEDIA de MODULOS 3.5.3,6 3.8 3,7 3,8 3,7 3,3 3.2 3 3.8 4

En primer lugar debemosdestacarla puntuacióncoincidente,de 3,5, queexisteentrela mediade todoslos módulosy el valor de la dimensiónMonitoresanalizadaen la secciónprimera del instrumento.En cuantoa la puntuaciónmediade cadamóduloseñalarqueel valormáselevadolo obtieneel referidoalProyectoDocente,móduloqueseofertóexpresamentea losparticipantesy pre-sentarongran interés, no obstante,tambiénen las competenciasespecíficasobtieneelevadosíndices.Esdestacableel valor4,3 expresadoen cuantoa «CIa-rídady estructuraciónde contenidos»,parala «Claridadexpositivadel ponente»,para«Dominio del contenido»y tambiénpara«Posibilidadde aplicaciónprác-tica». Esta es la puntuaciónínás alta que ha sido concediday todasellas seconcentranen el mismomódulo,el de ProyectoDocente.

192

La evaluaciónde unprogramadeformacion.-. 193

Tambiénresaltamoslas puntuacionesobtenidaspor el módulo«TrabajoenGrupo»en la competencia«Posibilitarla adquisiciónde nuevasdestrezasdocen-te» y «Dominio de Contenido».La mediadeestemódulohasido tambiénde lasmáspositivas,conun valorde 3,8. Repitenesteíndiceotros módulos,como el dePlanificacióny el de Evaluación.

Sin embargo,si atendemosa la «ValoraciónGeneral»delos participantes,losmódulosmásvalorados,desdelos máspositivos,son«ProyectoDocente»,«Eva-luación»,«Planificación»,«Lección Magistral»y el de «Relacionesde Comu-nicación».Paratodoslosmonitoreses destacableel «Dominioen el Contenido»y la «Facilidadparalas relacionesinterpersonales».

Atendiendoa las competenciaspeor valoradas,debemosseñalarcon 3,3puntosla referidaa la «Claridady estructuracióndel contenido»y a la «Posibi-lidad de aplicaciónpráctica». Si consideramoslosíndicespor móduloses el de~<Creatividad»el querecibela opinión másnegativa,y concretamentees en lacompetenciade ~<Claridady estructuraciónde Contenidos».

Portanto,auncuandotodos los módulossobrepasanen la puntuaciónmediala ValoraciónMedia: 3, algunossuperaninclusola ValoraciónAlta: 4. Estasper-cepcionesse encuentran,entonces,en total consonanciacon las manifestadasanteriormente,matizándosela calidadde los ponentesy las satisfaccióncon lasexposicionesde estos.

4.4. Análisisdel seminatioen baseal Diifr-rencial Semántico:la SecciónCuarta del Cuestionariode Evaluacióndel Seminario

Estasecciónde cuestionariode Evaluacióndel Seminarioestáreferidaaunapruebasobrelas percepcionesde los profesoresparticipantesen el seminarioenbasea un Diferencial Semántico.La correcciónde estapruebase ha efectuadootorgandoa cada espacioexistenteentre ambascolumnasun valor de 1 a 7,estandoel índicemásbajo máscercade los aspectosnegativos,y viceversa.Lamedia de cadauno de estosadjetivos ha configuradoel perfil definitivo quepresentamosen la Figura 3. Asimismo,hemosdeterminadotambiénla puntua-ción mediade todoslosadjetivosparaconocerla puntuaciónglobal,ascendien-do éstaa 5,1 puntos.Estossignifica quela valoraciónglobal estásignificativa-mentemáscercade los aspectospositivos.

En un análisismásdetalladopodemosafirmar quetodaslas valoracionesseencuentranen la zonade las puntuacionessuperiores,esdecirentre4 y 6, sien-do asíqueno existenvaloracionesinferioresa 4, queseríael puntomedio,auncuandotambiénsoninexistenteslas superioresa 6.

El seminarioha sidovaloradocon las puntuacionesmásaltasen los adjetivosútil, Bueno,Válido, Informativoy Estimulante.Asimismo haobtenidolos índi-ces másbajos,valor4, en los adjetivosLargo, Teórico y Lento.Es, por tanto,queel perfil en estediferencialsemánticodel seminarioesaltamentepositivo.

CristinaMayorRuiz

InútilMalo

DifícilDetestable

FragmentadoInsatisfactorio

confusoSin valor

lnnecesaríoEscaso

InconsistentePesimista

FalsoIrrelevante

DébilSuperficial

PasivoLargo

DesinformativoTeórico -

Aburrido -Lento

InformalConvencional

No estimula

1 23456 7ÚtilBuenoFácilSe disfrutacoherenteSatisfactorioclaroVálidoMuy importanteAmplioConsistenteOptimistaciertoRelevanteFuerteProfundoActivoCortoInformativo

- PrácticoInteresanteRápidoFormalImaginativoE stim u la

Figura 3. Perfil valorasivo del Senjinario en base a tío diferencial semánlico.

4.5. Análisisde loselementosdel Documento:la SecciónQuintadelCuestionariode Evaluacióndel Seminario

Por la consideraciónque anteriormentehemosefectuadose incluye en elcuestionariounadimensión, formadapor un solo item, sobrela utilidad delvídeo como estrategiaformativaen actividadesde estascaracterísticas.Asimis-motresdimensionesmásconformanla totalidadde estapartedel instrumento.Esimportante para nuestro trabajoconsiderarotras cuestionesal margende laexposiciónde contenidosintegrantesen el documento,ya queestematerial seconfiguraeminentementeprácticoy por ello incluyenumerosasactividadesqueel profesorpuededesarrollarautónomamente.

Dimensiones

Contenido 3,5Actividades 3,3Vídeo 4,1Imagen 31

194

La evaluaciónde unprogramadejbrmac¡on.. 195

Recordamosigualmenteque las puntuacionespara valorar el documentooscilanentre 1 = Completamenteen Desacuerdoy 5 = Completamentede Acuer-do. Observamos,pues,quetodas lasdimensionesobstentanun valor superiorala media, indicadacon el código «Normal», es decir todasse encuentranconíndices por encimadel valor 3, y por lo tanto sepuedencalificar de positivas.Entretodasellasel vídeoes el recibela puntuaciónmás elevada,4,1,yaqueseha configuradocomo un materialnovedosoy de granutilidad formativano sóloparaaquellosquehanaccedidoa sergrabadosino tambiéncomo posibilidaddeanalizaractuacionesdocentesde otros profesoresuniversitarios.Ello hapermi-tido compararsituacionesconflictivasy comprobarreaccionesy tomasde deci-sionesparala resoluciónde problemasprácticos.

En cuantoal contenidodel Documento,detalladoexpresamenteen el epí-graferelativo al diseñodel programa,esvaloradocon unapuntuaciónde 3,5, locual indica queun gran númerode sujetoslo consideranadecuadoa las nece-sidadesy demandasexpresadas.Las actividadespropuestasen estematerialestánespecificadassegúnlas distintastemáticasabordadasen el mismo.Muchasde ellassetrabajarondurantelas sesionesdel programay otrasserecomendaronpara un uso individual. La valoraciónque se hacede este capítulo del Do-cumentopensamosqueessatisfactorioy de granrentabilidada la horade llevara la prácticay poder resolver problemasconcretosde situacionesdocentesdiarias.

La imagendel Documentoes un elementoquetambién incide en la percep-ción positivadel Seminario,ya quese realizóun granesfuerzopor confeccionarestematerialde forma satisfactoria.El tamaño,formato, funcionalidad,estructuray otros aspectosfueron resaltadospor los profesores,siendo la calidadde laimpresiónel elementoquemáscríticaha recibido.

En términosgenerales,el documentohasido aceptadopositivamentecomoun materialadecuadoa los objetivos y con una gran utilidadprácticaparalosprofesores.

4.6. Análisisdelos aspectospositivosy negativosdel Documento:la SecciónSextadel Cuestionariode Evaluacióndel Seminario

Exponemosa continuaciónunatablade trescolumnaspararecogerlas apor-tacionesmás significativasde los participantessobre los aspectospositivos,negativosy aañadiral Documento.

Algunos de estos aspectosse puedenconsiderarreiterativos,aun cuandopensamosquees interesanteconocerlas opinionesespecíficasde los protago-nistas. Los aspectospositivos estáncentradosen la abundanteaportacióndeactividadesy casos,teniendoen cuentaquela selecciónde contenidossecon-sideraafortunaday dirigida a los objetivos. Los aspectosnegativosmás fre-

196 Cris tina MayorRuiz

cuenteson los relativosa la impresión del documento,algo que produceunaactitud negativapor la incomodidadqueello supone.Igualmenteel lenguaje,denominadotécnico,es unacuestiónquesehaconsideradodurantela confec-ción del mismo,aun cuandose indica,por algunossujetos,queno es adecuadoal nivel de estosparticipantes.Las cuestionesquese recomiendanincluir sonaceptadaspositivamenteya que suponenun enriquecimientodel propio ma-terial.

CUADRO 3

Matriz valorativadelas dimensionesdel documento

Dhnensione,s * Aspectos pat ¡ci sos Aspc’c.tos negativos Aspectos a añadir

A. CONTENIDOS Bien estructurado ycon contenidos ade-cuados (1 - 9)

—— Toca puntos funda-mentales (8)

— Buena selección decontenido (13. 4)

— Lenguaje técnico (7. 9.13. 14)

— Documentación muycientífica (14)

—— Una Introducción aldocumento (29)Sisíemas de evaluación(21)

— Esquema de Iranspa-rencias (13)En 1 ncc entre teínas (8)

— Más proitíndidad en elIratamiento (4)

B. ACTIVIDADES

C. \tDEO

— Presentación de casos(7,9. 14)tntroducción dc lécni-cas didácticas que des-conocía (1

— Lii 1 izar actividadespara luego corregirlas(4>

Muy útil (21>

— Buena presentación(20)

— Aporte bibliográfico(4. lO)

— Lelra pequeña en cier-tos artículos (1)

— Calidad de impresión(2.3.4. 13>

— No cómodo (3)

— Falta de coherenciateórico-práctica (29)

— Demasiado extenso (3>— No es seguido por

U. IMAGEN

E. ASPECTOSGENERALES

* El número que aparece entre paréntesis identitica al sujelo que bace la aportación.

La evaluaciónde unprogramadeformacion.- - ‘97

Seguidamenteexponemoslas valoracionesgeneralesque sobreel Docu-mentose hanpresentado,indicandonuevamentequeaparecenaportacionesrei-terativasqueintentamosresumiry tambiénotrasoriginalesquesonsignificativasparanuestrotrabajo.

5. Conclusionessobre la calidad del programa: Análisis de la sesiónde evaluaciónen grupo y propuestasde mejora

Paraconcluir la evaluacióndel programahemosde resaltarlos resultadosquesobrela calidaddel programasehanmanifestadoe igualmenterecogerlasreco-mendacionesquehansidoofrecidaspor los profesoresparticipantesen el Semi-nario sobreEstrategiasDidácticas.Estasúltimasaportacionesseránde unagranutilidad parael diseñode futurosplanesde formación.

Asimismo debemosteneren cuenta que ademásde contarcon los datosproporcionadospor el instrumentoanteriormenteanalizado,sededicóunasesiónexclusivadel programaparala evaluacióngrupaldel mismo.Durantela mismasegrabéla informaciónen audio y se tomaronnotasin situ.

Seguidamentevamosa resumirlas valoracionesen torno al seminariocon-jugandolas opinionesvertidasen el cuestionarioy las manifestadasen la sesiónde evaluacióngrupal.

Sobreel PlanteamientoDidáctico del Programa: Para algunos profesoresel programaformativo hasido másinformativo quedidácticoy realizanla críti-cade quees «necesariopredicarcon el ejemplo».A estamanifestaciónotros pro-fesorescontestanque«si es más didácticosereducenlos contenidosy paraun

• ~<Teúricoy prácticoa la vez, muy amplioy actual»(1).• ~<Buenoen susaspectosdidácticos»(2).• ~<Materialínanejable:Es importantecontarconestaherramientadetrabajodesde

el primerdíadecurso»(3).• «Adecuadoa los propósitos»(7).• ~<Consigueel objetivo de serun elementobaseparasu posteriordesarrolloen

ideas.Contenidosmásquesobrados»(9).• «Bueno,quizásdemasiadodenso»(13).• «De granayudaparaampliar las seccionesdel cursoy parael seguimientode

este»(14).• «Propiciaa la reflexión de la enseñanza»(20).• ~<Útily necesario,quizáspoco pragmático»(21).• ~<Eliminar artículosdemasiadosprofundose incluir otros dedicadosa la comu-

¡ nicacióncon los alumnos»(29).

1 98 CristinaMayorRuiz

primer contactocon estenuevo mundoes másimportanteabrirpuertasy luego,másadelante,individual o colectivamentepoderindagary profundizar».«La dis-ponibilidaddetiempohapermitidoúnicamentequese expongancuatroideasy,lo másimportantees quesecreeunainquietud».Los profesoresmanifiestanqueJas,sesioneshanresultadomuy densasparaserun contenidontíevo,difícil de asi-milar Los profesoresse manifiestanconformesy dispuestosa un asesoramientomásindividualizado,ya quereconocenunafalta dc feedback;no obstante,sóloalgunosaccedierona sergrabadosparamejorarsuscompetenciasdocentesmásdeficitarias.

Sobre Institucionalizacióndel Programa:Se resaltala importanciadeque estasactividadestenganun respaldodel departamento,e incluso esténínmersasen las estructurasformativasdel misíno; es por lo queseproponequeen los cursos de Doctorado se atiendatambiéna la formación didáctica. Seresaltatambiénla importanciade proponerun seminarioen el senode los Depar-tamentoso en las institucionescorrespondientesobre«El ProyectoDocente»,recomendandola publicaciónde algún ínaterialreferentea ello.

Sobreel PlanteamientoOrganizativo:

1. El númerode profesoresque han participadoen cada sesión pareceadecuado,yaquequincesujetospermitenunasrelacionesfluidas.

2. En cuantoa la estructuradel seminariose proponentresetapasparaeldesarrollo:

— Unaprimeracentradaen sesionesgrupalesen la queexponganplan-teamientosparallevara la prácticay proponganmodelosdeprofesoreficaz.una intermedia,de sesionesno presencialesdondeel profesorapo-yadopor un asesorexperimentaen el aulalas estrategiasmás ade-cuadasconposiblesgrabaciones,y escalasde observación.

— por último, un grupo de sesionesde evaluacióndonde se criticanconstructivamentelas distintasactuaciones,tanto por los compañe-ros como por los expertos,de maneraque se posibiliten modifica-cionesen las competenciasdocentesmásdeficitarias.

3. La variedadde monitoresespositivo,aúncuandoes necesariola cone-xión entreellos y planteamientosconjuntos

4. La dedicaciónde dos horaspor temáticaes adecuadaparaciertoscon-tenidos,sin embargo,sehaceexcesivoo escasoparaotros. La distribu-ción no debieraseruniformesino másadecuadaa las respuestasde losparticipantes.

5. La presenciade sesionespor gruposde especialidaddisciplinar secon-sideranenriquecedoras,puestoquedescubrennuevasperspectivas.

La evaluaciónde un programadeformacion.-. 199

Sobre ActuacionesFuturas: Algunos sujetosmanifiestanla necesidaddequeestasactividadestenganun seguimientoposterior,dondeseprofundiceen lostemastratados.Paraalgunosprofesoressedainteresanteproponerun cursodeespecialización,continuaciónde éste,y máspráctico,teniendoen cuentaqueyaseposeeunaprimeraformaciónteórica.

Sobre la Evaluacióndel profesor: Los profesoresmanifiestanque losresultadosdel programaformativo no se traduenen la prácticainmediata,sinoqueesnecesarioel transcursode mástiempo paraque losefectosseandetecta-bIes.

Bibliografía

ANTÚNEz, 5. y otros (1987). LAvaluacióde Plansde Formaciópermanetdelprofessorat,lnstitut deCiénciesde l’Educació.UniversidadAutónomade Barcelona.

CELORRIO, R. (1993). «Propuestadeun modelo deevaluaciónde centrosy programas»,Revistade Cienciasde Educación,153, 121-133.

CooK, T. D. and REICHARDT, Ch. 5. (1986). Métodoscualitativos y cuantitativoseninvestigaciónevaluativa.Madrid: Morata.

DACJLEY, D. L. andORSON, J. K. (1991). ~<lntegratingsummative,formativemodesofevaluation»,NASSPBulletin, 75 (536), 72-82.

CUBA, F.C.and LINCOLN, Y. 5. (1981). Ejjéctiveevaluation,SanFrancisco..Jossey-Bass.LAWRENz, F. and McCRExrH, H. (1988). «lntegratingquantitativeandqualitativeeva-

luation methodsto comparetwo teacherinservice training programs»,Jaurnal<-4Researcbin ScienceTecahing,25 (5), 397-407.

MARCELO, C. (1989).Introduccióna la formacióndelprofesorado,Servicio de publica-cionesde la Universidadde Sevilla.

— (1991).El perfil del projésoruniversitarioy sujbrrnacióninicial. Ponenciapresen-tadaal III JornadasNacionalesde Didácticauniversitaria«Evaluacióny desarrolloprofesional».Las Palmasde OranCanaria.

MAYOR, C. (1992). La formacióndel profesorprincipiante de universidad,Trabajo deinvestigación,CID, Universidadde Sevilla.

MINGORANCE, P.; MAYOR, C. y MARCELO,C, (1993).Aprendera enseñaren la Univer-sidad: Un estudiosobrelos profesoresprincipiantesde la UniversidaddeSevilla.Sevilla: OID.

PInMAN, R. B. and SLATE, J. R. (1989).«Faculty evaluation:Someconceptualconside-rations»,Jaurnalofpersonnelevaluationin education,3, 39-Sl.

SÁcscí fEz MORENO,M. R. (>993). La supervisióncílitica o-nnoestrategiadeformacióndeprofesoresmentoresyprincipiantes,Tesisdoctoralinédita.

SCHAFFER, E. y otros (1992).«An innovativebeginningteacherrinduction program:atwo-yearabalysisof classroominteraction»,Jorunal of TeacherEducation, 43(3),18 1-192.

SIECEL, D. F.; HANSON, R. A. (1994).A LongitudinalEvaluarionModelforTeacherEdu-catwnErograms. Paperpresentedat the Annual Meetingof the AmericanAssocía-tion of Collegesfor TeacherEducation,Chicago.


SLIMMER, V. (1983).«Evaluatingprogramsin highereducation:A conceptualprocess»,AssessmentandEvaluation in IzIigher Education, 8 (1), 52-65.

TEICHLER, V. (1992). ~<Occupationalstructuresaud highereducation».In B. R. Clark andG. Neave(eds), TheEneyclopediaof1-IigherEducation, PergamonPress,Oxford,vol. 2, see.1, pp. 975-992.

VILLAR, L. lvi. y MARCELO, C. (1992). «Evaluacióndeplanesdeformaciónparael cam-bio». En J. M. Escuderoy J. LópesYañez (coord.),Los desafiasde las reformaseM-alares: Cambioeducativoy formaciónpara el cambio.Sevilla: ArquetipoEdi-cíones.

VILLAR, L. M. (1994). «Naturalezay fuentesparacaptarla evidenciade la evaluacióneducativa».En L. M. Villar (coord.),Manualdeentrenamiento:Evaluacióndepro-cesasyactividadeseducativas.Barcelona:PPU.

WowrtwN, E. R. tu-id SÁNnERS,.1. R. (1987).EducationalEvaluation:Ahernativeappro-achesandpractk-alGuidelines,Longman,N. Y.

WORTHEN, B. R. (¡992). «Evaluaciónde programas».En T. 1-luseny T. N. Postlethwai-te EnciclopediaInternacionalde la Educación.Vicens-Vives,Barcelona:MinisteriodeEducación,vol. 5, Pp. 2523-2530.

La evaluación de un programa de formación para … · que las bases teóricas sobre las que se...

Documents

Transcript of La evaluación de un programa de formación para … · que las bases teóricas sobre las que se...