Evaluación de programas de doctorado transnacionales: una experiencia en Chile

Clelia Valenzuela-Morales*

Resumen

La insuficiente capacidad para formar investigadores en Latinoamérica ha hecho surgir alternativas de formación transnacional que se desarrollan en contextos emergentes, como en el caso de Chile. En este trabajo se analiza el valor y mérito del Programa de Doctorado en Psicología y Educación Bienio 2007-2009, impartido por la Universidad del País Vasco/Euskal Herriko Unibertsitatea en el campus Temuco de la Universidad Arturo Prat de Chile. A través de un modelo de evaluación de programas sustentado en la visión respondente-constructivista de R. Stake, se presenta una experiencia de formación transnacional y se analiza la opinión de las audiencias implicadas. A partir de las confluencias, divergencias y complementariedades detectadas se levanta una propuesta de mejora para futuras versiones del Programa, relevando la importancia del involucramiento de la institución donde éste se desarrolla.

Palabras clave: programas de doctorado, cooperación internacional, evaluación de programas, modelo respondente-constructivista.

Avaliação de programas de doutorado transnacionais: uma experiência no Chile

Resumo

A insuficiente capacidade para formar pesquisadores na América Latina vem criando alternativas de formação transnacional desenvolvidas em contextos emergentes, como no caso do Chile. Neste trabalho analisa-se o valor e mérito do Programa de Doutorado em Psicologia e Educação, Biênio 2007-2009, ministrado pela Universidade do País Basco/Euskal Herriko Unibertsitatea no Campus Temuco da Universidade Arturo Prat do Chile. Através do modelo de avaliação de programas, sustentado na visão respondente-construtivista de R. Stake, apresenta-se uma experiência de formação transnacional e analisa-se a opinião das audiências implicadas. A partir das confluências, divergências e complementariedades detectadas, uma proposta de melhora é indicada para versões futuras do Programa, revelando a importância do envolvimento da instituição onde o programa for desenvolvido.

Palavras chave: programas de doutorado, cooperação internacional, avaliação de programas, modelo respondente construtivista.

Evaluation of transnational doctorate programs: an experience in Chile

Abstract

An insufficient capacity to train researchers in Latin America has led to the emergence of alternatives for transnational training developed in emerging contexts, as is the case of Chile. This work analyzes the value and merit of the 2007–2009 Biennial Doctorate Program in Psychology and Education given by the Universidad del País Vasco/Euskal Herriko Unibertsitatea in the Campus Temuco of the Universidad Arturo Prat in Chile. Through a model of evaluation of programs sustained on the respondent-constructivistvision of R. Stake, an experience of transnational training is shown, as well as an analysis of the opinion of audiences involved. From the convergences, discrepancies and complementarities that were detected, a proposal for improvement of future versions of the program was made, defining the importance of the involvement of the institution where it is developed.

Key words: doctoral programs, international cooperation, evaluation of programs, respondent-constructivist model.

Recepción: 4/10/12. Aprobación: 30/7/13.

Antecedentes de la formación doctoral en Latinoamérica

Las significativas diferencias entre la sociedad europea y la latinoamericana se evidencian también en la forma en que las universidades responden a los desafíos que plantean los nuevos escenarios en nivel mundial y la forma de abordar los problemas de formación de investigadores, determinadas finalmente por las condiciones del contexto sociocultural y económico en el que están insertas. Al respecto, la Organización para la Cooperación y el Desarrollo Económicos (OCDE) (1995) reconoció hace más de una década, cuatro problemáticas que aún persisten y que también se visualizaron en el programa evaluado: la pertinencia de la formación doctoral; la localización; el problema de la internacionalización, y la preocupación por mejorar la calidad del proceso de formación doctoral.

Arias (1997) explica que frente al problema de la pertinencia de la formación doctoral surgen dos interrogantes: centrarse en el desarrollo de las necesidades planteadas por la propia dinámica de la disciplina científica o centrarse en la satisfacción de necesidades del contexto económico y social. Asimismo, la exigencia de una función de desarrollo y especialización para otras profesiones, frente a un mercado de trabajo que no se diversifica para ofrecer un espacio a los investigadores. El problema de la localización cuestiona a la universidad como el lugar más idóneo para el desarrollo de la investigación, pues las características que históricamente le han dado este carácter, ya no están presentes en muchas universidades (investigación y docencia separadas, inexistencia de trabajo multidisciplinar, entre otras). El problema de la internacionalización plantea como una necesidad el desarrollo de programas de apoyo a la movilidad, que permitan el intercambio de investigadores. Finalmente, el problema de mejorar la calidad del proceso de formación doctoral se fundamenta en el reconocimiento de aquellas variables que afectan la calidad y provocan bajas tasas de éxito.

En Chile, el sistema de posgrado ha experimentado un avance importante; sin embargo, no cuenta con regulaciones específicas, lo que refleja la ausencia de una política respecto de este nivel de formación. Si bien la mayoría de estos programas cuenta con vinculaciones internacionales de carácter formal, el Consejo de Rectores de Chile (CRUCH), organismo que reúne a las 25 universidades estatales y privadas denominadas "tradicionales", señala que esta vinculación internacional no ha podido comprobar su efectividad en el nivel de estudiantes. En el nivel de profesores, la participación de invitados internacionales tampoco ha sido relevante (Munita y Reyes, 2012).

Ya en 2009, los programas doctorales dictados por universidades del CRUCH se habían incrementado en un 29% respecto de 2004. Un estudio reciente (Munita y Reyes, 2012) señala que las universidades del Consejo de Rectores, actualmente imparten el 52% de los programas doctorales existentes. De ellos, 10 son de reciente creación, 21 en etapa de consolidación y 42 en etapa de expansión. La mayoría de estos programas son dictados en la capital del país.

La cooperación internacional en la formación de doctores

Los desafíos de colaboración internacional existentes han llevado a las universidades a diseñar modalidades alternativas para impartir estudios de doctorado en aquellos países latinoamericanos donde la oferta es insuficiente. Los programas dictados por universidades extranjeras no han estado exentos de las dificultades identificadas por la OCDE (1995), principalmente porque este tipo de colaboración requiere una relación institucional que asegure una efectiva cooperación científica que no siempre ocurre. En este ámbito, Sebastián (2003) distingue entre los doctorados colaborativos y los doctorados conveniados o in situ. Los primeros se refieren a programas de universidades de un país en los que cooperan profesores o investigadores de otro(s) país(es), generalmente mediante convenios interinstitucionales, otorgando el título de doctor la universidad del país titular del programa. Es una modalidad bastante extendida y permite fortalecer las capacidades docentes y de investigación de la universidad que oferta el doctorado; el principal inconveniente es que pocas veces existe una formalización de esta alianza, lo cual no garantiza una cooperación científica a través de proyectos de investigación en común.

Los doctorados conveniados o in situ son programas de universidades extranjeras que se imparten en universidades de otro país con las que se suscribe un convenio, con mayor o menor grado de participación de éstas en el profesorado y la investigación; el título es concedido por la universidad extranjera. Esta modalidad transnacional, generalmente responde a la inexistencia de ofertas de formación nacionales.

El Programa de Doctorado en Psicología y Educación Bienio 2007-2009, objeto de esta investigación, se enmarca en un programa in situ, en una alianza de colaboración entre la Universidad del País Vasco/Euskal Herriko Unibertsitatea (UPV/EHU) y la Universidad Arturo Prat de Chile. Este programa se desarrolló en dos etapas: un periodo formativo presencial en cual los docentes –todos pertenecientes a la universidad extranjera– impartieron los cursos en Chile. Luego, cada estudiante debió realizar una investigación que le permitiría obtener el diplomado en Estudios Avanzados y con ello la "Suficiencia investigadora", si la comisión lo consideraba apto. Obtenida esta aprobación, comenzó la etapa de investigación en la que cada doctorando(a) iniciaría su proyecto de tesis doctoral, inscribiéndolo en la Universidad del País Vasco, bajo los términos, condiciones y plazos establecidos por dicha Universidad. Aprobado el proyecto, el trabajo de tesis fue guiado por un director que formó parte del Programa, concluyendo con la exposición y defensa pública en la universidad española, ante un tribunal constituido de acuerdo a la normativa que rige en el Espacio Europeo de Educación Superior (EEES) para estos procesos (Real Decreto Nº 56/2005). Posterior a ello, la universidad extranjera extiende el título de doctor. En la práctica, la universidad chilena sólo se ocupó de los aspectos administrativos y logísticos necesarios para el desarrollo de la primera etapa del Programa.

Sebastián (2003) explica que el análisis de las experiencias de estos doctorados in situ, permiten identificar algunos factores que, si se tienen en cuenta, pueden contribuir a mejorar su calidad y eficacia. Uno de ellos es que su diseño y desarrollo deberían ser la consecuencia de una sólida decisión entre las universidades conveniadas, con clara diferenciación entre aquellos convenios que obedecen a un esquema de cooperación y aquellos en los que el criterio para impartir el doctorado es una estrategia de ampliación de la oferta docente universitaria en mercados internacionales. Señala además que la selección de la universidad en la que se impartirá el programa debería considerar, entre otros aspectos, el compromiso y apoyo institucional; la existencia de una masa crítica suficiente; la existencia de una infraestructura y de medios que posibiliten las actividades de investigación, así como de los recursos financieros y un clima de investigación favorable para el desarrollo de las tesis y la formación de los investigadores (Sebastián, 2003).

Lo anterior, llevaría a admitir que las condiciones previas a la implementación del Programa evaluado ponían en riesgo la calidad y eficacia del mismo.

Calidad y evaluación de los programas de doctorado

En el último tiempo, la "calidad" se ha convertido en una exigencia del mercado. En el caso de la educación superior, el "aseguramiento de la calidad" engloba las políticas, actitudes, acciones y procedimientos necesarios para asegurar que se mantendrá y elevará la calidad de los programas e instituciones.

En Europa, la European Association for Quality Assurance in Higher Education (ENQA, 2005) organiza los criterios de garantía de calidad en tres ámbitos: la interna; la externa, y la de las agencias de garantía externa de calidad. En el caso particular de España, la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) es la que evalúa las instituciones y programas de la educación superior y, por ende, los programas de doctorado, concediendo la Mención de Calidad, "reconocimiento a la solvencia científico/técnica y formadora de los programas de doctorado, así como de los grupos y departamentos que desarrollan la formación doctoral" (Real Decreto Nº 56/2005. Art.6). Cabe señalar que el Real Decreto Nº 99/2011, actualmente en vigencia, modifica aspectos relevantes en la estructura y organización de los programas de doctorado y las competencias a adquirir por parte de los doctorandos, entre otros.

En Chile, la garantía de calidad se reconoce como Acreditación y es otorgada por la Comisión Nacional de Acreditación (CNA) a las instituciones y programas de pregrado y posgrado que cumplen con criterios de calidad previamente definidos. Actualmente, en el país existen 140 programas de doctorado acreditados y sólo dos pertenecen al ámbito de la Educación (CONAP, 2013). Este proceso de acreditación es administrado por la Comisión Nacional de Acreditación de Programas de Posgrado (CONAP), organismo que evalúa la calidad de los programas que voluntariamente se someten a tres procesos, que son independientes y a la vez complementarios: la evaluación externa, la evaluación interna y el juicio de acreditación. En Chile aún no existe una ley que regule la calidad de los posgrados, y las instituciones y programas acreditados pueden acceder a incentivos como becas y fondos concursables que les permiten mejorar los recursos humanos y materiales, entre otras iniciativas.

En relación con los procesos de evaluación de la calidad, actualmente todos coinciden en la incorporación de una "evaluación externa" que generalmente toma como punto de partida la autoevaluación, complementada con información derivada de la observación del programa por parte de evaluadores externos, con el propósito de detectar problemas y dificultades y proponer alternativas de acción. El segundo aspecto a considerar es la "acreditación", que permite establecer procedimientos para certificar públicamente los requerimientos mínimos de calidad que reúne un programa o una institución académica, así como brindarle asesoría académica para mejorar su calidad y ofrecer información a los usuarios potenciales de dichos programas o instituciones (Águila, 2005).

En el ámbito de la evaluación de la calidad, De Miguel y Apodaca (2009) sostienen que el "aseguramiento" y la "garantía de la calidad" permiten obtener información interna y externa acerca de la eficiencia en la utilización de los recursos, la eficacia en el cumplimiento de los objetivos y planes estratégicos propios de la institución y la confianza que generan sus servicios. El "aseguramiento" considera los sistemas y procedimientos establecidos para velar por que los procesos internos se desarrollen según la planificación prevista, detectando debilidades que puedan afectar la calidad de sus prestaciones. La "garantía de calidad" considera "aquellos procedimientos externos que permiten acreditar ante la sociedad que una determinada institución o servicio no sólo cumple los requisitos legales establecidos sino que ofrece prestaciones que generan confianza social" (De Miguel y Apodaca, 2009: 7). En este caso, la responsabilidad de la ejecución recae en organismos externos a la institución.

En un reciente trabajo de De Miguel (2010), referido a cuatro evaluaciones de programas doctorales realizadas entre 1997 y 2004, se afirma que la evaluación del diseño del programa se ha convertido en una "verificación de mínimos", que no cuestiona la calidad científica de los programas presentados. Respecto a la etapa de desarrollo, establece la distinción entre el periodo de formación y el de investigación. El primero permite comprobar en qué medida las enseñanzas impartidas han contribuido a desarrollar los conocimientos, habilidades y destrezas necesarias para realizar una investigación. En el periodo de investigación se pretende detectar las dificultades que encuentra el doctorando al realizar su trabajo como investigador y valorar a su vez la ayuda del tutor. Los principales problemas identificados en este periodo se relacionan con la etapa de investigación. En la etapa de resultados reconoce dos niveles de evaluación: uno que apunta hacia los productos del programa desarrollado, es decir, cuántos de los alumnos que se inscriben en un programa llegan a defender la tesis en los plazos establecidos. El segundo nivel de evaluación se refiere a la calidad del producto: las tesis doctorales. Ésta se realiza en tres momentos: la evaluación previa que autoriza su presentación; la evaluación que realiza el tribunal en el momento de la exposición y defensa pública, y la evaluación de las publicaciones y aplicaciones derivadas de ésta (De Miguel, 2010).

Los datos más significativos descritos por De Miguel (2010) apuntan hacia la "mortalidad" de estos programas. Aunque la mayoría de los alumnos finalizan los cursos y seminarios (en torno al 75%), sólo el 30% de los matriculados obtienen la suficiencia investigadora. Además, el número de tesis defendidas representa un bajo nivel de éxito (en torno al 10%). Otro aspecto por destacar es la evidente relación entre estudiantes becarios y las suficiencias obtenidas y tesis defendidas. El citado autor señala que aún no es posible establecer el impacto real que ha tenido en la formación superior avanzada en general, y en la empleabilidad de los egresados, la evaluación de la calidad de los programas cursados.

En relación con los resultados descritos por De Miguel (2010), el programa objeto de estudio no marca cifras más alentadoras; si bien el 90% de los estudiantes aprobó la etapa formativa (cursos obligatorios) y el 82% alcanzó la suficiencia investigadora, las tesis defendidas a la fecha no superan el 30%.

La evaluación de programas como actividad metodológica

Si consideramos que el propósito de cualquier evaluación supone estimar el valor del objeto evaluado, la evaluación como actividad metodológica es esencialmente la misma. Sin embargo, tanto la actividad metodológica como la función evaluativa se han transformado según los cambios o visiones de una realidad que evoluciona permanentemente. El modelo Respondente de Stake (1975) –referente metodológico del estudio que se presenta– rompe el esquema objetivista clásico al considerar que las mediciones por sí mismas no proporcionan una base para el mejoramiento de un programa. Para Stake (1975), el propósito de las evaluaciones es recoger información en función de los intereses y preocupaciones de los involucrados, tanto por participar en el desarrollo de las actividades educativas, como por beneficiarse de ellas, fomentando la comunicación y el debate sobre las situaciones reales que plantean. Esto permite comparar la distancia entre el propósito inicial, y cómo se ejecuta y concluye el programa (Arias, 1997). En la evaluación Respondente, el juicio sobre el éxito o fracaso de un programa se expresa a través de las perspectivas de los informantes. Por esta razón, el diseño adopta como criterio evaluativo las valoraciones de los implicados en él, intentando atender a sus propias necesidades y expectativas (Mateo, 2000). Este modelo holístico, demuestra que las intenciones originales de un programa pueden modificarse a partir de la comunicación entre el evaluador y la audiencia, permitiendo descubrir, investigar y contribuir en la solución de posibles dificultades.

De Miguel (2010) explica que si el objetivo principal se orienta hacia la evaluación del significado que el programa tiene para las audiencias utilizando estrategias principalmente de tipo cualitativo interpretativo, es deseable que el diseño sea flexible y se adapte a las dinámicas que se generan en el transcurso de la evaluación. En este caso, el modelo se abordó desde una complementariedad metodológica cuantitativa-cualitativa, analizando la opinión de las audiencias desde los antecedentes, es decir, las condiciones existentes al iniciar el proceso de formación doctoral; las transacciones, que corresponden a las interacciones y actividades que se desarrollaron en el escenario educativo y los resultados, aquello que se consigue por medio del programa. Para ello, Arias (1997) propone el análisis de la información desde cuatro aspectos complementarios: la contingencia lógica, es decir, la coherencia necesaria en la planificación; la congruencia, referida a la coherencia entre las intenciones y observaciones; la contingencia empírica (cuantitativa o cualitativa) que permite determinar las relaciones de causalidad entre antecedentes, transacciones y resultados reales a partir de las percepciones de los propios participantes del programa, y la comparación con normas o criterios de calidad absolutas (especificaciones ideales establecidas por grupos de referencia adecuados) o relativas (características de programas similares considerados satisfactorios). Es un proceso que recoge el impacto del programa en los participantes; los resultados evidentes y no evidentes, buscados y no buscados.

Metodología

El estudio se sustenta en la investigación evaluativa, con un enfoque que integra elementos de la investigación cuantitativa y cualitativa al servicio del propósito general planteado.

Los participantes o audiencias implicadas cumplen con los criterios de representatividad, idoneidad y accesibilidad propuestos por León y Montero (2003). Respecto a los doctorandos, participaron quienes realizaron los cursos del programa y que podían encontrarse realizando o no la tesis doctoral. Eran profesionales/estudiantes, en su mayoría menores de 50 años, titulados en las áreas de Educación, Psicología, Ciencias Sociales e Ingeniería. De los profesores, se incluyó a quienes impartieron cursos, estén dirigiendo o no tesis doctorales en este Programa.

En el trabajo de campo se recogió información del 60% de los estudiantes, el 100% de los profesores/directores de tesis y del coordinador. Una caracterización básica de las audiencias implicadas se muestra en la tabla 1:

Tabla 1. Caracterización básica de las audiencias implicadas en el estudio

Fuente: Valenzuela (2011).

Para el levantamiento de la información se adaptaron a la realidad latinoamericana tres instrumentos diseñados por Arias (1997) para un estudio similar realizado en la Universidad de Oviedo, España. Los instrumentos corresponden a cuestionarios y entrevistas cuyos formatos permiten contrastar la consistencia de la información recogida intrasujetos e intersujetos.

El "Cuestionario para estudiantes" recogió tres dimensiones básicas del Programa: diseño-desarrollo-utilidad, permitiendo determinar la valoración que los estudiantes hacen del programa a través de una escala tipo Lickert en la que debían manifestar el grado de acuerdo o desacuerdo en un rango de 1 a 4. El cuestionario presentaba tres partes diferenciadas: a) escala de valoración del programa de doctorado, b) cuestiones abiertas para comentarios y/o sugerencias, que aluden al diseño-desarrollo-utilidad del programa, y c) datos del alumno. El "Cuestionario para profesores" atendió a las mismas dimensiones y estructura; en este caso, el punto c) recogía datos del docente y del curso impartido. El "Cuestionario para el coordinador" reunió información útil para el análisis, ya que las dimensiones consideraron temáticas sobre el diseño; estructura y organización; el alumnado; el profesorado; los recursos y la evaluación del Programa y de los estudiantes.

Las entrevistas realizadas a estudiantes y profesores permitieron contrastar, completar y sobre todo profundizar en la comprensión de las cuestiones clave aparecidas en los cuestionarios. En el caso de la "Entrevista a los estudiantes", en un tiempo promedio de 25 minutos, se indagó en la motivación por los estudios de doctorado; la valoración que hacen de los contenidos, la oferta y la organización del Programa; la valoración de los profesores; la situación en que se encontraban respecto a la tesis doctoral; el apoyo brindado por los directores de tesis, y las principales dificultades presentadas en las distintas etapas de este proceso. La "Entrevista a los directores de tesis", realizada vía correo electrónico, tuvo como propósito conocer la opinión sobre características propias del Programa; contenidos; organización; oferta y selección de alumnos y, a su vez, las principales dificultades observadas en la dirección de los trabajos, tanto en su rol de director, como en la forma en que abordan este proceso los estudiantes. Ambas entrevistas proporcionaron información relevante en el análisis y discusión de los resultados y propuestas de mejora del programa evaluado.

El procesamiento de la información se realizó a través del análisis cuantitativo y cualitativo. En el primero se trabajó con estadísticos descriptivos básicos: la media aritmética como coeficiente de tendencia central para los datos de los estudiantes y la mediana en el caso de los profesores (n=7), por ser más adecuada a este tipo de datos. El análisis cualitativo atendió a las recomendaciones de Stake (2007) para investigaciones con estudios de casos, sin desatender del análisis de contingencia y de congruencia propios del modelo Respondente. En general, los datos recogidos en las entrevistas presentan una complejidad más bien descriptiva, lo que permite realizar un análisis tanto cuantitativo como cualitativo, más pragmático que semántico por tratarse de entrevistas estructuradas (Amezcua y Gálvez, 2002). Las respuestas a las preguntas abiertas del Cuestionario se categorizaron por dimensiones a través de la síntesis sucesiva del contenido de las respuestas, hasta alcanzar una síntesis global por dimensión, tomando como referencia las unidades textuales que aludían a cada categoría.

Resultados

Resultados cuantitativos

Los resultados de los cuestionarios aplicados a las audiencias demuestran que el nivel de satisfacción es alto en las tres dimensiones evaluadas: diseño, recursos y valoración; lo mismo en la valoración global del Programa. Una síntesis de estos análisis revela que los aspectos más satisfactorios para los estudiantes fueron los recogidos en las subdimensiones de "recursos-profesorado" y "recursos-desarrollo". En la tabla 2 es posible constatar que las subdimensiones con menor nivel de satisfacción pertenecen a “recursos-materiales” (instalaciones y medios disponibles) y "recursos-evaluación".

Tabla 2. Resultados cuantitativos del cuestionario aplicado a los estudiantes

Fuente: Valenzuela (2011).

 

Se pudo apreciar que las dimensiones centradas en el profesorado muestran una satisfacción muy alta; sin embargo, la "evaluación global de los conocimientos adquiridos" tuvo un nivel de satisfacción más bajo. Aun cuando es una tarea que corresponde al profesorado, evidenció diferencias notables en los procedimientos utilizados por los docentes que impartieron los cursos.

Se analizaron además las tendencias de opinión según características personales de los estudiantes (sexo, edad); sin embargo, el reducido número de informantes (n= 18) no siempre permitió encontrar diferencias estadísticamente significativas.

Respecto al sexo, ninguna de las dimensiones dio lugar a diferencias entre mujeres y hombres. Para asociar la edad de los estudiantes se trabajó con las medias, la varianza y el coeficiente "Eta". Tomados conjuntamente, se observó que en las dimensiones "valoración/utilidad", "profesorado" y "diseño", los estudiantes más jóvenes se manifestaron menos satisfechos, en cambio los de edad intermedia (40 a 50 años) fueron quienes más lo valoraron; lo mismo ocurrió con el ítem Satisfacción global con los cursos. En general, los estudiantes de menos edad fueron más exigentes con la mayoría de los aspectos del Programa. La manifestación menos crítica de los mayores (40 a 50 años) puede atribuirse a que, por razones familiares o laborales, tienen menos posibilidades reales de acceder a un programa de doctorado en regiones, dejando en segundo plano las dificultades observadas.

En relación con la ocupación laboral y el nivel de avance en la tesis doctoral, el pequeño número de casos constituyó una limitación importante al momento del análisis debido al escaso valor informativo.

El análisis cuantitativo de la información proporcionada por los profesores reveló que los ítems de la dimensión "diseño" y la subdimensión "recursos/alumnado" tuvieron la valoración más positiva, seguida de "valoración/utilidad". Así lo demuestra la gráfica 1:

Gráfica 1. Satisfacción de los profesores. Medianas por dimensión y subdimensión

En la gráfica es posible observar que en la mayoría de las dimensiones y subdimensiones la valoración asignada es media y media-alta. Los ítems más coincidentes y con mayor nivel de satisfacción se refieren a que "los cursos propuestos cubren los distintos aspectos de la temática del Programa" y "globalmente, se trata de un buen Programa de doctorado". Lo que refleja menor satisfacción y mayor divergencia de opiniones es la información previa respecto a la programación del curso y al nivel de preparación científica del alumnado. Claramente, ésta fue una dificultad que tuvieron que enfrentar los profesores, principalmente quienes impartieron los cursos que abordaban aspectos metodológicos de la investigación y del análisis cualitativo de datos.

El ítem referido a las dotaciones y recursos materiales para desarrollar el Programa fue el que recogió mayor disparidad de opiniones, siendo el elemento que impactó más negativamente en el desarrollo del Programa.

El análisis comparativo de la valoración realizada por estudiantes y profesores permitió comprobar la opinión favorable de ambos respecto a la competencia y preparación del profesorado y la utilidad de los contenidos para ampliar los conocimientos científicos y para el trabajo profesional de los estudiantes. Algo similar ocurre con el interés y participación activa demostrados por ellos. Existe además una coincidencia plena en el momento de identificar algunas cuestiones insatisfactorias, como la existencia de dotaciones suficientes para desarrollar el Programa y la aplicación de criterios de evaluación homogéneos en todos los cursos. Esta última, con una dispersión importante de opiniones en el caso de los estudiantes y algo menor en los profesores. También fueron relativamente coincidentes las opiniones referidas a la valoración global del programa. Las opiniones menos coincidentes se centraron en la coordinación entre los profesores y los medios y recursos con que contaron los alumnos para realizar sus trabajos e investigaciones. Esto, probablemente porque los profesores no conocieron la escasez de recursos en este campus. Otro aspecto menos coincidente entre estudiantes y profesores fue el nivel de preparación previa del alumnado para seguir el Programa. Mientras los estudiantes consideran que es media-alta, los docentes la calificaron como media-baja, lo que se evidenció en la superficialidad con que debieron abordar algunos contenidos, transformándose esto en motivo de insatisfacción para los estudiantes que esperaban mayor complejidad en ciertas temáticas.

Resultados cualitativos

El análisis cualitativo de la información complementó de manera relevante la evaluación de este programa. En términos generales, la información que los estudiantes entregaron en las respuestas abiertas de los cuestionarios fueron positivas en lo referido a los objetivos y contenidos; lo mismo respecto a la coherencia con sus necesidades. Respecto a "realización/metodología" hubo un mayor número de comentarios negativos, en su mayoría asociados a las expectativas personales respecto del programa cursado. Los comentarios negativos identificaron, entre otras debilidades, el formato intensivo del curso, la insuficiencia de horas presenciales y la dificultad para extender las interacciones con el profesor. Esto demuestra que algunos estudiantes no estaban suficientemente informados respecto al formato del Programa, siendo ésta una debilidad de la universidad chilena que ofertó el posgrado a sus docentes. También reconocieron como debilidad, las clases poco participativas y el escaso apoyo bibliográfico.

En relación con la "utilidad" del Programa, la mayoría de los comentarios fueron positivos. Se destacó su valor instrumental para obtener la suficiencia investigadora o emprender la tesis, aumentar conocimientos en temáticas actuales, formar investigadores para los contextos en que trabajan y aumentar las posibilidades laborales. Hubo comentarios negativos en relación con la profundidad de los contenidos y la necesidad de ahondar en "herramientas de investigación".

En general, las opiniones valoran favorablemente la oportunidad que ha representado el Programa, su utilidad, pertinencia y coherencia. Además de considerarlo realista con las necesidades de los estudiantes, se reconoce favorablemente la formación investigadora recibida de parte de académicos extranjeros, aun cuando algunos esperaban que los temas metodológicos hubieran tenido mayor peso. Surgió también la necesidad de disponer de más tiempo presencial de los profesores para interactuar con ellos, lo que resulta inviable cuando los docentes viajan con el tiempo acotado para impartir los cursos. El formato intensivo de los cursos favoreció a quienes debían compatibilizarlo con sus obligaciones laborales.

Respecto a los motivos para incorporarse al Programa, apuntaron principalmente al desarrollo en el ámbito de la investigación, reconociendo que el grado académico les permite dedicarse a la investigación o al menos acceder a tareas vinculadas a ella en los espacios de trabajo (universidades). Quienes decidieron matricularse para la "obtención de un grado académico" lo consideran un logro después de años de ejercer la docencia. Quienes buscaban especialización, señalaron que su motivación era el perfeccionamiento y aprendizaje continuo. Otros esperaban que el doctorado les entregase herramientas para mantener su trabajo universitario, el acceso a mejores posibilidades laborales y mayores ingresos económicos. Evidentemente, estas aspiraciones no han sido del todo satisfechas por la mayoría de las audiencias que participaron en la evaluación del Programa.

En relación con el Programa y organización, la opinión fue favorable respecto a los contenidos. Los más críticos hicieron una valoración regular respecto a la profundización, principalmente en elementos de análisis de datos, lo que hace presumir que la duración de cada curso es un elemento que impactó en la valoración de los contenidos del programa. Consideran que fue una buena oferta; que dio respuesta a los requerimientos del momento; que es difícil hacer este tipo de doctorados en universidades chilenas. Respecto a la "organización", la mayoría de los estudiantes la asoció a la responsabilidad que le cabe a la universidad chilena en esta alianza, considerándola insuficiente. En relación con la Universidad del País Vasco, manifestaron que se observó bastante organización.

Respecto al profesorado, todos los estudiantes entrevistados destacaron la actitud positiva permanente y el manifiesto interés por lo que hacían. En cuanto a la organización dada a los contenidos hubo diversas opiniones, pero se cumplió lo que cada módulo proponía. En relación con los sistemas de enseñanza, para la mayoría de los estudiantes fueron pertinentes; reconocieron que algunos profesores fueron más dinámicos y dieron espacio a la participación.

La situación de la tesis doctoral fue un elemento importante para los estudiantes en el momento de la entrevista, ya que en este periodo la UPV/EHU ofrecía una nueva oportunidad de inscripción de tesis para el Programa en Latinoamérica, lo que animó a muchos a repensar sobre esta etapa pendiente. Un año después de rendir la suficiencia investigadora (2010), sólo uno de los doctorandos se encontraba próximo a la defensa ante el Tribunal; cuatro estaban trabajando en la tesis y ocho de los entrevistados no tenían el tema/problema de investigación definido aún. Quienes estaban próximos a inscribir su tesis, valoraron la motivación recibida por parte de los profesores del Programa para continuar en ella.

Hoy, a cinco años de impartida la etapa de formación doctoral, sólo siete personas están en posesión del grado de doctor. Si bien la Universidad del País Vasco otorga ayuda económica a los doctorandos latinoamericanos para viajar a España durante el desarrollo de la tesis y la lectura final, la realidad de este programa transnacional no es tan distinta al panorama presentado por De Miguel (2010) en otros programas de doctorado impartidos en España.

Al consultar a los estudiantes sobre la etapa en la que han encontrado mayores problemas para elaborar su tesis, manifestaron que en cada etapa hubo tareas complejas, desde la definición del tema, hasta el trabajo de campo y el análisis metodológico.

Finalmente, para definir la relación de los estudiantes con su director de tesis, se utilizaron los conceptos: "excelente/buena", "regular", "sin contacto". Algunos de los comentarios asociados al primero de ellos valoran muy favorablemente al docente como persona y consideran que es un motivador importante para continuar con el desafío de la tesis. Otros destacaron la constante preocupación y retroalimentación recibida. Quienes consideraron "regular" la relación con su director no hicieron comentarios al respecto. Dos personas dijeron estar "sin contacto" con su director y siete no dieron su opinión. En un programa transnacional como éste, la comunicación de cada estudiante con su director resulta determinante para concluir con el trabajo doctoral, ya que la posibilidad de contacto está dada por la frecuencia con que el estudiante, que presenta avances vía correo electrónico, es retroalimentado por su director.

El análisis conjunto de los resultados cualitativos de los estudiantes permitió rescatar coincidencias y complementariedades que enriquecieron la evaluación del Programa. Las principales coincidencias estuvieron en el diseño/organización, donde se valoró favorablemente la pertinencia y se reiteró la insuficiente profundización dada a los cursos. Hubo una opinión generalizada respecto al impacto del número de horas presenciales en los sistemas de enseñanza que los profesores utilizaron. Otro elemento presente en más de una ocasión, fue la incorporación insuficiente del análisis de datos y, en general, de herramientas de metodología de investigación en los cursos. Este análisis conjunto permite explicitar que una parte de los estudiantes no ha satisfecho sus expectativas, por ser inadecuadas o por otras razones. En términos globales, la gran mayoría se manifestó satisfecha con el Programa e hizo comentarios favorables al respecto.

La información cualitativa proporcionada por los profesores permitió reconocer que desde el punto de vista de los objetivos, el Programa buscó ser pertinente a las necesidades de los estudiantes. Respecto a la "realización/metodología" manifiestan que, si bien las condiciones organizativas del campus Temuco permitieron realizar las clases sin mayores contratiempos, el grupo era muy numeroso para este tipo de formación, lo que hace presumir que el cupo máximo de estudiantes no estaba previamente determinado. Se alude además a la heterogeneidad de los estudiantes, tanto en intereses como en la preparación previa. En relación con la "utilidad del Programa", los profesores reconocieron que fue una oportunidad de formación muy valiosa para este entorno.

Las opiniones referidas a la valoración del Programa de doctorado, recogidas a través de las entrevistas a los profesores/directores de tesis, indicaron que los contenidos fueron adecuados pero que estuvieron muy condicionados por la especialidad de los estudiantes que participaron en él (profesores de distintos niveles y disciplinas; psicólogos y un ingeniero). En cuanto a la organización, la mayoría consideró que estuvo bien; otros agregaron que es mejorable; que hubo algunas carencias, pero mucha voluntad para resolver los problemas. Refiriéndose a la Universidad Arturo Prat, otro profesor manifestó que "la implicación de la propia universidad potenciando a sus doctorandos se vuelve fundamental […]". Esta opinión reafirma la insatisfacción manifestada por los estudiantes y lo que ya Sebastián (2003) afirmara hace una década.

En relación con la oferta, para la mayoría de los directores fue adecuada. Un director consideró que se debería aumentar el número de créditos, o incorporar un curso previo que proporcione algunos elementos básicos de metodología de investigación, que permitan abordar estos contenidos con mayor profundidad. Respecto a la selección de alumnos, algunos manifestaron que es una fase que debe llevarse con mayor atención y con criterios pertinentes, evitando el acceso de titulaciones poco relacionadas con el área del doctorado a cursar.

Respecto a la relevancia de los cursos en la elaboración de la tesis doctoral, todos los directores coincidieron en que los cursos son fundamentales para dicho proceso; que amplían las temáticas de investigación e inician a los estudiantes en la competencia investigadora y que sin los cursos los alumnos no podrían encontrar los temas de investigación. Las principales sugerencias para mejorar el Programa estuvieron orientadas hacia la organización y desarrollo de los cursos; la selección de los estudiantes y la responsabilidad que le compete a la universidad chilena.

En relación con la tesis doctoral, los problemas más frecuentes observados por los directores radicaron en la falta de competencias de investigación por parte de los doctorandos, lo que dificulta todas las etapas de elaboración de la tesis. A los problemas derivados del escaso manejo de herramientas de análisis de datos, se sumó la falta de entrenamiento en la elaboración de un discurso científico, estructurado y suficientemente riguroso. Dos directores reconocieron que es una dificultad para el doctorando la escasa posibilidad de una tutoría presencial.

Se reconoció además como problema, la "falta de entendimiento entre director y doctorando", atribuible a carencias en la formación básica para el trabajo investigativo o a interferencias en la propia comunicación. Otros directores reconocieron la ausencia de una metodología de trabajo eficaz, lo que afectaría a todo el proceso de investigación. Asimismo, admiten que el exceso de trabajo profesional y la insuficiente dedicación al trabajo de tesis constituyeron una dificultad importante. En la etapa final, la mayoría coincidió en que los problemas se producen en la interpretación y discusión de los resultados y en las conclusiones. Además, hubo una recomendación concluyente de los directores y se refiere a la importancia que tiene para el logro de las metas propuestas, ingresar a un doctorado proyectándose hacia la tesis doctoral y la investigación.

El análisis conjunto de la opinión de los profesores/directores de tesis permitió apreciar una valoración positiva hacia el Programa; la pertinencia de los objetivos y contenidos propuestos; la oportunidad que significó incorporarse a un programa de doctorado bajo esta modalidad, y la posibilidad de contar con un grupo de profesores competentes para guiar la tesis doctoral. Las mayores debilidades observadas por los profesores aluden a la organización y diseño del Programa, la selección de los alumnos y a la elaboración de la tesis doctoral.

En general, las principales confluencias surgidas del análisis conjunto se presentaron en la organización, utilidad y valoración global del Programa. Las divergencias se encuentran en los matices relativos a la evaluación realizada a los objetivos y contenidos, siendo muy divergente en términos cualitativos. Otro aspecto relativamente divergente entre las audiencias es el referido al desarrollo de los cursos; cuestionado por algunos estudiantes, pero de alta satisfacción para los docentes. La valoración más divergente estuvo en el nivel previo de conocimientos científicos de los estudiantes: mientras ellos consideran que es medio-alto, los docentes/directores de tesis lo evalúan como medio-bajo, argumentando que se debe evitar el acceso de titulaciones poco relacionadas con el doctorado y evitar estudiantes sin capacidad real de desarrollar una tesis.

En relación con la organización del Programa, estudiantes y profesores/directores de tesis reconocieron como una debilidad importante la organización estratégica de las instituciones involucradas en este programa transnacional.

La complementariedad más relevante entre las audiencias fue la opinión sobre la calidad, disposición y preocupación de los profesores que impartieron las clases.

Conclusiones y propuestas de mejora

Esta evaluación de programas recoge del modelo Respondente las "intenciones" (objetivos y diseño/planificación) y lo que en realidad ha ocurrido con el Programa, es decir, las "observaciones". Por esta razón, las conclusiones se presentan desde un ámbito descriptivo que responde en forma directa a los objetivos planteados y otro de contrastación y juicio, que permitió precisar las cuestiones-clave que surgen de las confluencias, divergencias y complementariedades de lo expresado por las audiencias, dando lugar a la propuesta de algunas estrategias tendientes a mejorar futuras versiones de éste u otro programa de posgrado transnacional.

Del análisis de la valoración que efectúan los estudiantes acerca del Programa doctoral cursado y las diferencias en función de sus características personales y/o académicas, se concluyó que éstas no inciden en la valoración realizada; con excepción de la edad, siendo los más jóvenes los menos satisfechos con el Programa. Como se señalara antes, esto puede atribuirse a que, en general, en Chile las personas mayores de 40 años tienen menos oportunidades reales de ingresar o retomar estudios de este tipo, por lo que su valoración es menos crítica que la de sus pares de menos edad.

En el caso de los profesores, la valoración efectuada al Programa no se aprecia mayormente afectada por sus características personales y/o académicas, con excepción de una valoración global algo más baja, por parte de quienes no pertenecen al departamento responsable del Programa.

Las confluencias, divergencias y complementariedades surgidas de la valoración realizada por las audiencias, permiten concluir que no es posible asegurar la efectiva implementación de un programa de cooperación internacional, si no se delimitan previamente las responsabilidades que le competen a cada una de las instituciones involucradas. En este caso, el incumplimiento de los compromisos que la universidad chilena contrajo al ofertar este posgrado a sus académicos, resultó determinante en la conclusión de los estudios para algunos estudiantes.

Cabe señalar que, el hecho de ser parte de las audiencias implicadas constituyó una fortaleza importante en el momento de contextualizar la información y sobre todo para enriquecer la interpretación de los significados.

Las seis cuestiones-clave emanadas de la "descripción" del objeto evaluado (Stake, 1975), que requieren de una intervención para la mejora en futuras versiones transnacionales son:

a) Criterios de selección y/o admisión al Programa: al respecto, surgen tres recomendaciones relevantes en beneficio de la eficacia del Programa evaluado u otro programa dictado en un contexto emergente:

• Definición de las áreas de titulación profesional compatibles con la línea del Programa de doctorado.

• Evaluación de competencias elementales para la investigación, que permita a los seleccionados asumir eventuales debilidades durante el periodo formativo y de investigación.

• Incorporación de una entrevista previa a cada postulante. Esto generaría expectativas más reales en los interesados y aportaría información importante a quienes desarrollarán el Programa.

b) Duración y profundización de los cursos: atendiendo a las características propias de los contextos emergentes, como es el caso de Chile, es recomendable incorporar horas complementarias de retroalimentación o consulta, permitiendo a quienes lo requieran, asistir y aclarar dudas.

c) Definición de criterios y procedimientos de evaluación a los estudiantes: se propone consensuar el o los procedimientos con los que se evaluará cada curso, empleando criterios previamente conocidos por los estudiantes. La inclusión de una evaluación global de los conocimientos adquiridos al finalizar el periodo formativo, sin ser un paso imprescindible, contribuiría a que los trabajos de suficiencia investigadora sean indicadores más reales del éxito potencial del Programa.

d) Situación de la tesis doctoral: una estrategia que favorecería el éxito real del Programa evaluado, u otro transnacional, es planificar dos encuentros presenciales con los doctorandos en las etapas en las que el tutor y el tutorado consideren más provechosas para la consecución de la meta.

e) Condiciones de la alianza interinstitucional: ésta es una cuestión determinante en la valoración de la calidad de cualquier programa de cooperación internacional. La principal recomendación para la mejora de este programa u otro similar es acotar los términos en los que se establecen este tipo de convenios, evitando "vacíos" que den lugar a informalidades o trasgresiones que dañen la imagen de la Universidad del País Vasco y del Programa en cuestión. Esta recomendación es válida para cualquier programa transnacional. La experiencia vivida, revela que es importante que los estudiantes conozcan las condiciones implícitas en esta alianza, contribuyendo indirectamente en la regulación de los compromisos entre las partes.

f) Dotaciones para desarrollar el Programa: para mejorar esta debilidad se requiere verificar previamente las dotaciones existentes en el campus en el que se desarrollarán las clases. Esto puede resultar un trámite engorroso para la universidad extranjera; sin embargo, en el contexto chileno la verificación in situ es una práctica frecuente.

Si bien el proceso metodológico desarrollado en la evaluación de este Programa de doctorado transnacional cumplió con la sistematicidad y rigurosidad requerida, el número de estudiantes involucrados en la evaluación afectó a la estabilidad de los resultados. Esta limitación se resuelve si la revisión del programa se incorpora en el diseño del mismo. De este modo contaría con audiencias informadas que visualizan la evaluación como parte de la implementación del programa elegido y no como un acontecimiento aislado que puede responder a un interés individual, más que de mejora institucional. Así, las audiencias implicadas contribuirían a una autorregulación de la calidad, independiente de la evaluación externa de la garantía de calidad a la que deben estar dispuestos.

*Chilena. Doctora en Psicología y Educación, Universidad del País Vasco/Euskal Herriko Unibertsitatea, Bilbao, España, Universidad Arturo Prat, Chile. Asesora técnico pedagógica, Ministerio de Educación, Chile. Temas de investigación: investigación evaluativa, evaluación de los aprendizajes escolares. cleliavm@gmail.com Regresar

Referencias

Águila, V. (2005), “El concepto de calidad en la educación universitaria: clave para el logro de la competitividad institucional”, en Revista Iberoamericana de Educación, vol. 5, núm., 35, pp. 64-75, <http://www.rieoei.org/deloslectores/880Aguila.PDF> [consulta: mayo 2010].
Amezcua, M. y A. Gálvez Toro (2002), “Los modos de análisis en investigación cualitativa en salud: perspectiva crítica y reflexiones en voz alta”, en Revista Especializada de Salud Pública, vol. 5, núm., 76, pp. 423-436 <http://scielo.isciii.es/scielo.php?script=sci_arttext&pid=S1135-57272002000500005&lng=es&nrm=iso> [consulta: junio 2010].
Arias Blanco, J. M. (1997), “Evaluación de programas de tercer ciclo universitario”, Tesis de para optar al título de doctor en Educación, Departamento de Ciencias de la Educación, Universidad de Oviedo, España.
Comisión Nacional de Acreditación de Posgrado (CONAP) (2013), Recuperado de <http://www.cnachile.cl/acreditacion/ac_postgrad_doctor.htm > [consulta: agosto 2013].
De Miguel, M. (2010), “Evaluación y mejora de los estudios de doctorado”, en Revista de Educación, núm., 352, pp. 569-581, <http://www.revistaeducacion.educacion.es/re352/re352_25.pdf> [consulta: marzo 2011].
De Miguel, M. y P. Apodaca (2009), “Aseguramiento versus garantía de calidad en el sistema universitario español”, en Boletín de Psicología, núm., 97, pp. 35-54.
ENQA (2005), Criterios y directrices para la garantía de calidad en el Espacio Europeo de Educación Superior, Informe de ENQA [traducción ANECA], España, ANECA.
León, O. e I. Montero (2003), Métodos de investigación en psicología y educación, Madrid, Mc Graw Hill.
Mateo, J. (2000), La evaluación educativa, su práctica y otras metáforas, I.C.E., España, Universitat Barcelona/Horsori.
Munita, I. y J. Reyes (2012), El Sistema de Posgrado en Chile: evolución y proyecciones para las universidades del Consejo de Rectores, Santiago, Chile, CRUCH.
OCDE (1995), La formation a la recherche. Aujourd´hui et demain, París, OCDE.
Real Decreto (R.D.) (2005, enero 21), BOE Nº 2, España, Ministerio de Educación y Ciencia, p. 2848, <http://www.boe.es/buscar/doc.php?id=BOE-A-2005-1256> [consulta: marzo 2010].
Real Decreto (R.D.) (2011, febrero 10), BOE Nº 35, España, Ministerio de Educación y Ciencia, <http://www.boe.es/boe/dias/2011/02/10/pdfs/BOE-A-2011-2541.pdf> [consulta: marzo 2011].
Sebastián, J. (2003), Estrategias de cooperación universitaria para la formación de investigadores en Iberoamérica, Madrid,OEI.
Stake, R. (1975), “To evaluate an arts program”, en S. Kemmis y R. Stake (1988), Evaluating curriculum, Deakin University Press.
Stake, R. (2007), Investigación con estudio de casos [cuarta edición], Madrid, Morata.
Valenzuela, C. (2011), “Evaluación de programas de tercer ciclo desarrollados por la Universidad del País Vasco/Euskal Herriko Unibertsitatea (UPV/EHU) en Latinoamérica: el caso del campus Temuco Chile”, Tesis doctoral, Bilbao, UPV/EHU.

Cómo citar este artículo

Valenzuela-Morales, Clelia (2014), "Evaluación de programas de doctorado transnacionales: una experiencia en Chile", en Revista Iberoamericana de Educación Superior (RIES), México, UNAM-IISUE/Universia, vol. V, núm. 12, http://ries.universia.net/index.php/ries/article/view/275 [consulta: fecha de última consulta].