1. INTRODUCCIÓN
La importancia de trabajar en la construcción de indicadores que se encarguen de evaluar el desempeño docente universitario, son de suma relevancia en la actualidad y se encuentran, plasmados, dentro de los lineamientos en el Informe Final 2020: Repensando la UTN [2]. En la sección correspondiente a la Gestión Universitaria, en el mismo se sugiere la “definición de indicadores para medir avances en las tres funciones sustantivas”.
En América Latina, hasta la fecha se ha encontrado poca evidencia de la construcción de dichos indicadores, que en general se estructuran en cuestionarios, a través de un método de recolección de datos denominado escala de Likert; el cual arroja una variable categórica ordinal.
Los estudios que se han realizado prestan poca o nula importancia a aquellos que buscan verificar la validez y la fiabilidad desde el punto de vista estadístico matemático. Desde el punto de vista de Krippendorff [3] cuando nos referimos a validez nos estamos refiriendo al nivel de correspondencia entre las variables teóricas y las variables generadas a partir de ellas. Asimismo, según el mismo autor, la fiabilidad (intersubjetiva) se refiere a que otros investigadores puedan llegar a iguales resultados, con exactitud y certeza, sobre la misma base de datos
Sin embargo, encontramos antecedentes en la región trasandina a través de INFORME OCDE 2013 [4]; en el cual se realiza un revisión de las políticas educativas en Chile haciendo hincapié en la educación superior, indicando mecanismos de evaluación de la calidad educativo superior; a través de instrumentos como los CED (Cuestionarios de Evaluación de la Docencia).
En la misma línea, el estudio es abordado desde un punto de vista cuantitativo; con tres niveles: análisis factorial exploratorio, análisis factorial confirmatorio y de fiabilidad. Los dos primeros análisis nos ayudan a verificar la estructura interna del instrumento. Mientras que la fiabilidad, nos ayuda con la verificación de la consistencia interna. Sin embargo, es importante destacar que tanto los análisis de validez de constructo como el de fiabilidad, se hallan interrelacionados y, claramente, se condicionan entre sí.
Para la generación de la base de datos se construyo un cuestionario con 20 preguntas, ítems o reactivos; donde el concepto central es el desempeño docente universitario; ahora bien el mismo, es claramente una entidad subjetiva que no podemos medir directamente. Por ello se requiere, de la operacionalizacion del mismo, a través de diferentes manifestaciones. La Tabla 1 refleja las mismas.
Tabla 1 Descomposición del contenido e ítems
|
Concepto |
Ítems (Reactivos) |
|
Desempeño Docente Universitario |
Contenidos del curso |
|
El profesor explica de manera |
|
|
La bibliografía le resulto |
|
|
El profesor explica con claridad |
|
|
El orden en el que el profesor dicta la clase |
|
|
Es fácil tomar apuntes con el profesor |
|
|
El profesor mantiene un buen ritmo de exposición |
|
|
EL profesor ha preparado las clases |
|
|
El profesor demuestra un dominio de la materia |
|
|
El profesor demuestra interés por la materia |
|
|
Se relaciona la teoría con los problemas |
|
|
Sus explicaciones ayudan a entender la materia |
|
|
El profesor fomenta la participacion |
|
|
Me gustaría recibir otras clases con este profesor |
|
|
Las unidades aportan nuevos conocimientos |
|
|
El profesor resuelve dudas con exactitud |
|
|
Estoy satisfecho con la comprensión de los contenidos |
|
|
Los enunciados de los exámenes son claros |
|
|
La prueba se relaciona con el nivel explicado |
|
|
Estoy satisfecho con lo que he dedicado a la unidad |
Dicho cuestionario fue elaborado en base a cuestionarios estándar [5], preguntas extraídas de la página https://www.recursosep.com/2019/06/05/cuestionario-de-evaluacion-del-profesor-formato-editable-word/ y asimismo se realizaron preguntas durante las cursadas a los alumnos de las cátedras de economía y probabilidad y estadística como a docentes de esta alta casa de estudios.
2. MATERIALES Y METODOS
Del trabajo de campo, se obtuvo una muestra no probabilística (por conveniencia) de un total de n= 31 alumnos de la carrera de Ingeniera Industrial inscriptos en las materias de Probabilidad y Estadística y Economía General, de ambos sexos (52% varones y 48% mujeres). Todos ellos pertenecientes a la Universidad Tecnológica Nacional. Facultad Regional Santa Cruz, sede Rio Gallegos, durante el ciclo lectivo 2022.
El instrumento, propuesto, del desempeño docente universitario se compone de diferentes categorías (dimensiones) que abarcan desde: dominio disciplinario, la tarea propiamente desarrollada por el docente, las habilidades pedagógicas y la responsabilidad.
Dicho instrumento evalúa un total de 20 ítems, a través de una escala de Likert con un rango de respuesta que va de: 1-Poco Interesante, 2-Regular, 3-Bueno a 4-Muy interesante. Siguiendo a Kulas [6], se trabajo con 4 puntas para evitar la indefinición en la alternativa Indiferente; la cual se encuentra equidistante entre 1-Poco Interesante y 4- Muy Interesante.
El diseño de la investigación es cuantitativo, descriptivo y no experimental.
La configuración del instrumento, fue a través de un cuestionario estructurado, de carácter cerrado
Tabla 2 Instrumento de Evaluación del desempeño docente universitario
|
|
Items |
1-Poco Interesante |
2-Regular |
3-Bueno |
4-Muy Interesante |
|
1 |
Contenido del curso |
|
|
|
|
|
2 |
El profesor explica |
|
|
|
|
|
3 |
La bibliografía le resulto |
|
|
|
|
|
4 |
El profesor explica con claridad |
|
|
|
|
|
5 |
El orden del profesor facilita su seguimiento |
|
|
|
|
|
6 |
Es fácil tomar apuntes |
|
|
|
|
|
7 |
El profesor mantiene un ritmo de exposición |
|
|
|
|
|
8 |
El profesor ha preparado la clase |
|
|
|
|
|
9 |
El profesor demuestra buen dominio de la materia |
|
|
|
|
|
10 |
El profesor demuestra interés en la materia impartida |
|
|
|
|
|
11 |
Relaciona conceptos teóricos con ejercicios y problemas |
|
|
|
|
|
12 |
Sus explicaciones ayudan a comprender la materia |
|
|
|
|
|
13 |
El profesor fomenta la participación |
|
|
|
|
|
14 |
Me gustaría recibir clases con este profesor nuevamente |
|
|
|
|
|
15 |
Las unidades aportan nuevos conocimientos |
|
|
|
|
|
16 |
El profesor resuelve inquietudes con exactitud |
|
|
|
|
|
17 |
Estoy satisfecho con mi comprensión de los contenidos |
|
|
|
|
|
18 |
Los enunciados del examen son claros |
|
|
|
|
|
19 |
La prueba se corresponde con el nivel explicado |
|
|
|
|
|
20 |
Estoy satisfecho con el trabajo que le he dedicado a la unidad |
|
|
|
|
Por otra parte, la implementación de cuestionario se realizado a través de la plataforma de Moodle en el Campus Virtual Global de la UTN-Facultad Regional Santa Cruz. Una vez completada la misma y realizado los diversos controles, se procedió a la codificación del cuestionario y la confección de la base de datos, a través de un paquete estadístico. (IBM SPSS Statistics V22.0)
Ahora bien, en primer lugar, para comprobar, si existe la posibilidad de agrupar los ítems (o reactivos), en diferentes dimensiones (dominios) y de esta manera configurar una estructura dimensional para la variable de interés: desempeño docente universitario; hemos utilizado la técnica estadística matemática del análisis factorial exploratorio (AFE), conocido como “técnica de reducción de dimensiones”; la cual se realiza a partir del comportamiento de los coeficientes de correlación inter-ítems. Por lo tanto, para evidenciar si el modelo factorial es el adecuado; utilizaremos la prueba del determinante de la matriz de correlaciones, el test de esfericidad de Barlett y la medida de adecuación de Kaiser- Meyer-Olkin.
En segundo lugar; una vez realizado el análisis factorial exploratorio y evidenciado que es posible construir una estructura dimensional factorial para el desempeño docente universitario; realizamos el análisis factorial confirmatorio (AFC); el cual toma en cuenta las correlaciones intra grupo y realiza tantas simulaciones preliminares hasta encontrar la mejor posible; través de diferentes ensayos (rotaciones); el método de rotación denominado Varimax con normalización de Kaiser; para obtener una distribución de los ítem más heterogénea y agruparlos en los componentes (dimensiones) más afines. Asimismo, un análisis de cuantas dimensiones son posibles, se realizo a través del análisis de la varianza total explicada y el criterio de Káiser que indica que la cantidad de componentes esta en relación con aquellos que posean un autovalor mayor que la unidad.
Por último, una vez concluida la validez del constructo (AFE y AFC) realizamos el análisis de fiabilidad consiste en observar las correlaciones de cada uno de los ítems con la suma total de los mismos. La matriz de correlaciones ítems- suma total ítems, la analizaremos con el índice denominado Alpha de Cronbach. Los resultados encontrados se han procesado en el paquete estadístico IBM SPSS STATISTICS, VERSION 22.0.0.0 y servirán de insumo para los análisis estadísticos abordados.
3. RESULTADOS
Podemos resumir y clasificar los resultados en:
3.1. Validez factorial exploratoria (Verificar Estructura Interna)
3.1.1 Determinante de la Matriz de correlaciones
El determinante de la matriz de correlaciones, nos acerca a la idea de correlación generalizada entre todas las variables estudiadas. Si el determinante de la matriz es distinto de 1 entonces la matriz de correlaciones es distinta de la matriz identidad. En este caso como el Determinante = 4,655E-11; podemos decir que hay correlación entre los ítems estudiados
3.1.2 Medida Kaiser-Meyer-Olkin (KMO) y Prueba de esfericidad de Bartlett
La tabla 3 nos informa de la significatividad estadística del análisis factorial. La medida de KMO arroja un valor de 0,745 siendo mayor que > 0,6 el cual especifica un valor adecuado. Asimismo, en la Prueba de esfericidad de Bartlett; el valor del p value=0,000 está por debajo del nivel de significancia =0,05, entonces rechazamos la Ho: “los ítems no están correlacionados” y por tanto concluimos que los ítems de nuestra muestra están altamente correlacionados entre sí. Por lo tanto, con las pruebas realizadas podemos dejar constancia de que es posible agrupar a los ítems en diferentes dimensiones.
|
Tabla 3 Prueba de KMO y Bartlett
|
3.2. Validez factorial confirmatoria (Verificar Estructura Interna)
3.2.1 Varianza total explicada
La tabla 4 nos ayuda a identificar cuantas dimensiones podríamos configurar. Como se observa los tres primeros componente poseen todos varianzas (auto valores) mayores que 1. Entre los tres componentes (dimensiones) posibles, recogen el 71,88% de los ítems originales.
Asimismo, la Figura 1 que denominamos Grafico de Sedimentación, nos ayuda a visualizar, también, cuantos factores debemos retener. La mayoría de las gráficos de sedimentación muestran la ruptura o quiebre entre los factores mas importantes y el resto conocidos como sedimentos, coincidente con el criterio de káiser, el cual toma en cuenta todos los autovalores mayores que 1.
Tabla 4 Varianza Total Explicada
|
Componente |
Autovalores iniciales |
Sumas de extracción de cargas al cuadrado |
||||
|
Total |
% de varianza |
% acumulado |
Total |
% de varianza |
% acumulado |
|
|
1 |
11,612 |
58,058 |
58,058 |
11,612 |
58,058 |
58,058 |
|
2 |
1,506 |
7,530 |
65,589 |
1,506 |
7,530 |
65,589 |
|
3 |
1,258 |
6,291 |
71,880 |
1,258 |
6,291 |
71,880 |
|
4 |
0,876 |
4,380 |
76,260 |
|
|
|
|
5 |
0,794 |
3,968 |
80,227 |
|
|
|
|
6 |
0,686 |
3,428 |
83,656 |
|
|
|
|
7 |
0,637 |
3,184 |
86,840 |
|
|
|
|
8 |
0,540 |
2,701 |
89,541 |
|
|
|
|
9 |
0,434 |
2,172 |
91,713 |
|
|
|
|
10 |
0,310 |
1,551 |
93,264 |
|
|
|
|
11 |
0,279 |
1,393 |
94,656 |
|
|
|
|
12 |
0,228 |
1,140 |
95,796 |
|
|
|
|
13 |
0,207 |
1,034 |
96,830 |
|
|
|
|
14 |
0,169 |
0,846 |
97,676 |
|
|
|
|
15 |
0,144 |
0,722 |
98,399 |
|
|
|
|
16 |
0,123 |
0,613 |
99,011 |
|
|
|
|
17 |
0,087 |
0,433 |
99,445 |
|
|
|
|
18 |
0,059 |
0,294 |
99,739 |
|
|
|
|
19 |
0,040 |
0,202 |
99,941 |
|
|
|
|
20 |
0,012 |
0,059 |
100,000 |
|
|
|
|
Método de extracción: análisis de componentes principales. |
||||||
Figura 1: Gráfico de sedimentación
Por tanto, es posible agrupar los datos de la muestra en 3 dimensiones (componentes). En este caso en particular tenemos 3 componentes con autovalores mayores a la unidad. El componente 1 aporta un 58,05% de variabilidad, con un autovalor de 11,61. Mientras que el componente 2 recoge un 7,53% y por último el componente 3 arroja un 6,29% de variabilidad explicada. Confirmando, la configuración planteada en los diferentes estudios, como señala Medel (2014).
3.2.2 Método de Rotación: Varimax con Kaiser
La tabla 5 Matriz de componentes rotado, nos sugiere donde se encuentra la mejor solución factorial. En la muestra bajo estudio encontramos que la primera dimensión está constituida por 8 (ocho) elementos y los ítems son: 17, 19, 12, 20, 10, 9,11 y 3. Mientras que la segunda dimensión agrupa a los ítems: 15, 13, 8,16. 1 y 4. Por último, la tercera dimensión tiene como elementos, los ítems: 18, 6, 5,7, 2 y 14; quien al igual que la dimensión 2 están compuestas por 6 elementos. Asimismo, podemos agrupar la Dimensión 1 en el conocimiento disciplinario del docente, la dimensión 2 con las habilidades pedagógicas y la tercera con la responsabilidad del docente frente al curso.
Tabla 5 Matriz de componentes rotados: Varimax con Kaiser
|
Componente(Dimensiones) |
||
|
Dominio: Conocimiento Disciplinario |
Dominio: Habilidades Pedagógicas |
Dominio: Responsabilidad |
|
Estoy satisfecho/a con mi comprensión de los contenidos |
Las unidades me aportan nuevos conocimientos |
Los enunciados de los exámenes son claros |
|
La prueba se corresponde con el nivel explicado. |
El profesor fomenta la participación de los alumno |
Es fácil tomar apuntes con este profesor |
|
Sus explicaciones me han ayudado a entender mejor la materia explicada. |
El profesor demuestra, con sus explicaciones, que se ha preparado las clases |
El orden en que el profesor da la clase me facilita su seguimiento |
|
Estoy satisfecho/a con el trabajo que le he dedicado a la unidad |
El profesor resuelve nuestras dudas con exactitud |
El profesor mantiene un ritmo de exposición correcto |
|
El profesor demuestra interés por la materia que imparte |
Contenidos del Curso |
El Profesor explica de manera |
|
El profesor demuestra un buen dominio de la materia que explica |
El profesor explica con claridad |
Me gustaría recibir clase otra vez con este profesor |
|
El profesor relaciona los conceptos teóricos con ejemplos, ejercicios y problemas |
|
|
|
La Bibliografía le resulto |
|
|
3.3. Análisis de Fiabilidad (Verificar Consistencia Interna)
La Tabla 6 refleja el coeficiente Alfa de Cronbach, para escalas, el cual logro valores adecuados para el Ítem- Suma Total con rotación Varimax (α= 0,959). Asimismo, la Tabla 7 muestra los coeficientes Alfa de Cronbach, el cual alcanzó valores altos y homogéneos, también para la Dimensiones N° 1, 2 y 3; (α=0,885, α=0,871 y α=0,917).
Tabla 6 Item- Suma Total con rotación Varimax
|
Alfa de Cronbach |
N de elementos |
|
0,959 |
20 |
Tabla 7 Item –Dimensión con rotación Varimax
|
|
Dimensión N°1 |
Dimensión N°2 |
Dimensión N°3 |
|
Alfa de Cronbach |
0,885 |
0,871 |
0,917 |
Asimismo, en la tabla 8, observamos en la columna correlación total de elementos (ítems) corregida, el denominado índice de discriminación [7]. Dicho índice, mide el grado en el que un ítem sirve para distinguir entre los individuos que obtienen puntuaciones altas de aquellos que obtienen bajas. En nuestra muestra el mismo se comporta dentro del rango de 0,505 y 0,879; lo cual indica que son valores aceptables y que podríamos decir que hay homogeneidad entre los ítems que conforman la escala.
Tabla 8 Estadísticas de total de elemento
|
|
Media de escala si el elemento se ha suprimido |
Varianza de escala si el elemento se ha suprimido |
Correlación total de elementos corregida |
Alfa de Cronbach si el elemento se ha suprimido |
|
Estoy satisfecho/a con mi comprensión de los contenidos |
61,45 |
106,723 |
0,685 |
0,957 |
|
La prueba se corresponde con el nivel explicado. |
61,03 |
105,632 |
0,823 |
0,955 |
|
Sus explicaciones me han ayudado a entender mejor la materia explicada. |
60,90 |
104,024 |
0,815 |
0,955 |
|
Estoy satisfecho/a con el trabajo que le he dedicado a la unidad |
61,48 |
107,258 |
0,648 |
0,958 |
|
El profesor demuestra interés por la materia que imparte |
60,45 |
109,856 |
0,791 |
0,956 |
|
El profesor demuestra un buen dominio de la materia que explica |
60,39 |
111,845 |
0,741 |
0,957 |
|
El profesor relaciona los conceptos teóricos con ejemplos, ejercicios y problemas |
60,52 |
112,791 |
0,516 |
0,959 |
|
La Bibliografía le resulto |
61,06 |
109,129 |
0,574 |
0,959 |
|
Las unidades me aportan nuevos conocimientos |
60,71 |
111,746 |
0,551 |
0,958 |
|
El profesor fomenta la participación de los alumno |
60,68 |
109,226 |
0,684 |
0,957 |
|
El profesor demuestra, con sus explicaciones, que se ha preparado las clases |
60,68 |
105,692 |
0,827 |
0,955 |
|
El profesor resuelve nuestras dudas con exactitud |
60,77 |
106,047 |
0,774 |
0,956 |
|
Contenidos del Curso |
61,00 |
112,533 |
0,505 |
0,959 |
|
El profesor explica con claridad |
60,81 |
108,961 |
0,813 |
0,956 |
|
Los enunciados de los exámenes son claros |
61,19 |
108,028 |
0,690 |
0,957 |
|
Es fácil tomar apuntes con este profesor |
61,23 |
105,647 |
0,707 |
0,957 |
|
El orden en que el profesor da la clase me facilita su seguimiento |
61,00 |
106,667 |
0,783 |
0,956 |
|
El profesor mantiene un ritmo de exposición correcto |
60,97 |
103,966 |
0,806 |
0,955 |
|
El Profesor explica de manera |
60,74 |
106,865 |
0,878 |
0,955 |
|
Me gustaría recibir clase otra vez con este profesor |
60,77 |
105,247 |
0,879 |
0,954 |
4. CONCLUSIONES
En este trabajo hemos intentado ocuparnos de la operacionalizacion y la construcción de un indicador que nos ayudó a medir el desempeño docente universitario, en la UTN-FRSC. Cuando estudiamos dicho procedimiento lo realizamos, en el marco del plan estratégico del Rectorado de la UTN.
En concreto hemos encontrado que el estudio correspondiente a la escala de desempeño docente universitario permite estimar la confiabilidad del instrumento en α = 0,959, mediante el coeficiente Alfa de Cronbach. Asimismo, hemos logrado construir un indicador con propiedades métricas aceptables y con características de una estructura tridimensional, el análisis incluye la consistencia interna de las dimensiones que conforman el estudio. En primer lugar: conocimiento disciplinario, el cual tiene un valor de coeficiente de Alfa de Cronbach de α=0,885 [95% IC 0,823; 0,860]. En segundo lugar, la dimensión habilidades pedagógicas tiene un valor de coeficiente de Alfa de Cronbach de α=0,871 [95% IC 0,784; 0,930]. Y por último, la dimensión que intenta reflejar la responsabilidad, con un coeficiente α= 0,917 [95% IC 0,861; 0,955]. Manifestando cada uno de ellos valores adecuados. Previamente, hemos podido realizar, a través del análisis factorial, la reducción de las dimensiones; desde un punto de vista más inferencial encontrando la validez interna de dicho instrumento; habiendo aportado a la línea de investigación [8] y siendo los mismos coherentes y consistentes con resultados encontrados por otros investigadores [9]
Luego de lo expuesto y analizado; estos resultados ponen de manifiesto la necesidad de seguir trabajando en esta línea de investigación para encontrar las dimensiones adecuadas para la obtener una mejor medición y operacionalizacion del concepto desempeño docente universitario. Asimismo se espera que dicho trabajo sea una herramienta más para las demás sedes regionales al momento de elegir las dimensiones apropiadas, para el instrumento en cuestión.
5. REFERENCIAS
[1] Lazarsfeald, PF (1973). De los conceptos a los índices empíricos. Barcelona. 2 Edición. Laia. Barcelona. Página 35-46.
[2] Rectorado UTN (2020). Repensando la UTN 2030. Página 13-15.
[3] Krippendorff, Klauss (1990). Metodología de análisis de contenido. Teoría y Práctica. Barcelona. 2 Edición. Paidos. Barcelona.
[4] OECD (2013). Revisión de las políticas nacionales de educación: el aseguramiento de la calidad en la educación superior en Chile 2013. OECD Publishing.
[5] Medel, R y Asún R (2014). “Encuesta de evaluación docente sesgo de género: un estudio exploratorio”. Revista Calidad en la Educación, 40, 199. Chile.
[6] Kulas, JT. (2008). “Middle response functioning in Likert-response to personality items”. Journal of Busines and Psychology. 22, 3, 251-259.
[7] Escalante-Gómez, Eduardo (2002). Análisis y tratamiento de datos en SPSS. Valparaíso. 1 Edición. Ediciones Universidad de Playa Ancha de Ciencias de la Educación. Página 172-173.Chile.
[8] Gonzales, Roberto (2022). “Desempeño docente y logro de aprendizaje en estudiantes universitarios”. Revista Innova Educación. 4, 2, 26-44. Perú.
[9] Medel, R y Asún R (2014). “Encuesta de evaluación docente sesgo de género: un estudio exploratorio”. Revista Calidad en la Educación, 40, 172-179. Chile.