FORMATO E INSTRUCCIONES PARA PREPARAR EL RESUMEN A PRESENTAR EN EL

1. INTRODUCCIÓN

El estudio para cuantificar los procesos de evaluación desempeña un papel crucial en el mejoramiento de la calidad educativa universitaria. Este es un tema de interés desde hace más de medio siglo, donde se puso el eje en el rol del estudiante (Coleman, Campbell, Hobson, McPartland, Mood, Weinfeld y York, 1966). Una cantidad importante de investigaciones se ocupa de este ámbito. Las mismas recorren la definición de los determinantes del rendimiento en un sentido estricto a uno más amplio (González, 2020). Gran parte de la investigación previa sobre los procesos de evaluación se ha centrado en primer lugar en: el rol del estudiante y su entorno económico, en segundo lugar, la función del contenido programático, junto con la responsabilidad compartida (alumno-profesor) y sus intentos de cuantificar el desempeño docente (Arias-Montes, 2023), y por último los procesos y funciones de la evaluación (Chipia & Santiago, 2020).

En los últimos años ha aumentado el interés por explorar métodos cuantitativos para monitorear las evaluaciones, principalmente porque existe una mayor tasa de deserción en cursos virtuales cuando se comparan con los presenciales (Gonzales López & Evaristo Chiyong, 2021). A partir de los conocimientos adquiridos en estudios anteriores (Cattáneo, Aliverti, Ogean, De Luca, & Picco, 2022), se proponen varias estrategias nuevas para el mejoramiento de la calidad educativa haciendo hincapié en la cuantificación del proceso evaluativo de enseñanza - aprendizaje. El bajo rendimiento académico y la tasa de desaprobados (García, Gutiérrez & Rodríguez-Muñiz, 2016) se reconoce cada vez más como una seria preocupación, por parte de las autoridades educativas universitarias. Se trata de un problema fundamentalmente difícil ya que involucra un conjunto de variables referidas: al alumno (autonomía, predisposición a aprender), el rol del profesor, el contenido curricular de la materia, y las responsabilidades compartidas entre otras. Hay poca información publicada sobre el papel que juegan los procesos evaluativos en términos de su monitoreo junto con la evaluación de la capacidad del proceso enseñanza-aprendizaje. La investigación en estas áreas requiere incorporar metodologías cuantitativas que involucren herramientas de la calidad aplicadas al proceso de enseñanza- aprendizaje. Estos estudios garantizan una mejor comprensión de la problemática de la enseñanza centrada en el aprendizaje y las competencias.

El objetivo específico de este estudio fue monitorear y evaluar la tasa de desaprobados del curso economía y economía general durante el año 2020.Este proyecto pretende desarrollar un marco para investigar las funciones de las evaluaciones para la mejora en la calidad del proceso de aprendizaje en las carreras de ingeniería en la Facultad Regional Santa Cruz, de la Universidad Tecnológica Nacional. La primera parte se centró en la determinación de la aleatoriedad de los datos y la segunda fase consistió en monitoreo y la capacidad del proceso.

Para abordar el problema del rol de los procesos evaluativos, desarrollamos los procedimientos de mejoras en el control de la calidad, destacándose las gráficas de control para atributos con tamaño de subgrupo fijo (Besterfield, 2019) y sus objetivos: a) determinar la línea de tendencia central y b) llamar la atención ante los desvíos. Este estudio utilizó técnicas paramétricas y no paramétricas para determinar la aleatoriedad de los datos (Flores Tapia & Flores Cevallo, 2021) previamente a la aplicación de las gráficas de control y la evaluación de la capacidad del proceso.

Este estudio identificó la tasa de desaprobados y sus respectivos límites de control que surgen a partir de los datos, tanto para las cohortes de ingeniería industrial como de electromecánica. Asimismo, la proporción de alumnos desaprobados se considera estable con un 15% fuera de control en la cohorte industrial y solamente un 9% en electromecánica.

2. METODOLOGIA

Tanto las cartas de control como el análisis de la capacidad de procesos, se consideran técnicas de referencia actual, para monitorear y evaluar procesos. Se destaca que los métodos basados en control y mejora en la calidad de los procesos educativos proporcionan flexibilidad y una reducción de la variabilidad (Lara-Hernández, Melo-González, Herrera-Ruiz & Valdez-Gómez, 2011). Además, representan el desempeño de las variables intervinientes; en tanto se encuentren dentro de los límites específicos. Sin embargo, este método claramente no es válido para analizar las tendencias a largo plazo, principalmente por la necesidad de realizar pruebas de aleatoriedad previamente.

En nuestro análisis se incluyeron un total de 31 alumnos pertenecientes a la carrera de Industrial y 25 alumnos de Electromecánica, de la FRSC-UTN. A los participantes se les asignó una identificación única, que denominamos ID para garantizar el anonimato. Para la recogida de datos se utilizó una base de datos, extraída de Moodle, con los alumnos de cada cohorte para el período 2020. A cada uno se le asignó una categoría según el resultado final del curso. Aprobado para aquellos estudiantes con nota hasta 60 puntos, promoción a aquellos con nota mayor a 70 puntos, y desaprobado los que obtuvieron puntaje menor que 60.

Para la generación de la base de datos, se construyó un cuestionario con 17 preguntas, para la cohorte de industrial y 18 para la de electromecánica. Las temáticas, se reflejan en la Tabla 1.

Tabla 1 Cuestionarios desagregados por temática

Cuestionario	Temática de las evaluaciones
1	Introducción
2	Construcción de los modelos económicos
3	Conceptos Introductorios
4	Teoría de elección del consumidor
5	Frontera de Posibilidades de Producción
6	Demanda Individual
7	Determinantes de la demanda
8	Teoría de Costos
9	Costos totales: Fijo, variable, medio y marginal
10	Elasticidad
11	Precios máximos y mínimos
12	Competencia Perfecta
13	Evaluación Primer Parcial
14	Monopolio
14	Oligopolio
16	Evaluación Segundo Parcial
17	Política económica
18	Evaluación Tercer Parcial

Los valores del porcentaje de desaprobados P, para ambas cohortes se han calculado utilizando, cartas de control para atributos e índices de capacidad de procesos. Las mediciones se realizaron a intervalos regulares, semanalmente, a través de la plataforma Moodle. Las pruebas fueron realizadas y analizadas por un solo operador (docente a cargo) para garantizar la uniformidad. Las técnicas aplicadas a la calidad no requieren ni utilizan ninguna suposición y solamente presentan como pre-requisito la aleatoriedad de los datos.

Para simplificar, este estudio no incluye los determinantes señalados por Bowles Bowles (1970), características personales, sociales y aquellas referidas a establecimiento educativo de origen. Todos los cálculos computacionales se llevaron a cabo usando el software Minitab (2016). Los criterios de elegibilidad requerían que los alumnos, de cada cohorte, estén matriculados en cada una de las materias.

Se utilizaron tanto pruebas paramétricas como no paramétricas para comprobar la aleatoriedad de los datos. Entre las primeras desarrollamos, los gráficos de corridas y entre las segundas las pruebas de (mezcla, conglomerado, tendencia y oscilación). Fijando los niveles de significatividad en el 5%. Estas pruebas se utilizaron para determinar si existía aleatoriedad en los datos bajo estudio.

Luego trabajamos con los gráficos de control, para determinar los límites teóricos específicos, utilizando gráficas para atributos. A sabiendas, que los resultados de la carta de control se consideran en términos porcentuales (%) o por lo que se denomina la fracción de desaprobados. Por último, siguiendo a Urrego (Urrego & Zúñiga, 2013), se utilizaron los informes de capacidad de procesos para una distribución binomial. La cual analiza el proceso cuando se examina el número de desaprobados con respecto al tamaño total de la muestra.

3. RESULTADOS

Con la finalidad de monitorear y evaluar la tasa de desaprobados en las cohortes de economía y economía general pertenecientes a la carrera de ingeniería industrial e ingeniería electromecánica, del período 2020, se procedió a la aplicación de cartas de control para el monitoreo y al análisis de capacidad de procesos para la evaluación de la variable de interés. Podemos resumir los resultados en:

Aleatoriedad de los datos

a) Gráfico de Corridas

Figura 1 Gráfica de corridas cohorte industrial

Figura 2 Gráfica de corridas cohorte electromecánica

La Figura 1, nos ayuda a visualizar el número de registros de las mediciones que realizamos a lo largo del tiempo. Para esta cohorte, encontramos que el número de corridas de la mediana es 14 y el número de corridas hacia arriba y hacia abajo es 18, para un total de 31 alumnos (n=31)

Asimismo, la Figura 2 que hemos llamado “Gráfica de corridas cohorte electromecánica” arrojo que el que el número de corridas de la mediana es 13 y el número de corridas hacia arriba y hacia abajo es 17, para un total de 25 alumnos(n=25). Para que dicho proceso sea homogéneo la mitad de los registros deberían estar hacia arriba y la mitad hacia abajo, lo cual se observa en ambas figuras

A priori, como una aproximación exploratoria y gráfica, podemos decir que las mediciones son aleatorias.

b) Prueba de aleatoriedad

Tabla 2 Significancia estadística de los patrones

Prueba	p-valor (IIN)	p- valor (IEM)
Conglomerado	0.182	0.422
Mezclas	0.818	0.578
Tendencias	0.153	0.629
Oscilación	0.847	0,371

Un examen más detallado de la tabla 2 muestra la significatividad estadística, para los diferentes patrones de cada una de las cohortes. La misma es reveladora en varios sentidos. En primer lugar, en la prueba de conglomerado (para ambas cohortes), el p-valor está por encima del nivel de significancia estadística α = 0.05, por lo tanto, no quedamos con H0= “No existe conglomerado”. En segundo lugar, para la prueba de mezclas, el p-valor de la cohorte de IIN es =0.818, mientras que el p-valor de IEM alcanzó un valor igual a =0,575; como ambos son mayores al nivel de significancia α, también no quedamos con H0= “No existe mezcla”. En tercer lugar, nos quedamos con H0=” No hay tendencia”, dado que los p-valor de IIN e IEM arrojaron un valor mayor que α. En cuarto lugar, también nos quedamos con H0= “No existe oscilación”, dado que los p-valor de ambas cohortes están por encima de α=0.05.

Con las pruebas gráficas (corridas) y de hipótesis realizadas (tendencia, mezcla, conglomerado y oscilación), dejamos constancia de que las mediciones son aleatorias. Siendo esto un prerrequisito fundamental para poder realizar el análisis estadístico del monitoreo y el análisis de la capacidad del proceso.

Monitoreo

a) Primera etapa del monitoreo de procesos

Una vez verificadas las condiciones de aleatoriedad de las mediciones, procedimos a la definición de los límites de control superior e inferior, para nuestra variable de interés, el porcentaje de desaprobados de cada cohorte. Los limites especificados o límites de control estadístico, se presentan en las Figuras 3 y 4 para cada una de las respectivas cohortes. La línea central, señalada con línea verde, y los límites de control inferior (LCI) y superior (LCS), delimitadas con líneas rojas), se estimaron a partir de los datos. Dichos límites no son absolutos y se modifican en función del proceso de mejora continua que va caracterizando a los diferentes procesos.

Hemos tomado por defecto la opción de 6 sigmas, dentro del paquete estadístico Minitab®, la reevaluación de los limites corresponde al avance en la línea de investigación.

Encontramos que los límites de control, para ambas cohortes son similares. Para la cohorte de industrial el LCI es 0% y para el LCS es 0.50. Mientras que la cohorte de ingeniería electromecánica se mueve también entre e LCI de 0% y el LCS de 0.57. Con un valor de P de 19% de desaprobado en el caso de industrial y una línea de tendencia central, valor de P, del 25% correspondiente a los desaprobados de la cohorte electromecánica.

b) Segunda etapa del monitoreo de procesos

Figura 3 Gráfica P de conteo desaprobados cohorte industrial

Figura 4 Gráfica P de conteo desaprobados electromecánica

En la Figura 3 vemos que la proporción de alumnos desaprobados es estable. 4 subgrupos (15,4%) están fuera de control. Los identificadores (ID) revelaron que los alumnos ID=4 e ID=6, desaprobaron 8 y 9 ejercicios respectivamente, sobre un total de 15 evaluaciones.

Por otra parte, en la Figura 4, observamos que la proporción de alumnos desaprobados es estable, solamente 2 subgrupos (9,1%) están fuera de control. Los identificadores (ID) revelaron que los alumnos ID=7 e ID= 15, desaprobaron 12 y 16 ejercicios respectivamente, sobre un total de 17 evaluaciones.

Por lo tanto, podemos concluir que la variable está controlada, en ambas cohortes, a excepción de algunos puntos.

Análisis de la capacidad de procesos

a) Capacidad del proceso cohorte industrial y electromecánica

La Figura 5 presenta los siguientes resultados: en primer lugar, la Gráfica P que indica la proporción de desaprobados en IIN, en el mismo se observan dos puntos fuera de control, señalados en la subsección segunda etapa del monitoreo. En segundo lugar, el grafico de % desaprobados IIN acumulado, en el mismo se observó que la proporción se estabilizó en torno al valor medio (19%), requisito para verificar que el tamaño de la muestra es representativo. En tercer lugar, el gráfico binomial representa los valores probabilísticos, aquí se observan nuevamente los 2 valores que se alejaron significativamente de la recta. En cuarto lugar, el Histograma de desaprobado de la cohorte industrial, junto con su valor “objetivo”, siendo el mismo por defecto igual a cero. Y por último, el resumen estadístico con un error de α= 0.05, para un % de desaprobados del 19% [95% IC 15.67; 23.77].

Figura 5 Informe de capacidad de procesos % desaprobados cohorte industrial

Asimismo, la Figura 6 presenta los siguientes resultados: en primer lugar, la Gráfica P que indica la proporción de desaprobados de IEM, en el mismo se observan dos puntos fuera de control, señalados en la subsección segunda etapa del monitoreo y la cual ronda en el 25%. En segundo lugar, el grafico de % desaprobados IEM acumulado, en el mismo se observó que la proporción se estabilizó en torno al valor medio (25%), requisito para verificar que el tamaño de la muestra sea representativo. En tercer lugar, el gráfico binomial representa los valores probabilísticos, aquí se observan nuevamente los 2 valores que se alejaron significativamente de la recta. En cuarto lugar, el Histograma de desaprobado de la cohorte electromecánica, junto con su valor “objetivo”, siendo el mismo por defecto igual a cero. Y por último, el resumen estadístico con un error de α= 0.05, el % de desaprobados es del 25% [95% IC 21.07; 30.13].

En general, estos resultados indican que a excepción de algunos puntos la variable % de desaprobados, para ambos grupos, es estable. Los límites de control de la cohorte industrial se encuentran entre 0 %y 50 %, con un valor de la proporción de desaprobados del 19% [95% IC 15.67; 23.77]. Asimismo, los límites de control para la cohorte de electromecánica ronda entre el 0% y 57%, con un valor medio de 25% [95% IC 21.07; 30.13]. Por último, el valor de Z del proceso de la cohorte industrial como la de electromecánica, 0.8601 y 0.6619 respectivamente, son menores que 2; el cual se considera el valor mínimo para declarar que un proceso tiene capacidad.

Figura 6 Informe de capacidad de procesos % desaprobados cohorte electromecánica

4. CONCLUSIONES

Las herramientas de la calidad son fundamentales para mejorar el aprendizaje en los estudiantes universitarios. Pruebas recientes sugieren que los procesos y las funciones de la evaluación constituyen causas de un mejor aprendizaje. Una de las principales preocupaciones es la tasa de desaprobados de los estudiantes universitarios. Por lo tanto, en este trabajo, buscamos monitorear la tasa de desaprobados y evaluar la capacidad de dicho proceso.

Nuestros hallazgos revelan que el porcentaje de alumnos desaprobados se encuentra en el intervalo del 19% [95% IC 15.67; 23.77], para la cohorte de ingeniería industrial. Mientras que la tasa de desaprobados, para la cohorte de ingeniería electromecánica, corresponde al 25% [95% IC 21.07; 30.13]. Esta última tiene un número de desaprobados, significativamente mayor que la que corresponde a la cohorte de industrial, con causas asignables.

En comparación con nuestro estudio, la mayoría de los estudios anteriores trabajan en la descripción de los datos y en la existencia de diferencias significativas entre las cohortes, no en la aplicación de herramientas de la calidad para mejorar el procedo de enseñanza-aprendizaje. Por ello, un aspecto novedoso de esta investigación es el desarrollo y la aplicación de herramientas de la calidad para monitorear y evaluar la capacidad de dicho proceso.

Algunos aspectos en común de nuestro hallazgo son consistentes con la literatura mencionada. A pesar de algunas similitudes con estudios anteriores, nuestros resultados difieren de algunos estudios publicados, en particular por la discrepancia entre las tasas de desaprobados para las cohortes analizadas, en pandemia. Esta discrepancia podría atribuirse a la carga horaria y la periodicidad en el dictado de las materias. Mientras que industrial tiene asignado dos días a la semana, electromecánica agrupa su carga horaria un solo día en la semana. Además, una posible explicación para esto podría ser la incorporación de los modelos virtuales de enseñanza. Otra explicación alternativa de nuestros resultados es que se deban a la desaparición de las clases magistrales presenciales, en plena pandemia. Sin embargo, la razón exacta no está clara. Por lo tanto, estos datos deben interpretarse con cautela porque, los datos de corte transversal deberían ir comparándose año a año; para poder analizar los modelos híbridos que fueron implementados.

Este estudio proporciona evidencia que sienta las bases sobre la cuantificación de los procesos de enseñanza- aprendizaje. Así, nuestros resultados destacan la importancia tanto de monitorear y evaluar la tasa de desaprobados, como de la visualización en tiempo real de los gráficos de control por atributos, para mejorar los procesos de enseñanza y tomar las acciones correctivas. Futuras investigaciones deberían centrarse en estudios que incorporen distintas variables, sociales, económicas para encontrar más causas.

5. REFERENCIAS

Arias-Montes, J. (2023). Cuantificando el desempeño docente universitario. AACINI - Revista Internacional De Ingeniería Industrial, (6). Recuperado a partir de http://www3.fi.mdp.edu.ar/otec/revista/index.php/AACINI-RIII/article/view/52.

Besterfield, D. H. (2019). Control de calidad. México. Octava Edición. Pearson Educación de México, S.A. de C.V.

Bowles, S. (1970).Toward an Educational Production Function. En Education, Income and Human Capital, National Boureau of Economic Research, pp.11-70

Cattáneo, A. C., Aliverti, V., Ogean, B., De Luca, J. C., & Picco, S. J. (2022). Regreso a la presencialidad: evaluación de tres cohortes del curso de Genética General de la Facultad de Ciencias veterinarias de la UNLP. In IV Jornadas sobre las Prácticas Docentes en la Universidad Pública (La Plata, 26 al 30 de septiembre de(2022).Recuperado:

https://scholar.google.com/scholar?hl=es&as_sdt=0%2C5&q=Regreso+a+la+presencialidad.+Evaluaci%C3%B3n+de+tres+cohortes+del+curso+de+Gen%C3%A9tica+General+de+la+Facultad+de+Ciencias+veterinarias+de+la+UNLP&btnG=

Chipia, J., & Santiago, C. (2020). Educación universitaria: transición y disrupción digital. Aproximación crítica. GICOS.

Coleman, J., Campbell, E., Hobson, C., McPartland, F., Mood, A., Weinfeld, F, y York, R. (1966). Equality of educational opportunity. Washington DC, U.S. Government Printing Office.

Flores Tapia, C. E., & Flores Cevallo, K. L. (2021). Pruebas no paramétricas para determinar la aleatoriedad de los datos en procesos productivos y procedimientos para calcular estadísticas en pareja. Ciencia, Economía y Negocios, 5(1), 97-118. Doi: https://doi.org/10.22206/ceyn.2021.v5i1.pp97-118

García, M. E., Gutiérrez, A. B. B., & Rodríguez-Muñiz, L. J. (2016). Permanencia en la universidad: la importancia de un buen comienzo. Aula abierta, 44(1), 1-6. https://doi.org/10.1016/j.aula.2015.04.001

Gonzales López, E. F., & Evaristo Chiyong, I. S. (2021). Rendimiento académico y deserción de estudiantes universitarios de un curso en modalidad virtual y presencial.

González, F. (2020). Rendimiento académico en materias universitarias: un análisis empírico para la Universidad Nacional de Salta (UNSa) (N°.23). Recuperado: https://scholar.google.com/scholar?hl=es&as_sdt=0%2C5&q=Rendimiento+acad%C3%A9mico+en+materias+universitarias&btnG=

Lara-Hernández, C., Melo-González, R., Herrera-Ruiz, D. A., & Valdez-Gómez, J. A. (2011). Control estadístico de procesos en tiempo real de un sistema de endulzamiento de gas amargo. Metodología y resultados. Tecnología, Ciencia, Educación, 26(2), 57-74.

Minitab (2016).Introducción a Minitab Version 17.

Urrego, M. L. P., & Zúñiga, J. S. P. (2013). Cuantificación de la capacidad de proceso para datos cualitativos. Universidad de Ibagué, Ibagué. Recuperado de https://scholar.google.com/scholar?hl=es&as_sdt=0%2C5&q=Cuantificaci%C3%B3n+de+la+capacidad+de+proceso+para+datos+cualitativos&btnG=