FORMATO E INSTRUCCIONES PARA PREPARAR EL RESUMEN A PRESENTAR EN EL

1. INTRODUCCI�N

El estudio para cuantificar los procesos de evaluaci�n desempe�a un papel crucial en el mejoramiento de la calidad educativa universitaria. Este es un tema de inter�s desde hace m�s de medio siglo, donde se puso el eje en el rol del estudiante (Coleman, Campbell, Hobson, McPartland, Mood, Weinfeld y York, 1966). Una cantidad importante de investigaciones se ocupa de este �mbito. Las mismas recorren la definici�n de los determinantes del rendimiento en un sentido estricto a uno m�s amplio (Gonz�lez, 2020). Gran parte de la investigaci�n previa sobre los procesos de evaluaci�n se ha centrado en primer lugar en: el rol del estudiante y su entorno econ�mico, en segundo lugar, la funci�n del contenido program�tico, junto con la responsabilidad compartida (alumno-profesor) y sus intentos de cuantificar el desempe�o docente (Arias-Montes, 2023), y por �ltimo los procesos y funciones de la evaluaci�n (Chipia & Santiago, 2020).

En los �ltimos a�os ha aumentado el inter�s por explorar m�todos cuantitativos para monitorear las evaluaciones, principalmente porque existe una mayor tasa de deserci�n en cursos virtuales cuando se comparan con los presenciales (Gonzales L�pez & Evaristo Chiyong, 2021). A partir de los conocimientos adquiridos en estudios anteriores (Catt�neo, Aliverti, Ogean, De Luca, & Picco, 2022), se proponen varias estrategias nuevas para el mejoramiento de la calidad educativa haciendo hincapi� en la cuantificaci�n del proceso evaluativo de ense�anza - aprendizaje. El bajo rendimiento acad�mico y la tasa de desaprobados (Garc�a, Guti�rrez & Rodr�guez-Mu�iz, 2016) se reconoce cada vez m�s como una seria preocupaci�n, por parte de las autoridades educativas universitarias. Se trata de un problema fundamentalmente dif�cil ya que involucra un conjunto de variables referidas: al alumno (autonom�a, predisposici�n a aprender), el rol del profesor, el contenido curricular de la materia, y las responsabilidades compartidas entre otras. Hay poca informaci�n publicada sobre el papel que juegan los procesos evaluativos en t�rminos de su monitoreo junto con la evaluaci�n de la capacidad del proceso ense�anza-aprendizaje. La investigaci�n en estas �reas requiere incorporar metodolog�as cuantitativas que involucren herramientas de la calidad aplicadas al proceso de ense�anza- aprendizaje. Estos estudios garantizan una mejor comprensi�n de la problem�tica de la ense�anza centrada en el aprendizaje y las competencias.

El objetivo espec�fico de este estudio fue monitorear y evaluar la tasa de desaprobados del curso econom�a y econom�a general durante el a�o 2020.Este proyecto pretende desarrollar un marco para investigar las funciones de las evaluaciones para la mejora en la calidad del proceso de aprendizaje en las carreras de ingenier�a en la Facultad Regional Santa Cruz, de la Universidad Tecnol�gica Nacional. La primera parte se centr� en la determinaci�n de la aleatoriedad de los datos y la segunda fase consisti� en monitoreo y la capacidad del proceso.

Para abordar el problema del rol de los procesos evaluativos, desarrollamos los procedimientos de mejoras en el control de la calidad, destac�ndose las gr�ficas de control para atributos con tama�o de subgrupo fijo (Besterfield, 2019) y sus objetivos: a) determinar la l�nea de tendencia central y b) llamar la atenci�n ante los desv�os. Este estudio utiliz� t�cnicas param�tricas y no param�tricas para determinar la aleatoriedad de los datos (Flores Tapia & Flores Cevallo, 2021) previamente a la aplicaci�n de las gr�ficas de control y la evaluaci�n de la capacidad del proceso.

Este estudio identific� la tasa de desaprobados y sus respectivos l�mites de control que surgen a partir de los datos, tanto para las cohortes de ingenier�a industrial como de electromec�nica. Asimismo, la proporci�n de alumnos desaprobados se considera estable con un 15% fuera de control en la cohorte industrial y solamente un 9% en electromec�nica.

2. METODOLOGIA

Tanto las cartas de control como el an�lisis de la capacidad de procesos, se consideran t�cnicas de referencia actual, para monitorear y evaluar procesos. Se destaca que los m�todos basados en control y mejora en la calidad de los procesos educativos proporcionan flexibilidad y una reducci�n de la variabilidad (Lara-Hern�ndez, Melo-Gonz�lez, Herrera-Ruiz & Valdez-G�mez, 2011). Adem�s, representan el desempe�o de las variables intervinientes; en tanto se encuentren dentro de los l�mites espec�ficos. Sin embargo, este m�todo claramente no es v�lido para analizar las tendencias a largo plazo, principalmente por la necesidad de realizar pruebas de aleatoriedad previamente.

En nuestro an�lisis se incluyeron un total de 31 alumnos pertenecientes a la carrera de Industrial y 25 alumnos de Electromec�nica, de la FRSC-UTN. A los participantes se les asign� una identificaci�n �nica, que denominamos ID para garantizar el anonimato. Para la recogida de datos se utiliz� una base de datos, extra�da de Moodle, con los alumnos de cada cohorte para el per�odo 2020. A cada uno se le asign� una categor�a seg�n el resultado final del curso. Aprobado para aquellos estudiantes con nota hasta 60 puntos, promoci�n a aquellos con nota mayor a 70 puntos, y desaprobado los que obtuvieron puntaje menor que 60.

Para la generaci�n de la base de datos, se construy� un cuestionario con 17 preguntas, para la cohorte de industrial y 18 para la de electromec�nica. Las tem�ticas, se reflejan en la Tabla 1.

Tabla 1 Cuestionarios desagregados por tem�tica

Cuestionario	Tem�tica de las evaluaciones�
1	Introducci�n
2	Construcci�n de los modelos econ�micos
3	Conceptos Introductorios
4	Teor�a de elecci�n del consumidor
5	Frontera de Posibilidades de Producci�n
6	Demanda Individual
7	Determinantes de la demanda
8	Teor�a de Costos
9	Costos totales: Fijo, variable, medio y marginal
10	Elasticidad
11	Precios m�ximos y m�nimos
12	Competencia Perfecta
13	Evaluaci�n Primer Parcial
14	Monopolio
14	Oligopolio
16	Evaluaci�n Segundo� Parcial
17	Pol�tica econ�mica
18	Evaluaci�n Tercer� Parcial

Los valores del porcentaje de desaprobados P, para ambas cohortes se han calculado utilizando, cartas de control para atributos e �ndices de capacidad de procesos. Las mediciones se realizaron a intervalos regulares, semanalmente, a trav�s de la plataforma Moodle. Las pruebas fueron realizadas y analizadas por un solo operador (docente a cargo) para garantizar la uniformidad. Las t�cnicas aplicadas a la calidad no requieren ni utilizan ninguna suposici�n y solamente presentan como pre-requisito la aleatoriedad de los datos.

Para simplificar, este estudio no incluye los determinantes se�alados por Bowles Bowles (1970), caracter�sticas personales, sociales y aquellas referidas a establecimiento educativo de origen. Todos los c�lculos computacionales se llevaron a cabo usando el software Minitab (2016). Los criterios de elegibilidad requer�an que los alumnos, de cada cohorte, est�n matriculados en cada una de las materias.

Se utilizaron tanto pruebas param�tricas como no param�tricas para comprobar la aleatoriedad de los datos. Entre las primeras desarrollamos, los gr�ficos de corridas y entre las segundas las pruebas de (mezcla, conglomerado, tendencia y oscilaci�n). Fijando los niveles de significatividad en el 5%. Estas pruebas se utilizaron para determinar si exist�a aleatoriedad en los datos bajo estudio.

Luego trabajamos con los gr�ficos de control, para determinar los l�mites te�ricos espec�ficos, utilizando gr�ficas para atributos. A sabiendas, que los resultados de la carta de control se consideran en t�rminos porcentuales (%) o por lo que se denomina la fracci�n de desaprobados. Por �ltimo, siguiendo a Urrego (Urrego & Z��iga, 2013), se utilizaron los informes de capacidad de procesos para una distribuci�n binomial. La cual analiza el proceso cuando se examina el n�mero de desaprobados con respecto al tama�o total de la muestra.

3. RESULTADOS

Con la finalidad de monitorear y evaluar la tasa de desaprobados en las cohortes de econom�a y econom�a general pertenecientes a la carrera de ingenier�a industrial e ingenier�a electromec�nica, del per�odo 2020, se procedi� a la aplicaci�n de cartas de control para el monitoreo y al an�lisis de capacidad de procesos para la evaluaci�n de la variable de inter�s. Podemos resumir los resultados en:

Aleatoriedad de los datos

a) Gr�fico de Corridas

Figura� 1� Gr�fica de corridas cohorte industrial

Figura 2 Gr�fica de corridas cohorte electromec�nica

La Figura 1, nos ayuda a visualizar el n�mero de registros de las mediciones que realizamos a lo largo del tiempo. Para esta cohorte, encontramos que el n�mero de corridas de la mediana es 14 y el n�mero de corridas hacia arriba y hacia abajo es 18, para un total de 31 alumnos (n=31)

Asimismo, la Figura 2 que hemos llamado �Gr�fica de corridas cohorte electromec�nica� arrojo que el que el n�mero de corridas de la mediana es 13 y el n�mero de corridas hacia arriba y hacia abajo es 17, para un total de 25 alumnos(n=25). Para que dicho proceso sea homog�neo la mitad de los registros deber�an estar hacia arriba y la mitad hacia abajo, lo cual se observa en ambas figuras

A priori, como una aproximaci�n exploratoria y gr�fica, podemos decir que las mediciones son aleatorias.

b) �Prueba de aleatoriedad

Tabla 2 Significancia estad�stica de los patrones

Prueba	p-valor (IIN)	p- valor (IEM)
Conglomerado	0.182	0.422
�Mezclas	0.818	0.578
�Tendencias	0.153	0.629
�Oscilaci�n	0.847	0,371

Un examen m�s detallado de la tabla 2 muestra la significatividad estad�stica, para los diferentes patrones de cada una de las cohortes. La misma es reveladora en varios sentidos. En primer lugar, en la prueba de conglomerado (para ambas cohortes), el p-valor est� por encima del nivel de significancia estad�stica α = 0.05, por lo tanto, no quedamos con H0= �No existe conglomerado�. En segundo lugar, para la prueba de mezclas, el p-valor de la cohorte de IIN es =0.818, mientras que el p-valor de IEM alcanz� un valor igual a =0,575; como ambos son mayores al nivel de significancia α, tambi�n no quedamos con H0= �No existe mezcla�. En tercer lugar, nos quedamos con H0=� No hay tendencia�, dado que los p-valor de IIN e IEM arrojaron un valor mayor que α. En cuarto lugar, tambi�n nos quedamos con H0= �No existe oscilaci�n�, dado que los p-valor de ambas cohortes est�n por encima de α=0.05.

Con las pruebas gr�ficas (corridas) y de hip�tesis realizadas (tendencia, mezcla, conglomerado y oscilaci�n), dejamos constancia de que las mediciones son aleatorias. Siendo esto un prerrequisito fundamental para poder realizar el an�lisis estad�stico del monitoreo y el an�lisis de la capacidad del proceso.

Monitoreo

a) �Primera etapa del monitoreo de procesos

Una vez verificadas las condiciones de aleatoriedad de las mediciones, procedimos a la definici�n de los l�mites de control superior e inferior, para nuestra variable de inter�s, el porcentaje de desaprobados de cada cohorte. Los limites especificados o l�mites de control estad�stico, se presentan en las Figuras 3 y 4 para cada una de las respectivas cohortes. La l�nea central, se�alada con l�nea verde, y los l�mites de control inferior (LCI) y superior (LCS), delimitadas con l�neas rojas), se estimaron a partir de los datos. Dichos l�mites no son absolutos y se modifican en funci�n del proceso de mejora continua que va caracterizando a los diferentes procesos.

Hemos tomado por defecto la opci�n de 6 sigmas, dentro del paquete estad�stico Minitab�, la reevaluaci�n de los limites corresponde al avance en la l�nea de investigaci�n.

Encontramos que los l�mites de control, para ambas cohortes son similares. Para la cohorte de industrial el LCI es 0% y para el LCS es 0.50. Mientras que la cohorte de ingenier�a electromec�nica se mueve tambi�n entre e LCI de 0% y el LCS de 0.57. Con un valor de P de 19% de desaprobado en el caso de industrial y una l�nea de tendencia central, valor de P, del 25% correspondiente a los desaprobados de la cohorte electromec�nica.

b) �Segunda etapa del monitoreo de procesos

Figura 3 Gr�fica P de conteo desaprobados� cohorte industrial

Figura 4 Gr�fica P de conteo desaprobados electromec�nica

En la Figura 3 vemos que la proporci�n de alumnos desaprobados� es estable. 4 subgrupos (15,4%) est�n fuera de control. Los identificadores (ID) revelaron que los alumnos ID=4 e ID=6, desaprobaron 8 y 9 ejercicios respectivamente, sobre un total de 15 evaluaciones.

Por otra parte, en la Figura 4, observamos que la proporci�n de alumnos desaprobados es estable, solamente 2 subgrupos (9,1%) est�n fuera de control. Los identificadores (ID) revelaron que los alumnos ID=7 e ID= 15, desaprobaron 12 y 16� ejercicios respectivamente, sobre un total de 17 evaluaciones.

Por lo tanto, podemos concluir que la variable est� controlada, en ambas cohortes, a excepci�n de algunos puntos.

An�lisis de la capacidad de procesos

a) �Capacidad del proceso cohorte industrial y electromec�nica

La Figura 5 presenta los siguientes resultados: en primer lugar, la Gr�fica P que indica la proporci�n de desaprobados en IIN, en el mismo se observan dos puntos fuera de control, se�alados en la subsecci�n segunda etapa del monitoreo. En segundo lugar, el grafico de % desaprobados IIN acumulado, en el mismo se observ� que la proporci�n se estabiliz� en torno al valor medio (19%), requisito para verificar que el tama�o de la muestra es representativo. En tercer lugar, el gr�fico binomial representa los valores probabil�sticos, aqu� se observan nuevamente los 2 valores que se alejaron significativamente de la recta. En cuarto lugar, el Histograma de desaprobado de la cohorte industrial, junto con su valor �objetivo�, siendo el mismo por defecto igual a cero. Y por �ltimo, el resumen estad�stico con un error de α= 0.05, para un % de desaprobados del 19% [95% IC 15.67; 23.77].

Figura 5� Informe de capacidad de procesos % desaprobados cohorte industrial

Asimismo, la Figura 6 presenta los siguientes resultados: en primer lugar, la Gr�fica P que indica la proporci�n de desaprobados de IEM, en el mismo se observan dos puntos fuera de control, se�alados en la subsecci�n segunda etapa del monitoreo y la cual ronda en el 25%. En segundo lugar, el grafico de % desaprobados IEM acumulado, en el mismo se observ� que la proporci�n se estabiliz� en torno al valor medio (25%), requisito para verificar que el tama�o de la muestra sea representativo. En tercer lugar, el gr�fico binomial representa los valores probabil�sticos, aqu� se observan nuevamente los 2 valores que se alejaron significativamente de la recta. En cuarto lugar, el Histograma de desaprobado de la cohorte electromec�nica, junto con su valor �objetivo�, siendo el mismo por defecto igual a cero. Y por �ltimo, el resumen estad�stico con un error de α= 0.05, el % de desaprobados es del 25% [95% IC 21.07; 30.13].

En general, estos resultados indican que a excepci�n de algunos puntos la variable % de desaprobados, para ambos grupos, es estable. Los l�mites de control de la cohorte industrial se encuentran entre 0 %y 50 %, con un valor de la proporci�n de desaprobados del 19% [95% IC 15.67; 23.77]. Asimismo, los l�mites de control para la cohorte de electromec�nica ronda entre el 0% y 57%, con un valor medio de 25% [95% IC 21.07; 30.13]. Por �ltimo, el valor de Z del proceso de la cohorte industrial como la de electromec�nica, 0.8601 y 0.6619 respectivamente, son menores que 2; el cual se considera el valor m�nimo para declarar que un proceso tiene capacidad.

Figura 6� Informe de capacidad de procesos % desaprobados cohorte electromec�nica

4. CONCLUSIONES

Las herramientas de la calidad son fundamentales para mejorar el aprendizaje en los estudiantes universitarios. Pruebas recientes sugieren que los procesos y las funciones de la evaluaci�n constituyen causas de un mejor aprendizaje. Una de las principales preocupaciones es la tasa de desaprobados de los estudiantes universitarios. Por lo tanto, en este trabajo, buscamos monitorear la tasa de desaprobados y evaluar la capacidad de dicho proceso.

Nuestros hallazgos revelan que el porcentaje de alumnos desaprobados se encuentra en el intervalo del 19% [95% IC 15.67; 23.77], para la cohorte de ingenier�a industrial. Mientras que la tasa de desaprobados, para la cohorte de ingenier�a electromec�nica, corresponde al 25% [95% IC 21.07; 30.13]. Esta �ltima tiene un n�mero de desaprobados, significativamente mayor que la que corresponde a la cohorte de industrial, con causas asignables.

En comparaci�n con nuestro estudio, la mayor�a de los estudios anteriores trabajan en la descripci�n de los datos y en la existencia de diferencias significativas entre las cohortes, no en la aplicaci�n de herramientas de la calidad para mejorar el procedo de ense�anza-aprendizaje. Por ello, un aspecto novedoso de esta investigaci�n es el desarrollo y la aplicaci�n de herramientas de la calidad para monitorear y evaluar la capacidad de dicho proceso.

Algunos aspectos en com�n de nuestro hallazgo son consistentes con la literatura mencionada. A pesar de algunas similitudes con estudios anteriores, nuestros resultados difieren de algunos estudios publicados, en particular por la discrepancia entre las tasas de desaprobados para las cohortes analizadas, en pandemia. Esta discrepancia podr�a atribuirse a la carga horaria y la periodicidad en el dictado de las materias. Mientras que industrial tiene asignado dos d�as a la semana, electromec�nica agrupa su carga horaria un solo d�a en la semana. Adem�s, una posible explicaci�n para esto podr�a ser la incorporaci�n de los modelos virtuales de ense�anza. Otra explicaci�n alternativa de nuestros resultados es que se deban a la desaparici�n de las clases magistrales presenciales, en plena pandemia. Sin embargo, la raz�n exacta no est� clara. Por lo tanto, estos datos deben interpretarse con cautela porque, los datos de corte transversal deber�an ir compar�ndose a�o a a�o; para poder analizar los modelos h�bridos que fueron implementados.

Este estudio proporciona evidencia que sienta las bases sobre la cuantificaci�n de los procesos de ense�anza- aprendizaje. As�, nuestros resultados destacan la importancia tanto de monitorear y evaluar la tasa de desaprobados, como de la visualizaci�n en tiempo real de los gr�ficos de control por atributos, para mejorar los procesos de ense�anza y tomar las acciones correctivas. Futuras investigaciones deber�an centrarse en estudios que incorporen distintas variables, sociales, econ�micas para encontrar m�s causas.

5. REFERENCIAS

Arias-Montes, J. (2023). Cuantificando el desempe�o docente universitario. AACINI - Revista Internacional De Ingenier�a Industrial, (6). Recuperado a partir de http://www3.fi.mdp.edu.ar/otec/revista/index.php/AACINI-RIII/article/view/52.

Besterfield, D. H. (2019). Control de calidad. M�xico. Octava Edici�n. Pearson Educaci�n de M�xico, S.A. de C.V.

Bowles, S. (1970).Toward an Educational Production Function. En Education, Income and Human Capital, National Boureau of Economic Research, pp.11-70

Catt�neo, A. C., Aliverti, V., Ogean, B., De Luca, J. C., & Picco, S. J. (2022). Regreso a la presencialidad: evaluaci�n de tres cohortes del curso de Gen�tica General de la Facultad de Ciencias veterinarias de la UNLP. In IV Jornadas sobre las Pr�cticas Docentes en la Universidad P�blica (La Plata, 26 al 30 de septiembre de(2022).Recuperado: �

https://scholar.google.com/scholar?hl=es&as_sdt=0%2C5&q=Regreso+a+la+presencialidad.+Evaluaci%C3%B3n+de+tres+cohortes+del+curso+de+Gen%C3%A9tica+General+de+la+Facultad+de+Ciencias+veterinarias+de+la+UNLP&btnG=

Chipia, J., & Santiago, C. (2020). Educaci�n universitaria: transici�n y disrupci�n digital. Aproximaci�n cr�tica. GICOS.

Coleman, J., Campbell, E., Hobson, C., McPartland, F., Mood, A., Weinfeld, F, y York, R. (1966). Equality of educational opportunity. Washington DC, U.S. Government Printing Office.

Flores Tapia, C. E., & Flores Cevallo, K. L. (2021). Pruebas no param�tricas para determinar la aleatoriedad de los datos en procesos productivos y procedimientos para calcular estad�sticas en pareja. Ciencia, Econom�a y Negocios, 5(1), 97-118. Doi: https://doi.org/10.22206/ceyn.2021.v5i1.pp97-118

Garc�a, M. E., Guti�rrez, A. B. B., & Rodr�guez-Mu�iz, L. J. (2016). Permanencia en la universidad: la importancia de un buen comienzo. Aula abierta, 44(1), 1-6. �https://doi.org/10.1016/j.aula.2015.04.001

Gonzales L�pez, E. F., & Evaristo Chiyong, I. S. (2021). Rendimiento acad�mico y deserci�n de estudiantes universitarios de un curso en modalidad virtual y presencial.

Gonz�lez, F. (2020). Rendimiento acad�mico en materias universitarias: un an�lisis emp�rico para la Universidad Nacional de Salta (UNSa) (N�.23). Recuperado: https://scholar.google.com/scholar?hl=es&as_sdt=0%2C5&q=Rendimiento+acad%C3%A9mico+en+materias+universitarias&btnG=

Lara-Hern�ndez, C., Melo-Gonz�lez, R., Herrera-Ruiz, D. A., & Valdez-G�mez, J. A. (2011). Control estad�stico de procesos en tiempo real de un sistema de endulzamiento de gas amargo. Metodolog�a y resultados. Tecnolog�a, Ciencia, Educaci�n, 26(2), 57-74.

Minitab (2016).Introducci�n a Minitab Version 17.

Urrego, M. L. P., & Z��iga, J. S. P. (2013). Cuantificaci�n de la capacidad de proceso para datos cualitativos. Universidad de Ibagu�, Ibagu�. Recuperado de https://scholar.google.com/scholar?hl=es&as_sdt=0%2C5&q=Cuantificaci%C3%B3n+de+la+capacidad+de+proceso+para+datos+cualitativos&btnG=