Si bien muchos están ansiosos por olvidar 2020, los científicos de datos tendrán en cuenta el año para determinar si el impacto de la pandemia hace que los datos de 2020 sean anómalos o una indicación de un cambio más permanente en la educación superior. A medida que desarrollamos nuevos modelos predictivos y actualizamos los modelos existentes con los datos recopilados el año pasado, necesitaremos analizar sus efectos y decidir el peso de esos datos para intentar predecir lo que vendrá después.
Más allá del cambio drástico en el número de estudiantes que solicitaron y se inscribieron en el último año, incluso los datos familiares de los documentos de solicitud se han vuelto menos disponibles, lo que dificulta que las universidades anticipen el comportamiento de los estudiantes, los solicitantes y los estudiantes que regresan. Debido a la dificultad para que los estudiantes tomen el SAT o ACT durante la pandemia, muchas instituciones han optado por el examen. La escasez de datos de exámenes y la gran variación en el número, tipo y calendario de solicitudes e inscripciones han hecho que los ciclos anuales familiares de las operaciones de educación superior sean menos predecibles.
Los funcionarios de admisiones y los solicitantes de registro tienen varias preguntas. ¿Deberían esperar que las cosas vuelvan a los patrones «normales» pre-COVID este año o cambiar permanentemente sus expectativas? ¿Deberían cambiar los criterios de admisión o beca? ¿Deberían deshacerse de los modelos predictivos que han entrenado con datos pasados después de un año sin precedentes? Y si mantienen los procesos y las herramientas existentes, ¿cómo pueden trabajar con los científicos de datos para recalibrarlos y mantenerlos útiles?
Creo que los modelos predictivos todavía ofrecen mucho valor a las universidades. Por un lado, los modelos entrenados en datos pasados pueden ser particularmente útiles para comprender cómo la realidad difiere de las expectativas. Pero el año pasado reveló lo importante que es que comprendamos completamente el «cómo» y el «por qué» de las predicciones que hacen estas herramientas sobre «quién» tiene más probabilidades de registrarse o necesitar servicios adicionales para ayudarlos a tener éxito en la institución.
Qué modelos eran correctos e incorrectos
Al evaluar los modelos que construí antes de COVID-19, encontré las tendencias y las correlaciones catalizadas por pandemias que el modelo había identificado en datos anteriores. Básicamente, hizo buenas predicciones, pero no anticipó la tasa y la escala.
Un ejemplo es la relación entre la necesidad financiera insatisfecha y la retención de estudiantes. Los estudiantes que tienen necesidades que no están cubiertas por la ayuda financiera tienden a reinscribirse a tasas más bajas. Esta tendencia parece haber continuado durante la pandemia, y los modelos a menudo identificaron correctamente a los estudiantes que estaban en mayor riesgo de no matricularse en el próximo trimestre debido a problemas financieros.
Sin embargo, en el contexto de la crisis, los modelos también pueden haber sido demasiado optimistas sobre la probabilidad de que regresen otros estudiantes. A medida que el futuro financiero de más familias se hizo menos seguro, las necesidades financieras que no fueron satisfechas con préstamos, becas y subvenciones pueden haber tenido un impacto mayor de lo habitual en la población. La decisión de los estudiantes de no reinscribirse. Esto podría ayudar a explicar por qué las tasas generales de retención disminuyeron más drásticamente en 2020 que los modelos pronosticados en muchas instalaciones.
Un modelo que genera puntajes de probabilidad de retención con un enfoque más de “caja negra” (menos explicable), y sin contexto adicional sobre las variables que más pesa, proporciona información menos útil para ayudar a las instituciones a hacerlo. Frente al riesgo ahora mayor de retención. Las instituciones que se basan en este tipo de modelo tienen menos comprensión de cómo la pandemia afectó el resultado de sus pronósticos. Esto hace que sea más difícil determinar si, y bajo qué circunstancias, continuar usándolos.
El hecho de que un modelo predictivo funcione bien y sea explicable, por supuesto, no significa que él y el sistema que representa estén exentos de escrutinio. Probablemente sea bueno que tengamos que observar más de cerca la producción de nuestros modelos y determinar para quién funcionan y para quién no funcionan bien en nuestras nuevas circunstancias.
Si las familias adineradas pueden «capear» mejor la pandemia, los estudiantes de esas familias podrían inscribirse más cerca de las tasas de pre-pandemia. A su vez, los modelos predicen bien su registro. Pero las familias para quienes el virus representa un mayor riesgo económico o de salud podrían tomar decisiones diferentes sobre enviar a sus hijos a la universidad durante la pandemia, incluso si su estado actual no ha cambiado «en papel» o en los conjuntos de datos utilizados por el modelo. La identificación de grupos para los que las predicciones del modelo son menos precisas en tiempos difíciles resalta factores desconocidos para el modelo, que tienen un impacto real en los estudiantes.
Desafiando el sesgo algorítmico
Es aún más vital identificar a las personas a quienes los modelos pasan por alto o tergiversan en un momento en que las desigualdades sociales son particularmente visibles y dañinas. Las comunidades marginadas son las más afectadas por los impactos económicos y de salud del COVID-19. Hay sesgos sociales históricos «incrustados» en nuestros sistemas de datos y modelos, y las máquinas que aceleran y amplían los procesos existentes a menudo perpetúan estos sesgos. Los modelos predictivos y los científicos de datos humanos deben trabajar juntos para garantizar que el contexto social y otros factores críticos informen los resultados algorítmicos.
Por ejemplo, el año pasado, un algoritmo reemplazó los exámenes de ingreso del Reino Unido, asumiendo predecir cómo los estudiantes aprobarían un examen si lo hubieran tomado. El algoritmo produjo algunos resultados muy controvertidos.
Los maestros calcularon el desempeño de sus estudiantes en los exámenes, luego los algoritmos ajustaron estas predicciones humanas en función del desempeño histórico de los estudiantes en cada escuela. Como informó Axios, «las mayores víctimas fueron los estudiantes con calificaciones altas de las escuelas menos favorecidas, que tenían más probabilidades de ver bajas sus calificaciones, mientras que los estudiantes de las escuelas más ricas tenían más probabilidades de ver sus calificaciones bajas. Sus calificaciones aumentaron».
El artículo concluye: «Los algoritmos mal diseñados corren el riesgo de afianzar una nueva forma de sesgo que podría tener impactos que van mucho más allá de la colocación universitaria». Desde entonces, el gobierno del Reino Unido ha abandonado el algoritmo, después de una protesta pública masiva, incluso de los estudiantes que obtuvieron calificaciones mucho mejores en los exámenes simulados de lo que predijeron los resultados generados por el algoritmo.
Para evitar escenarios injustos que afecten la trayectoria de la vida estudiantil, los modelos predictivos no deben usarse para tomar decisiones de alto impacto sin que personas con experiencia en el dominio revisen cada resultado y tengan el poder de desafiarlos, cuestionarlos o ignorarlos. Estos modelos deben ser tan transparentes y explicables como sea posible, y sus datos y métodos deben estar completamente documentados y disponibles para su revisión. Las predicciones automatizadas pueden informar a los tomadores de decisiones humanos, pero no deben reemplazarlos. Además, las predicciones siempre deben compararse con los resultados reales y los modelos deben monitorearse para determinar cuándo deben reciclarse, dada la realidad cambiante.
En última instancia, si bien 2020 ha revelado verdades sólidas sobre nuestros sistemas y modelos existentes, 2021 brinda una oportunidad para que las instituciones reconozcan fallas, aborden sesgos y restablezcan enfoques. La próxima iteración de modelos será más sólida para esto, y todos se beneficiarán de una mejor información y conocimiento.