Comprendiendo la reconfiguración de etapas en los pipelines de QuickML

Construir pipelines de aprendizaje automático a menudo implica encadenar múltiples operaciones, cada una dependiente del resultado de la anterior. En pipelines complejos con más de 20 etapas, modificar una sola etapa puede desencadenar cambios de configuración no deseados en las etapas posteriores. Esto puede llevar a un tedioso trabajo de reconfiguración, pérdida de configuraciones previas e interrupción del flujo de datos.

Para abordar este desafío y simplificar el mantenimiento de flujos de trabajo complejos, QuickML introduce la Stage Reconfiguration del pipeline, un mecanismo automatizado que se ejecuta en segundo plano mientras construyes pipelines.

¿Qué es Stage Reconfiguration?

Stage Reconfiguration es un mecanismo inteligente y guiado por el usuario en QuickML que identifica las etapas posteriores impactadas por un cambio en una etapa anterior. En lugar de restablecer automáticamente las configuraciones de todas las etapas sucesoras, el sistema presenta a los usuarios las etapas afectadas y opciones para reconfigurar, omitir o restablecer solo las etapas necesarias, permitiendo una gestión eficiente y controlada del pipeline.

Esto asegura:

• Impacto reducido de los cambios de configuración en las etapas subsiguientes, permitiendo un proceso de construcción de pipeline más fluido.
• Transparencia sobre qué etapas están afectadas.
• Flexibilidad para manejar cambios según las necesidades del negocio.

Consideremos un escenario para entender el uso de la reconfiguración de etapas en tiempo real.

Imagina una empresa minorista construyendo un pipeline de pronóstico de ventas en QuickML para analizar el rendimiento de productos en diferentes regiones. El pipeline incluye más de 25 etapas, cubriendo todo desde la ingesta de datos hasta la selección de algoritmos. En la versión inicial del pipeline, el equipo selecciona la columna amount en la Etapa 4 (Select Columns) y luego aplica una Type Conversion en la Etapa 7.

Durante el refinamiento, un miembro del equipo decide eliminar la columna amount en la Etapa 4, creyendo que ya no es necesaria para el análisis. El mecanismo de Stage Reconfiguration de QuickML detecta instantáneamente que este cambio impacta la Etapa 7, que todavía depende de amount para la conversión de tipo. En lugar de restablecer todas las etapas subsiguientes, el sistema identifica la Etapa 7 como afectada y presenta opciones. Como la columna ya no es necesaria, el equipo simplemente elige omitir y fusionar la Etapa 7. Esto mantiene el pipeline válido y evita interrupciones innecesarias, demostrando cómo Stage Reconfiguration ayuda a los equipos a realizar cambios precisos sin rehacer todo el flujo.

Tipos de Pipeline y Compatibilidad con Stage Reconfiguration

Stage Reconfiguration se implementa en varios tipos de pipeline en QuickML, dependiendo de si el pipeline soporta etapas editables y configurables por el usuario. El mecanismo es especialmente útil en pipelines de modo Classic, donde los cambios realizados en una etapa pueden afectar directamente las etapas subsiguientes y requieren reconfiguración. Esta reconfiguración se activa típicamente solo cuando hay un cambio de Schema (como agregar, eliminar o renombrar columnas) o un cambio de Value que afecta cómo se procesan los datos en las etapas siguientes. Sin embargo, en pipelines de modo Smart, esta función típicamente no es necesaria, porque las etapas no involucran configuración manual. En lugar de restablecer o reconfigurar, el modo Smart maneja las actualizaciones a través de una simple re-ejecución ya que la lógica permanece consistente y controlada por el sistema.

La tabla a continuación describe qué tipos de pipeline soportan Stage Reconfiguration y explica la razón de su aplicabilidad o exclusión en cada caso:

Tipo de Pipeline	Stage Reconfiguration Aplicable	Razón
Data Transformation	Sí	Las etapas son configurables por el usuario; se soporta la reconfiguración
Prediction	Sí	Las etapas son configurables por el usuario; se soporta la reconfiguración
Text Analytics	Solo en modo Classic	En modo Smart, no se requieren ediciones a nivel de etapa
Recommendation	Sí	Las etapas son configurables por el usuario; se soporta la reconfiguración
Forecasting	No	Usa modo Smart por defecto; no se requieren ediciones a nivel de etapa
Clustering	Sí	Las etapas son configurables por el usuario; se soporta la reconfiguración
Anomaly Detection	No	Usa modo Smart por defecto; no se requieren ediciones a nivel de etapa

Proceso de trabajo de la reconfiguración de etapas

Cuando realizas un cambio en una etapa del pipeline, QuickML verifica automáticamente si este cambio impacta las configuraciones de las etapas que siguen. Dependiendo de lo que hayas cambiado, hay dos resultados posibles.

Caso 1: El cambio no tiene impacto en las configuraciones de etapas subsiguientes

Si tu cambio no altera el schema del dataset utilizado en las etapas subsiguientes, QuickML reconocerá que esas etapas siguen siendo válidas. Sin embargo, para mantener la consistencia en el pipeline, el sistema re-ejecutará las etapas subsiguientes. En este caso, verás dos opciones:

• Ignore and Reset All - Esto restablece las configuraciones de todas las etapas subsiguientes, aunque no estén afectadas por tu cambio.
• Proceed - Esto re-ejecuta las etapas subsiguientes usando sus configuraciones existentes sin requerir ningún retrabajo.

Por ejemplo, supón que en la Etapa 2 usas una operación de Select/Drop Columns para eliminar una columna llamada membership_category, que no se usa en ninguna de las etapas subsiguientes. Como ninguna de las etapas posteriores depende de esta columna, tu cambio no impacta su configuración. En este caso, QuickML reconoce que el schema de las etapas subsiguientes permanece intacto. Simplemente puedes elegir proceder, y el pipeline se re-ejecutará sin requerir ninguna reconfiguración.

Caso 2: El cambio impacta las configuraciones de etapas subsiguientes

Si tu cambio afecta el schema del dataset utilizado en etapas posteriores, QuickML resaltará qué etapas están impactadas. Luego se te darán un conjunto de opciones mencionadas a continuación para controlar cómo deseas manejar las etapas afectadas:

• Ignore and Reset All - Esto ignora las configuraciones de todas las etapas impactadas y las restablece.
• Configure Now - Esto abre un pop-up que lista las etapas afectadas y te muestra qué ha cambiado exactamente. Dentro del pop-up de configuración, puedes:
  • Review and Edit cada etapa impactada para actualizar la configuración basándote en tu cambio reciente.
  • Cancel para deshacer el cambio que acabas de realizar, llevando el pipeline a su estado anterior.
  • Skip and Merge una etapa si ya no es necesaria en el nuevo flujo.
• Discard - Esto revierte el cambio realizado en la etapa actual y restaura su configuración original, deshaciendo efectivamente la edición que acabas de aplicar. Esto es útil cuando deseas cancelar el cambio reciente debido a su impacto en el resto del pipeline.

Aquí hay un ejemplo: Supón que en la Etapa 2 usas una operación de Select Columns para incluir la columna churn_risk_score, y en la Etapa 4 aplicas una Type Conversion a esa columna. Si eliminas la columna churn_risk_score en la Etapa 2, la Etapa 4 se romperá porque depende de esa columna. QuickML detectará esto y te mostrará que la Etapa 4 está afectada. Luego tendrás la opción de volver a agregar la columna en la Etapa 2, actualizar la Etapa 4 para usar una columna diferente, u omitir la Etapa 4 completamente si ya no es necesaria.

Este enfoque te da control total sobre cómo manejar los cambios sin perder trabajo previo innecesariamente. También te ayuda a evitar la reconfiguración que consume tiempo al enfocarte solo en lo que realmente necesita tu atención.

Casos Especiales por Etapa

Comportamiento de columnas agregadas en la etapa Select/Drop: Las columnas agregadas durante la reconfiguración no impactarán la configuración de las etapas subsiguientes. Sin embargo, se listarán en el menú desplegable de Select Columns de cualquier etapa afectada, permitiéndote incluirlas si es necesario.

Comportamiento de columnas eliminadas en la etapa Merge Columns: Si una columna eliminada se utilizaba previamente en una operación de Merge Columns, debes iniciar la reconfiguración comenzando desde la etapa de Merge Columns para limpiar la dependencia y actualizar la configuración correspondientemente.

Comportamiento de columnas eliminadas en la etapa Split Columns: Si una columna eliminada se usa en Split Columns y se comparte entre dos salidas, se mostrarán dos capas de reconfiguración separadas basadas en cómo se modificó la columna.

Impacto de Add Dataset: Los cambios en la etapa Add Dataset pueden impactar todo el pipeline.

Puntos a recordar

Para aprovechar al máximo la función de reconfiguración de etapas, es importante tener en cuenta los siguientes puntos clave durante su uso.

• Manejo de recarga de página: Recargar la página durante la configuración de etapas te solicitará revertir todos los cambios o reanudar desde donde lo dejaste.
• Efecto de acciones de eliminación: Delete Connection y Delete Stage restablecen las configuraciones de las etapas sucesoras a sus valores predeterminados.
• Cancelación de reconfiguración: Cancelar la reconfiguración durante la re-ejecución revertirá todos los cambios intermedios.