Modelado de tráfico.
Priorice el tráfico de entrenamiento frente al tráfico de inferencia para garantizar un rendimiento óptimo de la red y una asignación eficiente de recursos dentro del entorno de la infraestructura de inteligencia artificial.
Priority
Execution Context
Esta función gestiona la asignación de ancho de banda de la red, específicamente para diferenciar entre cargas de trabajo de entrenamiento de alto ancho de banda y solicitudes de inferencia sensibles a la latencia. Al implementar colas de prioridad dinámicas, evita que los trabajos de entrenamiento se detengan debido al tráfico de inferencia o viceversa. El sistema garantiza que los modelos de IA críticos reciban el rendimiento necesario, al tiempo que mantiene una baja variabilidad para aplicaciones en tiempo real, lo que impacta directamente en la eficiencia general del cálculo y en las velocidades de convergencia de los modelos, sin requerir actualizaciones de hardware.
El controlador de red identifica flujos de tráfico distintos que se originan en los clústeres de entrenamiento y en los puntos finales de inferencia.
Los pesos de prioridad se asignan dinámicamente en función de las demandas actuales de carga de trabajo y los acuerdos de nivel de servicio predefinidos.
Las cabeceras de los paquetes se modifican para reflejar los niveles de prioridad, lo que guía la infraestructura de conmutación hacia las rutas de enrutamiento óptimas.
Operating Checklist
Defina las categorías de tráfico asignando direcciones IP de origen a identificadores de entrenamiento o inferencia.
Asigne pesos de prioridad para que la capacitación reciba mayores garantías de ancho de banda durante los períodos de máxima demanda.
Configure las reglas de marcado de paquetes para incrustar etiquetas de prioridad en las cabeceras de la red.
Valide el comportamiento de la cola simulando flujos de tráfico concurrentes de entrenamiento e inferencia de alto volumen.
Integration Surfaces
Motor de Clasificación de Tráfico.
Detecta y etiqueta automáticamente los paquetes que pertenecen a sesiones de entrenamiento o inferencia, basándose en patrones de direcciones IP de origen y rangos de puertos.
Administrador de Políticas de Prioridad.
Configura parámetros de QoS, como el ancho de banda garantizado y los umbrales máximos de latencia, para cargas de trabajo de inteligencia artificial específicas.
Panel de control de monitoreo en tiempo real.
Muestra métricas en tiempo real sobre la profundidad de las colas, las tasas de pérdida de paquetes y la efectividad de la aplicación de prioridades en toda la infraestructura de red.
