UTHPC - Kubernetes network connections – Intsidentide üksikasjad

Kõik teenused on töökorras!

Kubernetes network connections

Lahendatud
Halvenenud jõudlus
Algas 6 kuu eestKestis umbes 2 tundi

Mõjutatud

kubernetes.hpc.ut.ee

Halvenenud jõudlus alates 2:15 PM kuni 3:21 PM, Töökorras alates 3:21 PM kuni 3:46 PM

minu.etais.ee

Halvenenud jõudlus alates 2:15 PM kuni 3:21 PM, Töökorras alates 3:21 PM kuni 3:46 PM

UT HPC webservices

Halvenenud jõudlus alates 2:15 PM kuni 3:21 PM, Töökorras alates 3:21 PM kuni 3:46 PM

hpc.ut.ee

Halvenenud jõudlus alates 2:15 PM kuni 3:21 PM, Töökorras alates 3:21 PM kuni 3:46 PM

docs.hpc.ut.ee

Halvenenud jõudlus alates 2:15 PM kuni 3:21 PM, Töökorras alates 3:21 PM kuni 3:46 PM

registry.hpc.ut.ee

Halvenenud jõudlus alates 2:15 PM kuni 3:21 PM, Töökorras alates 3:21 PM kuni 3:46 PM

Värskendused
  • Lahendatud
    UTC
    Lahendatud

    The issue was related to the amount of connections to/from Kubernetes, our firewalls were configured to not allow that high connection rate, but as we are adding new nodes to the cluster, the base rate is exceeding the limits. The limits have been revisited, and new monitoring is being added to not have the same issue in the future.

  • Jälgimisel
    UTC
    Jälgimisel
    We implemented a fix and are currently monitoring the result.
  • Uurimisel
    UTC
    Uurimisel

    We're currently seeing higher request error and request latency rates to applications in Kubernetes. Working on trying to find a cause.