Kaosteori er ei skildring av visse ikkje-lineære dynamiske system som under visse vilkår oppfører seg som eit fenomen kjend som kaos. Eit kaotisk system er blant anna svært sensitivt til startvilkåra (populært kalla sommarfugleffekten). Som eit resultat av denne sensitiviteten vil eit system med kaotiske trekk tilsynelatande oppføre seg tilfeldig med ein eksponesiell spreiing av feil, sjølv om systemet er deterministisk på den måten at systemet er godt definert og ikkje inneheld tilfeldige parametrar. Døme på slike system er atmosfæren, solsystemet, platetektonikk, turbulente væsker, økonomi, folkevekst og mange forskjellige dissipative strukturar.
System som er matematisk kaotiske er deterministiske og har dermed ei viss orden. Denne tekniske bruken av ordet kaos strid mot vanleg språkbruk der ordet kan tyde totalt uorden. I fysikk har ein eit liknande felt kalla kvantekaosteori som studerer ikkje-deterministiske system som følgjer lovene til kvantemekanikk.
I tillegg til å ha orden i form av å vere deterministisk, har kaotiske system vanlegvis godt definerte statistikk. Til dømes er Lorenzsystemet kaotisk, men har ein klart definert struktur, som ein kan sjå på figuren til høgre. Vêret er kaotisk, medan klimastatistikk ikkje er det.