Le plus célèbre des comportements atypiques des sytèmes dynamiques non linéaires, sous forme de solutions non stationnaires, est le chaos déterministe. C'est le comportement découvert par Henri Poincaré étudiant l'effet de la Lune sur la rotation de la Terre autour du Soleil. Il a été le plus étudié, car il possède un très grand nombre de propriétés, dont je n'indiquerai ici que les plus importantes. Il se produit dans certains systèmes dynamiques non-linéaires, qui possèdent au moins 3 variables en interactions. Cette fois, le système oscille de façon irrégulière et ne reprends jamais deux fois exactement la même oscillation. Un tracé d'encéphalogramme donne une bonne idée de ce type de comportement. Si on simule sur ordinateur un systèmes d'équations différentielles dont la solution est chaotique, on peut recommencer la simulation autant de fois qu'on le veut.
Si on part exactement des mêmes valeurs initiales des variables (ce qui est souvent possible sur un ordinateur), on va retrouver à chaque fois la même trajectoire. Mais si on part de valeurs si peu que ce soit différentes des variables initiales (même à la dixième décimale près par exemple !), la trajectoire sera différente et les différences, au lieu de rester à peu près les mêmes au cours du temps, vont au contraire aller en s'accentuant. Si ce systèmes d'équations différentielles modélise un système réel, il est plus que probable qu'on ne puisse pas mesurer les valeurs des variables avec une précision absolue, donc il ne sera donc pas possible de prévoir, à long terme, le comportement du système. (Cela explique par exemple pourquoi il est impossible de prédire le temps qu'il fera à plus de quelques jours près). Ainsi, une infime différence peut entraîner des conséquences considérables. C'est ce que le mathématicien météorologiste Lorenz a popularisé avec l'image (volontairement simpliste) du papillon, dont un battement d'aile est supposé pouvoir déclencher un ouragan de l'autre côté du globe. On caractérise un chaos déterministe par le temps nécessaire pour que la valeur d'une déviation initiale soit multipliée par 10. On a de nouveau à faire à un comportement déterministe (il est reproductible si on peut le refaire fonctionner exactement de la même façon), mais il est dans la réalité non reproductible, donc non prédictible.
Cependant, le mot chaos, même associé à déterministe, est porteur de confusion. En effet, ces trajectoires chaotiques, si elles ne prennent jamais la même valeur, sont cependant contraintes (1). Repensez à l'encéphalogramme, les oscillations sont irrégulières, certes, mais pas tant que ça. Leur amplitude ne prend pas toutes les valeurs possibles ! Le chaos déterministe, ce n'est pas le grand n'importe quoi, le hasard pur, bien au contraire. Ajoutons enfin, que si un système chaotique est très sensible aux conditions initiales, tout système présentant ce type de sensibilité n'est pas forcément chaotique et il n'est pas toujours facile de déterminer si un système naturel irrégulier est ou non chaotique.
(1) Si on trace une courbe dans l'espace à 3 dimensions représentant l'évolution des valeurs des variables d'un système chaotiques à 3 variables (espace des phases), la courbe obtenue ne se recoupe jamais, mais elle se love, de façon capricieuse à l'intérieur d'un volume très particulier que l'on appelle l'attracteur étrange. Chaque systèmes a son attracteur, et leurs formes sont tout à fait diverses. Le plus célèbre, découvert pas Lorenz a une forme qui rappelle un papillon. D'autres études rapprochent ces attracteurs étranges des fractales découvertes et popularisées par le mathématicien Mandelbrot.