Ces caractéristiques proviennent à la fois des phénomènes étudiés et des outils les modélisant et sont la source de bien des difficultés dans la mise en œuvre de l'optimisation. Cette problématique est connue des expérimentateurs qui ont, bien avant l'ère numérique, dû faire face aux délais et aux coûts liés à la recherche expérimentale d'une solution acceptable. La solution, ayant notamment pour origine les travaux de Ficher, Box et Taguchi, est désormais bien établie dans les domaines où l'étude expérimentale joue un rôle prépondérant (agronomie, chimie, ...). Il s'agit de la méthode des Plans d'Expériences (ou Design of Experiments en anglais) qui se transpose très bien dans le monde numérique et que l'on appelle alors la méthode des Plans d'Expériences Numériques.
La méthode des Plans d'Expériences est particulièrement bien adaptée aux problèmes d'optimisation ayant un nombre respectable de paramètres (quelques dizaines), un coût unitaire de l'expérience élevé et des résultats soumis à des effets aléatoires.
L'ensemble de cette méthodologie est synthétisée dans le logiciel GOT.