İnsanların yaşamları boyunca karşılaştıkları sorunları çözüm arayışları zamanla bu çözümleri modeller üzerinde arama yaklaşımını doğurmuştur. Matematik ve bilgisayardaki gelişmeleri dış dünyanın problemlerini matematiksel olarak problemleyip bu çözümleri modelleyip çözerek bu çözümleri gerçek hayata yansıtma olanağı vermiştir.

Matematiksel modelleme tekniği öncelikle doğrusal ve az sayıda değişkenlerin kullanılmasıyla başlamıştır. Bir süre sonra doğrusallık varsayımını her problem için geçerli olmadığı anlaşılmıştır.Bu durumda doğrusal olmayan modellemeye gidilmiştir. Ancak doğrusal olmayan modellerin kendine özgü çözümleri uygulamada birçok sorunu beraberinde getirmiştir. Zamanla geliştirilen bazı yöntemlerle doğrusal olmayan modellerin hızla çözümlenmesi sağlanmış ve bu optimizasyon teorisini geliştirmiştir.

Optimizasyon; bir problemde belirli koşullar altında mümkün olan alternatifler içinden en iyisini seçmektir. Bazı durumlarda herhangi bir nedenle en iyiye ulaşmak mümkün olmayabilir.