Gradyan inişi (gradient descent)

Gradyan inişi, kaybı (modelin tahmininin doğru cevaptan ne kadar uzak olduğunun ölçüsü) en aza indirmeye yarayan matematiksel bir tekniktir. Teknik, modelin ağırlıklarını ve sapmalarını (modelin eğitimde öğrendiği sayılar) tekrar tekrar ayarlayarak en iyi birleşimi bulmaya çalışır. Sisli bir dağdan inen biri gibi, her adımda kaybın en çok azaldığı yöne ilerlenir. Yöntem makine öğrenmesinden çok daha eskidir.