Hariç tutulan veri (holdout data)
Hariç tutulan veri, eğitimde bilerek kullanılmayıp modelin yeni verideki başarısını ölçmek için ayrılan örneklerdir.
Hariç tutulan veri, model eğitilirken bilerek kullanılmayan örneklerdir; doğrulama ve test veri kümeleri bu türdendir. Tıpkı sınavdan önce çözmediğiniz sorularla deneme yapmak gibi, model bu verilerle yeni durumlardaki başarısını (genelleme: daha önce görülmemiş veride iyi tahmin yapma) gösterir. Eğitim verisindeki hata, yeni verideki hatayı olduğundan daha iyi gösterebilir; bu yüzden ayrılan veriye bakılır.