Gradient Boosting usuli kuchsiz modellar (odatda qaror daraxtlari) ansambli orqali bashoratni yaxshilashga mo‘ljallangan iterativ optimallashtirish texnikasidir. Har bir yangi model oldingi modelning xatolarini (reziduallarni) kamaytirishga o‘qitiladi. Yo‘qotish funksiyasining gradienti yordamida istiqbol belgilanadi