עבור קלט חיובי , נגזרת של הפונקציה ReLU שווה ל-

אחת מפונקציות האקטיבציה הפופולריות ביותר היא פונקציית ReLU שמאופיינת בכך שכאשר X<0 היא שווה ל-0 וכאשר X>=0 היא שווה ל-X. אז עבור קלט חיובי נקבל X ונגזרת שלו היא 1.