בגלל שיודעים מה הפלט של פונקציית ה-ReLU (אם גדול שווה 0 -> X, אחרת 0) כך שאנו יודעים את X לכן גם נדע את y כלומר אין אי וודאות ולכן האנטרופיה של y בהינתן x שווה לאפס.