הינטון: באימון רשת נוירונים פשוטה מלאה (FFNN) לצורך קלסיפיקציה בינארית עדיף שהאקטיבציה בנוירון תהיה סיגמואידית. לה-קון: באימון רשת נוירונים פשוטה מלאה (FFNN) לצורך קלסיפיקציה בינארית עדיף שהאקטיבציה בנוירון תהיה פונקציית מדרגה. מי מהשניים צודק? נמקו את בחירתך במקום המיועד בתחתית העמוד!

מאחר שזו פוקצית סיגמואיד, אז היא תוכל להגיד לנו עד כמה אנחנו רחוקים מהתגית, אם זה 1 או -1 בהתאמה ואז בכל פעם "למשוך" לכיוון הזה בכל אחת מהאיטרציות, ומכוון שהפונקציה מאוד תלולה סביב ה0 אז היא תמשוך בצורה מספקת איפה שהסיווג בטוח יחסית. וזאת לעומת פונקציית מדרגה שלה הנגזרת קבועה ולכן הלמידה לא תהיה משמעותית.