הנדסת מערכות תוכנה ומידע מבוא לעיבוד שפה טבעית 2

לחץ כאן לכל השאלות

נתונה רשת בארכיטקטורת הטרנספורמר (transformer). האנקודר (encoder) יכול לקבל רצף באורך מקסימלי של s מילים. מימד שיכוני המילים (embeddings) של המודל הוא d. המודל מקבל קלט ספציפי W בן k מילים. נתון כי: .k=221 ,s=1024, d=200 מה יהיה מימד הווקטור המציין את מיקום המילה בקלט (ה-positional encoding vector)? נמקו את בחירתך במקום המיועד בתחתית העמוד!

1
done
כל טוקן מקבל אמבדינג לכן יש ל (k,d) ולכן גם positional encoding יהיה (k,d) שהd בעצם מסמל את המיקום של המילה
by
מיין לפי

* השאלה נוספה בתאריך: 20-07-2025