מבוא לעיבוד שפה טבעית 2

לצורך הפקה אוטומטחת של מתכונים חדשים המבוססים על רכיבים שיש לכם במקרר השתמשתם בקורפוס המורכב מאוסף של ספרי בישול. למען הפשטות, השתמשתם במודל מרקובי פשוט עם יחידות באורך 5(כלומר 5-gram). אתם רוצים להזין למודל רשימה של כמה רכיבים ולקבל הצעות יצירתיות ומגוונות. נתון למדתם את המודל כראוי, אך שוד ושבר בכל פעם שאתם מזינים את הרכיבים הבסיסיים למתכון "זנב לטאה וכנפי עטלף" מתקבל בדיוק אותו מתכון. התוכלו לומר מה השתבש? בחרו בתשובה הסבירה ביותר

1

סמנו את כל התשובות הנכונות

1

נתונת מטריצת שיכוני מילים M שנלמדה בשיטת CBOW על קורפוס גדול C. כמו כן נתון מילון מילות סנטימנט ובו כמה מאות מילים ולכל אחת מהן תיוג סנטימנט חיובי או שלילי. למשל המילון יכיל את המילה 'מצויין' עם התיוג 'חיובי', ואת המילה 'כישלון' עם התיוג 'שלילי'. עליכם לתאר אלגוריתם A המקבל מילה כלשהי (שאינה בהכרח במילון הסנטימנט) ומחזיר את הסנטימנט שלה כערך בטווח (1,1-) כאשר ערכים קרובים ל-1 מצינים סנטימנט חיובי, ערכים סביבות ה-0 מציינים סנטימנט נייטרלי וערכים קרובים ל-1 מציינים סנטימנט שלילי. לאלגוריתם A גישה ל-M, C ו-SV. מגבלות: A אינו רשת נוירונים ואתם לא יכולים להשתמש ברשת נוירונים כחלק ממנו. תארו בתמציתיות (עד 120 מילה) את A והסבירו כיצד הוא יתמודד עם המילים: דיקטטורה, דמוקרטיה, מהפכה ורפורמה.

1

יהיה אלגוריתם מסוג multivariate logistic regression רק שבמקום פונקציית הSoftMax נשתמש בthanh שמחזירה ערכים בין -1 ל 1. לפני שלב האימון ניתן לכל embedding של מילה בM שמופיעה בSV את הערך של הסנטימנט שלה בתור הlabel. נאמן את A על האמבדינג של המילים שמופיעות בSV (אלה עם הlabel). לבסוף נחשב את הסנטימנט עבור כל מילה שאין לנו את הlabel שלה (לא מופיעה בSV). מכיוון שב-CBOW אנחנו מנסים להשלים רק את הילה החסרה (מילה אחת) מילים בעלות משמעות לקסיקוגרפית יקבלו ערך דומה ולכן דיקטטורה תקבל ערך של מילים הדומות לה בקורופוס C (סביר להניח מילים בעלות סנטימנט שלילי) והמילה דמוקרטיה תקבל ערך שסביר להניח שיהיה חיובי. מהפכה ורפורמה יקבלו ערך שקרוב למילים עם אמבדינג דומה בקורופוס.

מיין לפי

הינטון: באימון רשת נוירונים פשוטה מלאה (FFNN) לצורך קלסיפיקציה בינארית עדיף שהאקטיבציה בנוירון תהיה סיגמואידית. לה-קון: באימון רשת נוירונים פשוטה מלאה (FFNN) לצורך קלסיפיקציה בינארית עדיף שהאקטיבציה בנוירון תהיה פונקציית מדרגה. מי מהשניים צודק? נמקו את בחירתך במקום המיועד בתחתית העמוד!

1

שאלה #181905

		הינטון צודק מאחר ומדובר במשימת סיווג בינארית
		הינטון צודק מאחר וניתן ללמוד מכל דוגמא
		שניהם טועים - הפונקציות האלו כלל לא מתאימות לאימון מסווג בינארי
		שניהם צודקים פונקציית הסיגמואיד מקרבת פונקציית מדרגה ואין הבדל מעשי בין הפונקציות.
		לה-קון צודק מאחר וניתן ללמוד מכל דוגמא
		לה-קון צודק מאחר ומדובר במשימת סיווג בינארית

מאחר שזו פוקצית סיגמואיד, אז היא תוכל להגיד לנו עד כמה אנחנו רחוקים מהתגית, אם זה 1 או -1 בהתאמה ואז בכל פעם "למשוך" לכיוון הזה בכל אחת מהאיטרציות, ומכוון שהפונקציה מאוד תלולה סביב ה0 אז היא תמשוך בצורה מספקת איפה שהסיווג בטוח יחסית. וזאת לעומת פונקציית מדרגה שלה הנגזרת קבועה ולכן הלמידה לא תהיה משמעותית.

מיין לפי

כינוי גוף אנאפורי הוא כינוי גוף המתייחס לשם עצם שהוזכר קודם במשפט, למשל "נתנו את התפוזים לקופים כי הם היו רקובים". פעולת השיוך של כינוי הגוף לאוביקט נקרא שיוך אנאפורי - במקרה הזה 'הם' מתייחס ל'התפוזים'. מסווג אנפורי הוא מודל המקבל משפט עם אנאפורה ומחזיר את כינוי הגוף ואת שם העצם אליו הוא מתייחס. יזם נמרץ אך חלקלק מכר לכם מסווג אנאפורי מאומן כקופסה שחורה והדגים את ביצועי המסווג על כמה משפטים. א. אתם רוצים לוודא בעצמכם שהמסווג אכן עובד - כיצד תעריכו את ביצועי המסווג? תארו בקצרה את הדטא, את המטריקה (או מטריקות) שישמשו אתכם, ואת אופן הבדיקה. ב. היזם מאפשר לכם להתנסות באלגוריתם במשך שבוע. מסתבר שביצועי האלגוריתם נופלים באופן משמעותי מהביצועים עליהם דיווח היזם. מה יכולות להיות הסיבות לכך? ציינו שלוש סיבות שונות מהותית.

1

שאלה #181906

		א. הייתי מעריך את המסווג באופן הבא: הדאטא - סט של משפטים המתויגים עם שמות עצם ואנאפורה. יש לשים לב שהדאטא מכיל דוגמאות מרובות ומאוזנות ומגוונות, הייתי מדרג את הדאטא לפי רמות קושי 1 2 3 למציאת גינוי הגוף ושם העצם ומחלק גם לפי גאנר ( אקטואליה,ספרות, עברית רחוב) . עבור על משפט הייתי מפעיל את המודל ובודק את כינוי הגוף ואת שם העצם אם הוא צדק בשניהם אתן 1 או 0 אם טעה, לאחר מכן הייתי בודק recall precsion כללים, לפי רמת קושי ולפי ג'אנר כמו כן אם יש רמת ביטחון למסווג הייתי בודק ציון roc auc . כמו כן הייתי יוצר מטריצת בלבלול לפי כל חלוקה קטגוריאלית . כך לפי הצורך הפרטי שלי הייתי בודק את איכות המודל (אם אני מבקר ספרות אז רק הציונים בספרות היו מענינים אותי וכו).
		ב.1. קורפוס האימון של המודל הוא שלא מתאים לקורפוס הבדיקה (גאנר אחד בלבד - לדוגמא שייקספיר) . 2. קורפוס האימון הוא biased לגבי דוגמאות ספציפיות בלבד שהישנתון היא רבה (הקורפוס הוא un balanced). 3.יתכן כי נוצר קונספט חדש (שמות עצם חדשים- רולפס) בשפה בשבוע האחרון שבילבל את האלגוריתם .

מיין לפי

במודל מרקובי נבצע החלקת לפלאס. כלומר במידה והמודל הוא יוניגרמי שמחושב על קורפוס של N מילים ו-V מילים מה יהיה המכנה המתוקן בחישוב המוחלק לרצף של n מילים כאשר המודל הוא טריגרמי מספר המילים (tokens)בקורפוס הוא 1,000,000 מספר המילים (types)בקורפוס הוא 50,000 מספר ה-bigrams השונים בקורפוס הוא 10,000,000 ומספר ה-trigrams השונים בקורפוס הוא 100,000,000 נמק את בחירתך במקום המיועד בתחתית העמוד!

1

שאלה #181908

		count(w1w2w3) + 1, 000, 000
		count(w1w2) + 100, 000, 000
		1,050,000
		count(w1w2w3) + 10, 000, 000
		count(w1w2) + 10, 000, 000
		count(w1w2) + 50, 000
		count(w1w2w3) + 100, 000, 000
		count(w1w2w3) + 50, 000

חישוב לפלס עבור טרי גרם הוא C(w1,w2,w3)/(C(w1,w2)+V) גודל המילון הוא 50k ו הN הוא C(w1,w2) כי זה אורך הקונטקסט

מיין לפי

לפניכם אילוסטרציות של יחידות נוירולוגיות של רשתות מארכיטקטורות שונות. זמנו את התשובה הנכונה ביותר.

1

שאלה #181910

		a של RNN, וb של LSTM וc של FF
		a של LSTM , וb של RNN וc של FF
		a של RNN, וb של HMM וc של רשת שרשרת מרקובית
		a של RNN, וb של Transformer וc של FF
		a של LSTM , וb של Transformer וc של RNN

בRNN מקבלים עוד מידע מהאיטרציה הקודמת. בLSTM מקבלים גם את C שהוא המנגנון זיכרון שאומר מה לזכור ומה לשכוח. FFNN מקבל קלט ומוציא פלט.

מיין לפי

עץ הגזירה הבא מהווה דוגמה לגזירה פרוג'קטיבית

1

שאלה #181911

		נכון
		לא נכון

עץ גזירה פרוג'קטיבית זה אם כל הקשתות במשפט הן פרוג'טיביות – לדוגמה פה בין hearing->on הקשת לא פרוג'קטיבית

מיין לפי

למשימת סיווג כלשהי מימשנן רשת נוירונים בארכיטקטורה מסויימת ואנו עומדים לאמן אותה על דטא מתוייג. אנדריי הציץ מעבר לכתפנו והעיר שכדאי להוסיף גם שכבת סופטמקס על גבי ווקטור הפלט. האם אנדריי צודק או טועה, ומדוע? בחרו בתשובה הנכונה ביותר.

1

שאלה #181912

		תלוי במשימת הסיווג
		אנדריי צודק - השיכבה הנוספת מנרמלת את ווקטור הפלט להכיל רק ערכים בטווח (0,1) וכך משפרת את הלמידה
		אנדריי צודק - השיכבה הנוספת מנרמלת את ווקטור הפלט להכיל רק ערכים בטווח [0,1] וכך משפרת את הלמידה
		אנדריי צודק - השיכבה הנוספת מנרמלת את ווקטור הפלט להכיל רק ערכים בטווח [1,1–] וכך משפרת את הלמידה
		אנדריי צודק - השיכבה הנוספת הופכת את הרשת לפונקציית הסתברות וכך משפרת את הלמידה
		אנדריי צודק - השיכבה הנוספת מנרמלת את ווקטור הפלט להכיל רק ערכים בטווח (1,1–) וכך משפרת את הלמידה
		אנדרי טועה, אין סיבה להשתמש בסופטמקס

מיין לפי

הסבירו את ההבדל בין tokens ל types וכיצד הבדל זה משפיע על תוצאות הבייסליין הנאיבי במשימת תיוג pos tagging.

1

שאלה #181913

טוקנים הם כל ההופעות של מילים בטקסט, בעוד שטייפים הם הצורות הייחודיות ללא חזרות. בבייסליין הנאיבי ל-POS tagging, תיוג לפי הטוקן השכיח ביותר מדויק יותר מאשר תיוג לפי הטייפ השכיח. זאת משום ש-טוקנים מתחשבים בתדירות המילים ומספקים מידע עשיר יותר על שימושן בפועל בטקסט.

מיין לפי

		המילה הבאה נבחרת לפי תבנית קבועה שמוגדרת מראש במודל
		אתם בוחרים את המילה הבאה לפי האלף-בית מתוך רשימת רכיבים
		אתם בוחרים מילה באופן אקראי מהקונטקסט
		אתם בוחרים את המילה הבאה באמצעות הפעלת max על ההתפלגות של המילים האפשריות אחרי הקונטקסט.

		שיכוני מילים שנלמדו על ידי מודל ה-CBOW מאפשרים דירוג של הקרבה הסינטקטית בין מילים אך לא של הקרבה הסמנטית
		שיכוני מילים שנלמדו על ידי מודל הסקיפ-גראם מאפשרים דירוג של הקרבה הסמנטית בין מילים
		שיכוני מילים שנלמדו על ידי מודל ה-CBOW אינם מאפשרים דירוג של הקרבה הפרגמטית בין מילים
		שיכוני מילים שנלמדו על ידי מודל הסקיפ-גראם מאפשרים דירוג של הקרבה הסמנטית בין מילים אך לא של הקירבה הסינטקטית
		שיכוני מילים שנלמדו על ידי מודל הסקיפ-גראם מאפשרים דירוג של הקרבה הפרגמטית בין מילים
		שיכוני מילים שנלמדו על ידי מודל ה-CBOW מאפשרים דירוג של הקרבה הסמנטית בין מילים
		שיכוני מילים שנלמדו על ידי מודל ה-CBOW מאפשרים דירוג של הקרבה הפרגמטית בין מילים

מבוא לעיבוד שפה טבעית 2

Discuss, Learn and be Happy דיון בשאלות

שאלה #181899

סמנו את כל התשובות הנכונות

שאלה #181901

שאלה #181902

שאלה #181905

שאלה #181906

שאלה #181908

לפניכם אילוסטרציות של יחידות נוירולוגיות של רשתות מארכיטקטורות שונות. זמנו את התשובה הנכונה ביותר.

שאלה #181910

עץ הגזירה הבא מהווה דוגמה לגזירה פרוג'קטיבית

שאלה #181911

שאלה #181912

הסבירו את ההבדל בין tokens ל types וכיצד הבדל זה משפיע על תוצאות הבייסליין הנאיבי במשימת תיוג pos tagging.

שאלה #181913

מבוא לעיבוד שפה טבעית 2

Discuss, Learn and be Happy דיון בשאלות

סמנו את כל התשובות הנכונות

לפניכם אילוסטרציות של יחידות נוירולוגיות של רשתות מארכיטקטורות שונות. זמנו את התשובה הנכונה ביותר.

עץ הגזירה הבא מהווה דוגמה לגזירה פרוג'קטיבית

הסבירו את ההבדל בין tokens ל types וכיצד הבדל זה משפיע על תוצאות הבייסליין הנאיבי במשימת תיוג pos tagging.

בקשה לשינוי התשובה / תיקון שאלה gavel

בקשה למחיקת השאלהmood_bad

בקשה לשינוי התשובה / תיקון שאלה

בקשה למחיקת השאלה