מבוא לעיבוד שפה טבעית 2

נתונים שני מודלים מאומנים: 1. M1: מודל w2v מסוג skip-gram 2. M2: מודל BERT בשני המודלים שיכוני המילים (enbeddings) הם באותו מימד. בהנתן משפט s ומילה w במשפט, המודל מחזיר את x - וקטור השיכון של המילה במשפט. כלומר M;(s, w) = x הפונקציה SIM מקבלת שני ווקטורים ומחזירה את הדימיון הקוסינוסי ביניהם. נתונים הפסוקים הבאים: 1. וישלח ידו ויחזק בו ויהי למטה בכפו (שמות,ד, ד) 2. אם ימדו שמים מלמעלה ויחקרו מוסדי ארץ למטה (ירמיהו, לא, לו) נייצג את המחרוזת 'למטה" על ידי האות μ סמנו את החיווי הסביר ביותר!

1

שאלה #181916

		SIM(M1 (s1, μ), M1 (s2, μ)) ≥ SIM(M2(s1, μ), M2(s2, μ))
		לא ניתן לדעת
		SIM(M1(S1, μ), M1 (s2, μ)) = SIM(M2(s1, μ), M2 (s2, μ))
		SIM(M1 (s1, μ), M1 (s2, μ)) <= SIM(M2(s1, μ), M2(s2, μ))

הסבר: מודל word2vec (skip-gram) יוצר embeddings שמבוססים על הקשר סביב המילה במרחב מילים מצומצם. מודל זה יעיל בלכידת יחסים סמנטיים ישירים בין מילים קרובות בטקסט. לעומת זאת, BERT מבוסס על הבנה רחבה יותר של ההקשר, המבוססת על מבנים תחביריים ויחסים בין מילים רחוקות יותר במשפט. בגלל האופי של word2vec המתמקד בקשרים סמנטיים קרובים, הדמיון בין מילים בודדות במודלים אלו (ביחוד כאשר מדובר במילים קרובות סמנטית) יהיה גבוה יותר לעומת BERT.

מיין לפי

נתונה רשת בארכיטקטורת הטרנספורמר (transformer). האנקודר (encoder) יכול לקבל רצף באורך מקסימלי של s מילים. מימד שיכוני המילים (embeddings) של המודל הוא d. המודל מקבל קלט ספציפי W בן k מילים. נתון כי: .k=221 ,s=1024, d=200 מה יהיה מימד הווקטור המציין את מיקום המילה בקלט (ה-positional encoding vector)? נמקו את בחירתך במקום המיועד בתחתית העמוד!

1

שאלה #181923

		לא ניתן לדעת - זה פרמטר שליטה (hyperparameter) שנקבע בזמן הלמידה
		300
		לא ניתן לדעת - זה פרמטר חיצוני שנקבע שרירותית (או מניסיון) על ידי המשתמש
		1024
		200
		512
		22

כל טוקן מקבל אמבדינג לכן יש ל (k,d) ולכן גם positional encoding יהיה (k,d) שהd בעצם מסמל את המיקום של המילה

מיין לפי

מהי ההנחה הנאיבית במודל Naive Bayes ומה ההשלכה (לחיוב או לשלילה) האפשרית שלה?

1

שאלה #181924

		ההנחה היא שהפיצ'רים הם בלתי תלויים ולכן ניתן לבצע gradient descent באופן יעיל יותר
		ההנחה היא שהפיצ'רים הם בלתי תלויים. יתכן וזה לא המצב וזה יפגע בלמידה.
		ההנחה היא שהפיצ'רים תלויים אחד בשני ולכן האימון מתכנס מהר יותר. תיתכן פגיעה ב-accuracy .
		ההנחה היא שהפיצ'רים הם בלתי תלויים ולכן ניתן לבצע gradient descent באופן מקבילי

מיין לפי

הצורה הכללית של רגרסיה לוגיסטית לסיווג נתונה על ידי:

1

שאלה #181925

		נכון
		לא נכון

מיין לפי

נתון חלק ממשפט והגזירה שלו:

1

שאלה #181926

		נכון
		לא נכון

מיין לפי

המשוררת יונה וולך כתבה כי "עברית היא שפה סקס מניאקית", כלומר בעברית יש 'מין' לשמות עצם והטיית הפועל חייבת להיות בהתאמה למין של שם העצם (הילד רץ, הילדה רצה). הציעו אלגוריתם ללימוד המין הדקדוקי של שמות עצם. על האלגוריתם לתמוך בשתי פונקציות: train(params) get_gender(sentence, target noun) .המקבל משפט: (למשל, התפוח לא נפל רחוק מהעץ), ושם עצם מטרה (למשל, תפוח) ומחזיר ז' או ני בהתאם לשם העצם מהם הפרמטרים שתקבל הפונקציה train? הגדירו היטב את קורפוס האימון. הגדירו היטב את פרוצדורת האימון. האם האלגוריתם אותו הצעתם ינתח נכונה את המשפטים הבאים שלא הופיעו בקורפוס האימון (שם עצם המטרה מסומן בקו תחתון): א. הכוס עמדה על השולחן ב. השולחן עמד בסלון ג. הכוס על השולחן עמדה ליפול באם האלגוריתם שהצעתם טועה באחת או יותר מהדוגמאות, הסבירו למה.

1

שאלה #181927

		שלב 1: עיבוד מקדים (Preprocessing) טוקניזציה של המשפטים והפרדת שמות העצם. תיוג חלקי דיבר (POS Tagging) כדי לזהות שמות עצם. הפקת שורש (Stemming) או תהליך מורפולוגי אחר להפקת שורש שם העצם.
		שלב 2: איסוף תכונות (Feature Extraction) תכונות מורפולוגיות: סיומות (כמו ״ת״ לנקבה, ״ים״ לזכר רבים), אותיות השורש. תכונות סינטקטיות: מיקום שם העצם במשפט, מילים סביב שם העצם (מילות תואר, פעלים). תכונות סטטיסטיות: שכיחות של שמות עצם מסוימים בזכר או נקבה במאגר הנתונים.
		שלב 3: אימון המודל (Model Training) שימוש במודל למידת מכונה כמו Random Forest, SVM, או רשתות נוירונים. פיצול הנתונים לסט אימון וסט בדיקה לאימות המודל. אופטימיזציה של הפרמטרים באמצעות טכניקות כמו Grid Search או Random Search.
		שלב 4: זיהוי מין שם העצם (Gender Identification) הפעלת המודל על הנתונים החדשים באמצעות הפונקציה get_gender. ניתוח המאפיינים של שם העצם במצבו במשפט והסקת המין לפי התוצאות שהמודל מספק.

מיין לפי

הפסיק האוקספורדי (Oxford Comma) הוא פסיק המופיע לפני ו' החיבור במשפטי רשימה (בניגוד למה שלמדנו בשיעורי לשון בתיכון!) למשל, "אתמול ראיתי את הההורים שלי, בטמן, וקאט-וומן". מתנגדי ה-OC טוענים שבשום מקרה לא מוסיפים פסיק לפני ו' החיבור. חסידי הם טוענים שהוא הכרחי על מנת להבדיל בין משמעויות שונות: 1. ללא פסיק: "אתמול ראיתי את הההורים שלי, בטמן וקאט-וומן" משמעות המשפט היא שראיתי רק שני אנשים - ההורים שלי שהם בטמן וקאט וומן. 2. עם פסיק "אתמול ראיתי את הההורים שלי, בטמן, וקאט-וומן" משמעות המשפט היא שראיתי ארבעה אנשים - ההורים שלי+בטמן+קאט-וומן. את מחסידי ה-OC. הציעי מתווה אלגוריתמי להחלטה האם להוסיף את הפסיק החמקמק למשפט נתון. צייני את האלגוריתם בו תשתמשי, את הקורפוס לאימון, את מבנה הקלט, והאם נדרש עיבוד מקים (preprocessing) ו/או חילוץ פיצ'רים. נמקי בקצרה את בחירותייך!

1

שאלה #181929

		האלגוריתם: מודל למידת מכונה מבוסס NLP (כמו Random Forest או SVM).
		הקורפוס לאימון: טקסטים ספרותיים, מאמרים אקדמיים ומסמכים רשמיים עם וללא פסיק אוקספורדי.
		מבנה הקלט: משפטים: כל משפט בקורפוס. תיוג: כל משפט מתויג ככולל פסיק אוקספורדי (1) או לא כולל פסיק אוקספורדי (0).
		עיבוד מקדים וחילוץ פיצ'רים: עיבוד מקדים: טוקניזציה, תיוג חלקי דיבר, ניקוי טקסט. חילוץ פיצ'רים: נוכחות ועמדות פסיקים, תבניות תחביריות, אורך משפט ומספר מילים

מיין לפי

מדד ה-precision בבעיית סיווג בינארית מחושב כ:

1

שאלה #181930

		מספר הדוגמאות שסווגו על ידי המסווג כשייכות לקבוצה X והן אכן שייכות לקבוצה X, מתוך כלל הדוגמאות שסווגו לקבוצה X על ידי המסווג
		מספר הדוגמאות שסווגו על ידי המסווג כשייכות לקבוצה X והן אכן שייכות לקבוצה X, מתוך כלל הדוגמאות השייכות לקבוצה X בדטא האימון (train set)
		מדד ה-precision אינו מתאים להערכת ביצועים בבעיית סיווג בינארית אלא רק בבעיה מרובת תגיות.
		מספר הדוגמאות שסווגו על ידי המסווג כשייכות לקבוצה X והן אכן שייכות לקבוצה X, מתוך כלל הדוגמאות השייכות לקבוצה XX בדטא הבדיקה (test set)

מיין לפי

במשימת NER - זיהוי ישויות (Named-Entity Recognition) נקבל טקסט ונרצה לחלץ ממנו ישויות מסוגים ספציפיים - בדרך כלל אנשים, מקומות, חברות מסחריות וישויות גאו-פוליטיות. למשל, במשפט: "נאום הסופגניה' הוא הכינוי לנאומו המכונן של הנשיא קנדי במערב ברלין, אחרי הקמת חומת ברלין על ידי ברלין המזרחית. קנדי הכריז הגרמנית 'איש בין איין ברלינר-משפט שיכול להתפרש כתמיכה במובלעת הדמוקרטית ([גם] אני ברלינאי) או כ'אני סופגניה'". ישית במשפט הן: קנדי (PERSON), מערב ברלין (LOCATION), ברלין המזרחית (GEO-POLITICAL ENTIRY). סמנו את כל הישויות הגאו-פוליטיות במשפט הבא (סימון מילים שגויות עשוי להוריד נקודות(: .Washington and Beijing exchange threats after Trump's speech in Stockholm

1

שאלה #181931

		speech
		Washington
		in
		Stockholm
		exchange
		Beijing
		and
		threats

מיין לפי

סמנו את התשובה הנכונה

1

שאלה #181932

		A
		B
		C
		D

מיין לפי

מבוא לעיבוד שפה טבעית 2

Discuss, Learn and be Happy דיון בשאלות

מהי ההנחה הנאיבית במודל Naive Bayes ומה ההשלכה (לחיוב או לשלילה) האפשרית שלה?

הצורה הכללית של רגרסיה לוגיסטית לסיווג נתונה על ידי:

נתון חלק ממשפט והגזירה שלו:

מדד ה-precision בבעיית סיווג בינארית מחושב כ:

סמנו את התשובה הנכונה

בקשה לשינוי התשובה / תיקון שאלה gavel

בקשה למחיקת השאלהmood_bad

בקשה לשינוי התשובה / תיקון שאלה

בקשה למחיקת השאלה