שאלה | הסבירו את ההבדל בין tokens ל types וכיצד הבדל זה משפיע על תוצאות הבייסליין הנאיבי במשימת תיוג pos tagging.

הסבירו את ההבדל בין tokens ל types וכיצד הבדל זה משפיע על תוצאות הבייסליין הנאיבי במשימת תיוג pos tagging.

שאלה #181913

טוקנים הם כל ההופעות של מילים בטקסט, בעוד שטייפים הם הצורות הייחודיות ללא חזרות. בבייסליין הנאיבי ל-POS tagging, תיוג לפי הטוקן השכיח ביותר מדויק יותר מאשר תיוג לפי הטייפ השכיח. זאת משום ש-טוקנים מתחשבים בתדירות המילים ומספקים מידע עשיר יותר על שימושן בפועל בטקסט.