פרויקט AI חדשני ויוצא דופן עבור מפא"ת

מטריקס ומפא"ת שמחים לשחרר פלטפורמת תרגום עצמאית דו כיוונית לעברית וערבית בניב ישראלי. הפלטפורמה הינה מערכת מלאה הכוללת קוד אימון ואבלואציה, מודלי תרגום בשני הכיוונים, שילוב מודלי NER בשתי השפות, שימוש בספריית תעתיק (transliteration) , מנהל מערכת וממשק משתמש אינטואיטיבי ונוח

בנוסף אנחנו מציעים שיטת אבלואציה אוטומטית חדשה לתרגום מכונה – AI-XSTS. השיטה מבוססת על פרוטוקול הדירוג האנושי XSTS (של Meta) ושואף לדמות ציונים של מדרגים אנושיים ע"י שילוב דירוגים של מודלי LLM יחד עם ציוני Comet.מטרת הפרויקט – מתן מענה לתרגום ברמה גבוהה מאד בין עברית וערבית בניב ישראלי, המאפשר הרצה בסביבה ארגונית סגורה. הההבנה שבשפות מורכבות מורפולוגית כמו עברית וערבית השיטות האוטומטיות להערכה לא נותנות מענה מדויק מספיק הובילו אותנו לנסות ולפתח שיטה אוטומטית שתיתן אינדיקציה על שיפור בתרגומי מודל. בניסויים מול בני אדם נמצאה כי לשיטה שלנו ציון קורלציה דומה לקורלציה בין מתרגמים
אנושיים שונים.

מה עשינו בפרויקט:
אימון מודל: תחילה המטרה שלנו הייתה להביא את מודל התרגום של Opus מערבית לעברית לרמת התרגום של גוגל ולכן ייצרנו סט מקבילי באמצעות google translate על בסיס חומר בערבית ישראלית מהספרייה הלאומית. לאחר מכן, על מנת לשפר ביצועים, אימנו על subset של משפטים מקוריים המתורגמים ע״י בני אדם מתוך הדאטסט Levanti – כ 42K זוגות של משפט בערבית ותרגומו לעברית.
מימוש מערכת המכילה את כל הרכיבים הנדרשים למערכת תרגום עצמאית קצה לקצה. כלל הרכיבים כולל מודל התרגום ניתנים להחלפה בקלות בהתאם להתקדמות התחום ויציאת רכיבים טובים יותר בעתיד

זיהוי ישויות (NER) –
בעברית: https://huggingface.co/dicta-il/dictabert-ner
בערבית: https://huggingface.co/hatmimoha/arabic-ner
תעתיק – gimeltra
(ממומשת גם תמיכה ב- translit-me. ניתן להחליף בין החבילות)
מנהל מערכת
ממשק משתמש
AI-XSTS

מדובר בשיטת דירוג הבוחנת עד כמה תואם תרגום מסוים את משפט המקור מבחינת ה-accuracy שלו, כלומר עד כמה המידע נשמר בתרגום. אנחנו משתמשים בהגדרה דומה לזו המתוארת במאמר של Meta שפרסם את שיטת ה-XSTS [https://arxiv.org/pdf/2205.08533]. המדרג שלנו הוא אנסמבל של דירוגים המתקבלים מ-GPT4, cohere ומודל סיווג שאומן על ציוני comet.
הערכות אנושיות בחנו את תרגומי המודל אל מול תוצאות גוגל בניסויים עם חמישה מדרגים אנושיים, ואחד לא אנושי
המדרגים האנושיים ביצעו משימת אימון ולאחר מכן משימת דירוג, ללא יכולת להתייעץ זה עם זה במהלכה. המדרגים דירגו את תרגומי גוגל ותרגומי המודל המאומן שלנו (מבלי לדעת מי זה מי ). מהניסוי עלה כי המודל שלנו מספק תרגום שקול או טוב יותר מזה של גוגל ב-84% מהמקרים.
בנוסף, מניסויים אלו עלה כי המדרג האוטומטי שלנו עומד בקורלציה 0.6 למדרגים האנושיים האחרים, כאשר בינם לבין עצמם הקורלציה נעה בין 0.5 ל-0.7

לריפו שלנו:
https://github.com/NNLP-IL/Translation
למודלים שלנו:
עברית לערבית –
https://huggingface.co/HebArabNlpProject/mt-he-ar
ערבית לעברית –
https://huggingface.co/HebArabNlpProject/mt-ar-he

בהמשך נפרסם את העבודה שלנו על AI-XSTS!
STAY TUNED

** הכתוב לעיל נלקח מתוך פוסט שפורסם על ידי טל גבע בקבוצת Machine & Deep learning Israel בפייסבוק ב-26.11.2024.