למה כתיבה חוזרת בעברית דורשת בדיקה שאף כלי לא כותב לכם על עמוד המחירים

מודלי שפה נבנים ומאומנים בעיקר על טקסט אנגלי. עברית, כתפוקה שבודקים לאורך זמן ולא רק בהודעה אחת, נוטה לחשוף בעיות שלא נראות בדוגמה אחת נקייה: החזרה על אותה מילת מעבר בכל פוסט, אובדן ניקוד וסימני פיסוק בשילוב מספרים, ודריפט חזרה לניסוח שנשמע כמו תרגום.

הבעיה שהדוגמה היחידה לא מגלה

ספק שמראה דוגמת פלט אחת בעברית מוכיח שהמודל יודע עברית. הוא לא מוכיח שהמודל כותב עברית טובה בעשירית הפעם באותו שבוע. בדיוק כאן כלים נכשלים בעבודה חוזרת בשקט: לא בקריסה, אלא בשחיקה איטית של איכות שקשה לשים עליה אצבע בהודעה בודדת.

פרוטוקול בדיקה של עשרה פלטים, לא אחד

1. מפיקים עשרה טקסטים ברצף על אותו נושא ואותה הנחיה, לא עשרה נושאים שונים. משווים אחד לשני, לא רק כל אחד בנפרד לרף איכות מדומיין. 2. סופרים חזרות מבניות. כמה מהעשרה נפתחים באותה מילה או באותו מבנה משפט? חזרה גבוהה סימן לתבנית, לא לכתיבה. 3. בודקים ניקוד ופיסוק בשילוב מספרים ותאריכים, לא רק בטקסט רציף. שם נוטים להתגלות הבדלים בין כלים. 4. בודקים אם ההנחיה בעברית נשמרת או אם המודל חוזר לניסוח שמרגיש מתורגם מאנגלית באמצע הטקסט, לא רק במשפט הראשון.

מה עקרונות ההנחיה הרשמיים אומרים

התיעוד הרשמי של Anthropic להנחיית מודלים מדגיש דוגמאות קונקרטיות ובדיקה איטרטיבית של הפלט, לא הנחיה חד פעמית. זה נכון לכל שפה, אבל המשמעות בעברית גדולה יותר: אין מספיק נתוני אימון עבריים כדי שהנחיה כללית "תתקן את עצמה" בלי בדיקה אנושית על עשרות פלטים, לא על אחד.

עסק שמחליף כותב חוץ בכלי AI לתוכן שיווקי בעברית ולא הריץ את הפרוטוקול הזה על עשרה פלטים רצופים, בודק את הדוגמה של הספק. לא את הכלי שהוא הולך להשתמש בו כל שבוע.