המגבלה כתובה בתיעוד. השאלה היא אם מישהו קרא אותה לפני שהתחילו לעבוד

כל ספק מודל שפה מפרסם תיעוד רשמי עם מגבלות: גודל חלון הקשר, קצב בקשות מותר, ותאריך הידע האחרון של המודל. המגבלות האלה נכונות לכל שפה. המשמעות שלהן בעברית שונה, כי טקסט עברי לרוב לוקח יותר טוקנים לאותה כמות תוכן מטקסט אנגלי מקביל.

למה חלון הקשר הוא המספר שכדאי לבדוק ראשון

חלון הקשר הוא כמה טקסט המודל יכול "לראות" בבת אחת, נכנס ויוצא. עסק שמעביר לכלי AI סיכום של מסמכי פרויקט ארוכים בעברית, או היסטוריית פגישות של כמה חודשים, יכול לפגוע בתקרה הזו בלי אזהרה ברורה, כי הטוקנים של עברית נגמרים מהר יותר מהמצוין בדוגמאות האנגליות של התיעוד.

מה כדאי לבדוק לפני עבודה חוזרת, לא רק לפני קניה

1. גודל חלון הקשר בפועל למול הטקסט העברי שלכם, לא למול המספר הכללי בעמוד השיווקי. מסמך עברי של אלף מילים לרוב שוקל יותר טוקנים ממסמך אנגלי מקביל. 2. מה קורה כשעוברים את התקרה: המודל חוסם לחלוטין, או קוצץ בשקט את התחלת הטקסט? התשובה קובעת אם משימה חוזרת נכשלת בגלוי או בשקט. 3. תאריך הידע האחרון של המודל, המתועד רשמית לכל גרסה. משימה שנשענת על מחיר, תקנה או כלי שהשתנה אחרי התאריך הזה תקבל תשובה מיושנת בביטחון מלא. 4. מגבלת קצב הבקשות בתוכנית שבה משתמשים, אם המשימה החוזרת רצה על כמות גדולה של קבצים בבת אחת, לא הודעה אחת.

מה זה אומר בפועל

התיעוד הרשמי נגיש וברור, אבל הוא כתוב במונחי טוקנים כלליים ולא במונחי עברית. עסק שמריץ משימה חוזרת בעברית על מסמכים ארוכים צריך לתרגם את המספר הכללי הזה לכמות המסמכים שלו בעצמו, לפני שהוא סומך על הכלי לעבודה יומיומית, לא רק להדגמה חד פעמית.