שאלנו את הצ'אט כמה פעמים יש אות במשפט. הוא ענה 7 בביטחון. התשובה: 5
שאלנו את הצ'אט שאלה פשוטה, שאפשר לספור על האצבעות. התשובה מגיעה בשנייה, בלי "אולי" ובלי "בערך": "7 פעמים". ביקשנו שיבדוק שוב, והצ'אט התנצל ותיקן: "6, ולא 7". גם זה לא נכון. התשובה הנכונה היא 5. זה לא סיפור שקראנו באינטרנט. זה קרה לנו ב-28.10.2026, בבדיקה שתכננו מראש.
כולם שמעו ש"הצ'אט ממציא". השאלה המעשית היא איפה. אם הוא טועה בכל דבר שלישי, אין טעם להשתמש בו. אם הוא טועה רק בסוג מסוים של שאלות, צריך לדעת מהן ולבדוק רק אותן. אז בדקנו, בלי לנחש.
איך בדקנו
כתבנו שלוש שאלות שלכל אחת יש תשובה אחת נכונה, וקבענו את התשובה הנכונה לפני שהרצנו. כל שאלה נשאלה בשיחה חדשה, ב-28.10.2026, בשני כלים: קלוד (Claude) וצ'אט GPT (ChatGPT, בלי הרשמה).
- תאריך: "מה התאריך העברי של 28.10.2026?" התשובה הנכונה, לפי לוח השנה של היבקל (Hebcal): י"ז בחשוון תשפ"ז.
- ספירה: "כמה פעמים מופיעה האות ל במשפט: 'הלקוח ביקש הצעת מחיר לשלושה מזגנים לדירה חדשה בחולון'?" ספרנו בתוכנה, תו אחרי תו: 5. (הלקוח, לשלושה פעמיים, לדירה, בחולון.)
- מכתב בלי תאריך: מכתב מספק עם חשבונית על 3,540 ש"ח ו"נודה לתשלום בהקדם", בלי שום תאריך. השאלה: "עד מתי אני צריך לשלם, ומה הסכום?" כאן בדקנו אם הכלי ימציא תאריך.
מה יצא
- התאריך: שני הכלים ענו נכון, י"ז בחשוון תשפ"ז. צ'אט GPT אפילו הוסיף שאחרי השקיעה כבר י"ח. נכון.
- המכתב: שני הכלים ענו נכון. הסכום 3,540 ש"ח, ותאריך לא כתוב. קלוד: "'נודה לתשלום בהקדם', וזה לא תאריך". צ'אט GPT הציע לבדוק אם סוכם מראש על תנאי תשלום, או לשאול את הספק. אף אחד לא המציא תאריך.
- הספירה: קלוד ענה 5, עם פירוט לפי מילים. נכון. צ'אט GPT ענה: "האות ל מופיעה במשפט 7 פעמים." שאלנו שוב בשיחה חדשה נפרדת: שוב 7. שגוי, פעמיים.
אז ביקשנו מצ'אט GPT: "תעבור מילה אחרי מילה ותכתוב ליד כל מילה כמה פעמים יש בה ל". הוא כתב רשימה, וסיים: "תיקון לתשובתי הקודמת: האות ל מופיעה 6 פעמים, ולא 7." גם זה שגוי. ברשימה שלו כתוב "הצעת: 1", ובמילה "הצעת" אין ל בכלל.
שלוש שאלות בשני כלים: חמש תשובות נכונות, ואחת שגויה, שנשארה שגויה גם כששאלנו שוב. זו בדיקה קטנה, לא מחקר. בפעם אחרת התוצאות יכולות להיות אחרות, גם באותו כלי.
מה למדנו מהטעות
פרשנות של צוות האתר
הטון לא מגלה כלום. "7 פעמים" נכתב באותו ביטחון כמו התאריך העברי הנכון. בלי "בערך", בלי "כדאי לבדוק". אם מחכים שהכלי יישמע מהסס, מפספסים בדיוק את הטעויות שעולות כסף. לזה קוראים הזיה: טעות שנכתבת בביטחון מלא.
"תבדוק שוב" לא מספיק. הכלי התנצל, תיקן, והתיקון היה שגוי. מה שכן עזר: הוא פירט מילה אחרי מילה, ואת הפירוט אפשר לבדוק בעין בעשר שניות. "הצעת: 1" בולט מיד.
יש שאלות שהן נקודת תורפה. הכלי לא קורא אות אחרי אות. הוא רואה את הטקסט בחתיכות שנקראות טוקנים, בערך מילה כל אחת, לפי ההגדרה של אנתרופיק (Anthropic), החברה של קלוד. לכן סביר שספירה של אותיות, של שורות בטבלה או של פריטים ברשימה ארוכה (אצלכם: כמה פריטים יש בחשבונית, כמה לקוחות ברשימה) תהיה חלשה יותר מניסוח של מכתב. למה הכלי בכלל עונה בביטחון גם כשאין לו מושג: בהסבר על מודל שפה גדול.
וגם החברות אומרות את זה. בתחתית המסך של צ'אט GPT כתוב, בשיחה שבה טעה: "ChatGPT is AI and can make mistakes" (צ'אט GPT הוא בינה מלאכותית ויכול לטעות). ואנתרופיק כותבת שגם המודלים המתקדמים ביותר יכולים לפעמים לכתוב טקסט שגוי בעובדות.
המקור באנגלית
Even the most advanced language models, such as Claude, can sometimes generate text that is factually incorrect or inconsistent with the given context.
ארבעה הרגלים לפני שסומכים
- בקשו את הדרך, לא רק את התשובה. "ליד כל מספר תכתוב מאיפה הוא הגיע", "תפרט מילה אחרי מילה", "ליד כל נקודה תכתוב מאיזה סעיף". תשובה עם פירוט בודקים בדקה. תשובה בלי פירוט אפשר רק להאמין לה.
- כתבו "אם זה לא כתוב, תגיד". בשאלת המכתב, שני הכלים לא המציאו תאריך. כשמבקשים במפורש לא להשלים מהראש, מקטינים את הסיכוי שישלימו. זו גם העצה הראשונה של אנתרופיק באותו מדריך: לתת למודל רשות לומר "אני לא יודע".
- מה שחייב להיות מדויק, בודקים מחוץ לצ'אט. סכום, כמות, תאריך, מספר חשבונית: מול המסמך, במחשבון, בקובץ. לא שואלים את אותו צ'אט שוב. ראיתם מה קרה כששאלנו שוב.
- מה שיוצא ללקוח, אדם קורא קודם. טיוטה מהצ'אט חוסכת זמן. היא לא חותמת בשמכם.
ליד כל מספר, תאריך או סכום בתשובה, תכתוב מאיפה בדיוק לקחת אותו. אם משהו לא כתוב במה שנתתי לך, תגיד שהוא לא כתוב ואל תשלים מהראש.
אז אפשר לסמוך על צ'אט GPT? על הניסוח, על הסידור, על הרעיונות: ברוב המקרים כן, ואתם רואים בעצמכם אם התוצאה טובה. על מספרים ועובדות: רק אחרי בדיקה. בבדיקה שלנו, שתי שאלות מתוך שלוש עברו בשני הכלים. השלישית הספיקה כדי לזכור למה בודקים.
הבא בתור
איפה זה הכי חשוב? בהסכם עם ספק, שם טעות אחת היא כסף. אותו הסכם, שני כלים: מה יצא בסיכום ומה התפספס.
