הגעתם למגבלה באמצע עבודה? ההודעה הראשונה אחרי הפסקה עולה פי עשרות. למה, ומה עושים
רואה חשבון עובד כל השבוע על דוח שנתי באותה שיחה עם הצ'אט. הוא יוצא להפסקה, חוזר, כותב שתי מילים, ומקבל "הגעת למגבלה" הרבה לפני הזמן. הסיבה: בכל הודעה הצ'אט קורא מחדש את כל השיחה, ואחרי הפסקה ארוכה הקריאה הזאת יקרה הרבה יותר. כאן שלושה כללים שמתאימים לכל מי שעובד עם צ'אט, ולמי שעובד עם קלוד קוד, סקיל חינמי שעושה את זה לבד.
שלושת הכללים הראשונים בעמוד מתאימים לכל מי שעובד עם צ'אט, גם בחינם. ההמשך, הסקיל וההתקנה, למי שעובד עם קלוד קוד.
מה קרה לרואה החשבון? בכל הודעה, גם של שתי מילים, הצ'אט צריך את כל השיחה מההתחלה: כל טבלה וכל תשובה. אנתרופיק (Anthropic), החברה של קלוד, כותבת שהיא שומרת בצד עותק מוכן, וכל עוד הוא קיים, מה שחוזר נספר פחות מהמכסה, כלומר מכמה שמותר להשתמש לפני שמקבלים "הגעת למגבלה". לשיחה כזאת קוראים כאן חמה. אחרי זמן בלי פעילות העותק פג, השיחה קרה, וההודעה הראשונה נספרת במלואה. גם בחשבון חינמי יש מכסה, ושיחה ארוכה מנצלת אותה מהר יותר.
בקלוד קוד זה מתועד במדויק: העותק נשמר שעה. בצ'אט באתר של קלוד, אנתרופיק כותבת את זה על פרויקטים, בלי לפרסם כמה זמן. על צ'אט GPT לא מצאנו פרסום כזה.
זה קרה לי בקלוד קוד. עבדתי על מסמך בשיחה גדולה, יצאתי לשעה ורבע, חזרתי ושלחתי שלוש מילים. בבדיקה שעשיתי, ההודעה הראשונה אחרי ההפסקה עלתה פי 65 מהודעה רגילה (המדידה בהמשך). ההודעה הבאה, שלוש דקות אחר כך, שוב עלתה מחיר רגיל.
שלושה כללים, גם בלי הסקיל
בצ'אט הרגיל של קלוד (Claude) ושל צ'אט GPT (ChatGPT) עושים את זה בעצמכם:
- נושא חדש = שיחה חדשה. לא ממשיכים שיחה של פרויקט אחד לשאלה על משהו אחר. במדידה של 30 יום אצלי, שלוש שיחות ענק היו 66% מכל הצריכה.
- לפני הפסקה ארוכה מבקשים סיכום להמשך, ועוברים איתו לשיחה חדשה. בזמן שהשיחה עוד חמה, לא אחרי. "תן סיכום" אחרי שהשיחה התקררה היא הודעה יקרה כמו כל הודעה. והסיכום שווה משהו רק אם פותחים איתו שיחה חדשה וקטנה.
- חזרתם לשיחה קרה? לא לפחד. ההודעה הראשונה יקרה, השאר שוב זולות. פעם אחת זה בסדר. רק לא לצאת ולחזור לאותה שיחה ענקית כל כמה שעות.
הניסוחים המוכנים לכלל 2
מה שבסוגריים ממלאים בעצמכם. לפני שיוצאים להפסקה, או כשהשיחה כבר ארוכה:
תכתוב לי קובץ מסירה קצר, עד 30 שורות, כדי שאוכל להמשיך את העבודה הזאת בשיחה חדשה בלי להסביר מחדש. כותרת: (שם הפרויקט והנושא בכמה מילים). ואז בסדר הזה: מה נעשה, החלטות שקיבלנו, קבצים ונתיבים, מה עוד פתוח, ומה הצעד הבא. בעברית, בלי מילים מיותרות.
כשחוזרים, בשיחה חדשה. מדביקים את קובץ המסירה מתחת לשורה הזאת:
אנחנו ממשיכים עבודה משיחה קודמת. הנה קובץ המסירה. תקרא אותו, אל תבקש ממני להסביר מחדש, ותמשיך מ"הצעד הבא". אם משהו חסר לך, תשאל שאלה אחת ממוקדת. (להדביק כאן את קובץ המסירה)
בסרטון של שלוש דקות, הסיפור והכללים בקצרה:
את הסרטון הכין שולם כהן, מערכות וסוכני AI לעסקים · shulemcohen.co.il
למה זה קורה
בכל הודעה הצ'אט קורא את כל השיחה מחדש
לא רק את ההודעה החדשה. כל קובץ שהוא קרא וכל תשובה שהוא כתב, מההתחלה. שיחה ארוכה היא קריאה ארוכה, בכל פעם. כל מה שהצ'אט "רואה" כשהוא עונה נקרא הקשר, ומודדים אותו בטוקנים (חתיכות מילה, ככה הצ'אט סופר).
אחרי קריאה אחת הוא שומר עותק מוכן, לשעה
כדי שזה לא יעלה הון, אחרי שהצ'אט קרא את השיחה פעם אחת הוא שומר אותה "מוכנה" בצד. לעותק הזה קוראים מטמון, ובגללו השיחה חמה. הודעה שמגיעה כשהעותק קיים נקראת ממנו, וזה זול מאוד. כל הודעה כזאת מאפסת את השעון. בקלוד קוד, בשיחה שמדדתי, השעון היה של שעה.
אחרי שעה של שקט, ההודעה הבאה יקרה פי עשרות
עברה שעה בלי הודעה? העותק נמחק. ההודעה הבאה, גם אם היא שתי מילים, מחייבת לקרוא ולשמור את כל השיחה מחדש. למי שמשלם לפי שימוש זה כסף. במנוי זה המכסה, שנגמרת הרבה יותר מהר.
ויש עוד דבר. שיחה ענקית עולה יותר בכל הודעה, לא רק בראשונה אחרי הפסקה: שיחה של 30 אלף טוקנים זולה פי שישה משיחה של 175 אלף. היא גם מבלבלת פחות, כי יש בה פחות דברים ישנים שהצ'אט צריך להתעלם מהם. לכן כדאי לעבור לשיחה חדשה וקטנה עם סיכום.
המדידה
זאת השיחה מהסיפור שלי, מתוך קובץ התיעוד שלה בקלוד קוד. השיחה הצטברה לכ-175 אלף טוקנים, בערך ספר קטן. מה שנקרא מהעותק זול. מה שנקרא ונשמר מחדש יקר.
| הודעה | שעה | נקרא מהעותק (טוקנים, זול) | נקרא ונשמר מחדש (טוקנים, יקר) |
|---|---|---|---|
| האחרונה לפני ההפסקה | 16:04 | 173,945 | 1,169 |
| "אני מבקש סיכום", אחרי 64 דקות | 17:08 | 31,692 | 144,662 |
| השאלה הבאה, אחרי 3 דקות | 17:11 | 176,354 | 1,061 |
בבדיקה שעשיתי, ההודעה הראשונה אחרי ההפסקה עלתה פי 65 מהודעה רגילה. למי שמשלם לפי שימוש ולא במנוי, זה כסף, לפי המחירון של אנתרופיק, החברה שמאחורי קלוד. במנוי לא משלמים בדולרים אלא במכסה, והמשקל דומה: המכסה נגמרת הרבה יותר מהר.
מכאן והלאה: למי שמתקין את הסקיל
מכאן העמוד מיועד למי שעובד עם קלוד קוד. בצ'אט הרגיל מספיקים שלושת הכללים שלמעלה.
מה הסקיל עושה בשבילכם, כל יום
סקיל הוא כמה קבצים קטנים עם הוראות לקלוד קוד (Claude Code, הגרסה של קלוד שעובדת על המחשב ועל הקבצים שלכם). מתקינים פעם אחת, ומאז הוא רץ לבד בכל שיחה ובכל הודעה. אתם לא צריכים לזכור כלום.
שתי מילים שחוזרות כאן. שיחה חמה היא שיחה שעבדתם בה בשעה האחרונה, וההודעה הבאה בה זולה. אחרי שעה בלי הודעה היא קרה, וההודעה הבאה בה יקרה פי עשרות. המכסה היא כמה מותר להשתמש במנוי לפני שמקבלים "הגעת למגבלה". למה זה ככה, בחלק הקודם. ומה הסקיל עושה:
- אחרי כל תשובה נשמר סיכום להמשך, בשקט. נשמר לבד קובץ קצר: על מה השיחה, הסיכום האחרון שקלוד כתב לכם, מה ביקשתם לאחרונה, באילו קבצים הוא נגע, כמה גדולה השיחה וכמה היא לקחה מהמכסה. בלי תור נוסף של קלוד ובלי שורה בתשובה. הקובץ מתעדכן אחרי כל תשובה, משיחה של 20 אלף טוקנים ומעלה. שיחה של כמה שאלות לא צריכה אותו.
- לכל שיחה יש מספר של ארבע ספרות, למשל 1234. הוא קבוע לאותה שיחה ומופיע בסיכום.
- חוזרים אחרי הפסקה? פותחים שיחה חדשה וכותבים "ממשיכים 1234". קלוד מוצא את הסיכום לבד וממשיך מהצעד הבא, בלי להסביר מחדש ובלי לגלול. שכחתם את המספר? כותבים רק "ממשיכים", והוא מציג את השיחות האחרונות.
- מסיימים להיום? כותבים "סיימנו" (או "סוגרים", "זהו להיום", "לילה טוב"). קלוד כותב סיכום מלא בזמן שהשיחה עוד חמה, כלומר בזול: מה המטרה, מה הוא הבין עליכם ומה פסלתם, מה נעשה ומה הצעד הבא. רק הודעה קצרה שכולה סיום נחשבת; "זהו, עכשיו תעשה עוד משהו" לא מפעילה כלום. אותו דבר קורה לבד, פעם אחת, כשהשיחה עוברת 150 אלף טוקנים, כי משם כל הודעה כבר יקרה.
- חזרתם לשיחה קרה? הוא אומר כמה זה עלה. אחרי כל תשובה הוא בודק אם השיחה נקראה מחדש, ואם כן כותב בשורה אחת כמה. הוא מודד, לא מנחש לפי שעון.
- עוצר רק כשבאמת כדאי לעצור. שיחה גדולה (מעל 150 אלף טוקנים) שהעותק שלה כבר נמחק נעצרת פעם אחת, עם הסבר של שתי שורות. רוצים להמשיך בכל זאת? שולחים שוב וזה עובר. בחלון הטרמינל הוא יודע מקלוד קוד עצמו מתי העותק פג, ולא מנחש לפי שעון; החלפת מודל באמצע שיחה נחשבת גם היא להתקררות. שיחה קטנה לא נעצרת אף פעם.
- בתחתית המסך, כל הזמן: כמה גדולה השיחה, חמה או קרה ומתי היא מתקררת, כמה לקחה מהמכסה עד עכשיו, וכמה נשאר מהמכסה. במנוי יש מכסה לכל חמש שעות ומכסה לשבוע, ולכל אחת מוצגת שעת האיפוס. שורת המצב מופיעה בחלון הטרמינל של קלוד קוד; בתוסף של VS Code אין שורת מצב, ושם העצירה עובדת לפי שעון של שעה.
הכול רץ על המחשב שלכם ולא יוצא ממנו. הסקיל חינמי, וההתקנה היא הודעה אחת לקלוד קוד (בהמשך העמוד).
ההתקנה: הודעה אחת לקלוד קוד
מעתיקים את ההודעה שבתיבה (כפתור "העתקה"), מדביקים בקלוד קוד ושולחים. קלוד מוריד את הקובץ מהאתר הזה ומתקין לבד. עובד בווינדוס, במק ובלינוקס.
תתקין לי את הסקיל "שיחה חמה": תוריד את https://shulemcohen.co.il/learn/media/warm-session-skill-v2.zip, תפתח אותו לתוך התיקייה .claude/skills שבתיקיית הבית שלי, ותריץ node על הקובץ .claude/skills/warm-session/scripts/install.mjs שבתיקיית הבית, ואחר כך את אותו הקובץ עם הפרמטר --check ותראה לי מה יצא. אם Node.js לא מותקן, תגיד לי איך להתקין אותו.
באמצע קלוד ישאל כמה פעמים אם לאשר פעולה, מאשרים. בסוף הוא יכתוב "הותקן". פותחים שיחה חדשה בקלוד קוד, ומשם הכלי עובד.
מעדיפים בעצמכם? להורדת הקובץ (zip, 21 קילובייט), פותחים אותו לתוך התיקייה .claude/skills שבתיקיית הבית, ובתוך התיקייה warm-session מריצים node scripts/install.mjs. צריך Node.js במחשב.
מה ההתקנה משנה אצלכם, ומה לא
- נוגעת רק בתיקייה
.claudeשלכם. מוסיפה לקובץ ההגדרות של קלוד קוד (settings.json) שתי הוראות אוטומטיות ושורת מצב, ושומרת גיבוי של הקובץ לידו לפני כן. מה שכבר היה בקובץ נשאר. אם כבר יש לכם שורת מצב משלכם בתחתית המסך, היא לא נדרסת, ואז שורת המצב של הסקיל לא מופיעה. - שומרת קבצים רק אצלכם: קובצי הסיכום בתיקייה
.claude/handoff, וקבצי מצב קטנים (מצב העותק, מספר השיחה) בתיקייה.claude/warm-session. בנוסף, לשיחה שממשיכים בה עם "ממשיכים" נוספת כותרת ברשימת השיחות של קלוד קוד. שום דבר מזה לא יוצא מהמחשב. - לא מתחברת לשום מקום. אין בקבצים חיבור לאינטרנט, לא לשרת שלי ולא לשום חשבון. אין בהם סיסמאות או מפתחות. הקוד פתוח לקריאה בתוך הקובץ.
- הסרה: שולחים לקלוד קוד את ההודעה שבתיבה למטה, וההגדרות חוזרות למה שהיה.
תסיר את הכלי "שיחה חמה": תריץ node על הקובץ .claude/skills/warm-session/scripts/install.mjs שבתיקיית הבית שלי, עם הפרמטר --remove.
מה חשוב לדעת לפני שמסתמכים על זה
- כמה זמן השיחה נשארת חמה. בקלוד קוד, במנוי, זה שעה (כך מדדתי, וכך כתוב בתיעוד). בצ'אט באתר של קלוד יש עותק כזה, אבל כמה זמן הוא נשמר, לא פורסם. על צ'אט GPT לא מצאנו פרסום. (מי שמחובר דרך מתכנת ישירות לאנתרופיק, החברה שמאחורי קלוד: 5 דקות בברירת מחדל, ואפשר לבקש שעה.) אל תבנו על "בדיוק שעה". בנו על "כל הפסקה ארוכה עולה".
- כמה זה יקר. קריאה מהעותק עולה עשירית מקריאה רגילה ברוב המודלים (המנוע שבתוך הצ'אט), ובחלק מהמודלים החדשים של קלוד אפילו פחות: חלק עשרים או חלק ארבעים. לכן הפער הוא "פי עשרות": בבדיקה שעשיתי יצא פי 65, ובמודל רגיל זה פי 10 עד 15, תלוי אם העותק נשמר ל-5 דקות או לשעה.
- לא שווה "לחמם" את השיחה בכוח. לשלוח הודעה כל שעה רק כדי שהשיחה לא תתקרר נשמע חכם, אבל כל הודעת חימום כזאת לוקחת מהמכסה עשירית מהשיחה, ואחרי פחות מיממה זה כבר יותר מחזרה קרה אחת. הסקיל לא עושה את זה, בכוונה.
- הסקיל שותק. הוא לא מוסיף שורות לתשובות ולא עוצר שיחות קטנות. אם הוא מדבר, זה אחד משלושה: חזרתם לשיחה גדולה וקרה, כתבתם משפט סיום, או שהשיחה חצתה 150 אלף טוקנים.
- אחוזי המכסה בתחתית המסך מופיעים למי שיש לו מנוי בתשלום לקלוד (Pro או Max). שורת המצב מופיעה בחלון הטרמינל של קלוד קוד, לא בתוסף של VS Code.
- סיכום להמשך הוא לא השיחה. הוא שומר את העובדות, לא את הניואנסים. אם אתם באמצע משהו שהצ'אט "כבר הבין אתכם", מותר להמשיך באותה שיחה ולשלם פעם אחת. נושא חדש, שאלה קצרה, או שיחה שכבר צריך לגלול בה הרבה או שעברו עליה כמה ימים: שיחה חדשה.
הצעד הבא
המילה "הקשר" עוד לא ברורה? מתחילים ממה זה מודל שפה.
התמלול המלא של הסרטון
מה שנאמר בסרטון, מילה במילה. לנוחות הקריאה מחולק לפסקאות.
מה רואים בסרטון: סרטון אנכי, כמו סטטוס בטלפון, על רקע כהה. למעלה שתי תמונות עם שם: שולי, העוזר הדיגיטלי, ושולם כהן. מי שמדבר מואר, השני מעומעם. הסרטון בנוי מפרקים קצרים עם כותרת לכל אחד: חתיכות של טקסט, טוקן אחרי טוקן, זיכרון חם, שעה בלי הודעה, פי שישים וחמש, שלושה כללים, ושיחה חמה. בכל פרק שרטוט שנבנה תוך כדי: משפט שנחתך לטוקנים ומספר לכל טוקן, מונה של טוקנים שנקראו ונכתבו, עמודת שיחה עם עותק חם בצד ושעון, חותמת נמחק, פס מכסה שמתמלא, שלושה כללים ממוספרים, ובסוף מסך של קלוד קוד עם ההתקנה. הכתוביות של הקריינות בתחתית, ובסיום מופיעים האתר ומספר הטלפון.
שולם: היום גיליתי משהו על קלוד, שעלה לי ביוקר. שולי, העוזר הדיגיטלי שלי, יסביר מה קרה.
שולי: רגע, איך הצ'אט בכלל קורא?
שולי: הצ'אט לא קורא מילים כמונו. הוא חותך את הטקסט לחתיכות קטנות שנקראות טוקנים. לפעמים מילה שלמה, לפעמים חצי מילה, לפעמים רק נקודה או פסיק. כל טוקן הופך למספר, ואת המספרים האלה הוא באמת קורא.
שולי: ומי קורא את המספרים האלה? המודל שבתוך הצ'אט, זה שקוראים לו AI. כל הטוקנים נכנסים אליו, והוא מייצר את הבאים.
שולי: וככה הוא גם כותב: טוקן אחרי טוקן. כל פעם הוא מנחש מה החתיכה הבאה, לפי כל מה שכתוב לפניה. ולפי הטוקנים מודדים כמה זה עולה לכם: כל טוקן שהוא קורא, וכל טוקן שהוא כותב.
שולי: ועכשיו הסוד: בכל הודעה שאתם שולחים, הצ'אט לא קורא רק אותה. הוא קורא מחדש את כל השיחה, מההתחלה. כל שאלה, כל תשובה, כל טוקן.
שולי: זה המון עבודה, אז לקלוד יש טריק: זיכרון חם. אחרי הקריאה הראשונה הוא שומר עותק של כל הטוקנים בצד, לשעה.
שולי: הודעה חדשה בתוך השעה? במקום לקרוא את כל הטוקנים מחדש, הוא קורא מהעותק, ורק את מה שהוספתם. הרבה יותר זול. וכל הודעה כזאת מאפסת את השעון: עוד שעה.
שולי: הבעיה מתחילה כשיש שקט. עברה שעה בלי אף הודעה? העותק נמחק.
שולם: וזה מה שקרה לי. עבדתי על מסמך, שיחה גדולה. יצאתי לשעה ורבע, חזרתי, וכתבתי שתי מילים: איפה אחזנו?
שולם: ההודעה הזאת עלתה פי שישים וחמש מהודעה רגילה. העותק כבר נמחק, והוא קרא את כל הטוקנים מההתחלה. במנוי לא משלמים כסף, אבל זה אוכל את המכסה, וההודעה "הגעת למגבלה" מגיעה הרבה יותר מהר.
שולם: אז שלושה כללים. אחד: נושא חדש, שיחה חדשה.
שולם: שתיים: לפני הפסקה ארוכה מבקשים מהצ'אט סיכום להמשך: מה עשינו, מה פתוח, מה הצעד הבא. וכשחוזרים, פותחים שיחה חדשה ומדביקים את הסיכום שם.
שולם: שלוש: חזרתם בכל זאת לשיחה גדולה אחרי שעה? ההודעה הראשונה יקרה, השאר שוב זולות. רק לא לצאת ולחזור כל כמה שעות.
שולם: ולמי שעובד עם קלוד קוד, בניתי סקיל שעושה את זה לבד. שולי?
שולי: שלושה דברים. הוא כותב את הסיכום להמשך בעצמו, בסוף כל תשובה. כשחוזרים, כותבים "ממשיכים" והמספר, וממשיכים מאותה נקודה.
שולי: והוא לא מנחש. אחרי כל תשובה הוא בודק אם ההודעה באמת נקראה מחדש, ואם כן, אומר לכם בשורה אחת. הוא עוצר רק שיחה גדולה, שעברה עליה יותר משעה. ובתחתית המסך רואים כל הזמן: חם או קר, וכמה נשאר מהמכסה.
שולם: הקישור באתר שלי. שולם כהן, מערכות וסוכני AI לעסקים, ומספר הטלפון.
