ChatGPT מראה סימנים של "עצלן"

אם אתה משתמש ב- ChatGPT לביצוע משימות מקצועיות, יש סיכוי שתישארו בלי לבצע אותן. ביום חמישי האחרון, ה OpenAI חשפה ברשתות שלה שהיא חוקרת דיווחים לפיהם כלי הבינה המלאכותית התחיל לדחות בקשות של משתמשים, מה שמצביע על כך שהם צריכים לבצע משימות בעצמם או מסרב בתוקף להשלים אותן. הבעיות ב ChatGPT צפויים במידה מסוימת, בהתחשב בכך שבינה מלאכותית יכולה לעשות טעויות, אבל זה יהיה מקרה של א ChatGPT "עייף".

מאז השקתו, ה ChatGPT הוכר ככלי חדשני לאופטימיזציה של משימות בעבודה. ההערכה היא שבינה מלאכותית צברה בסיס משתמשים של 1,7 מיליארד, לפי מספרים מ- Similar Web. הכנסתו לשוק העבודה היא מציאות, לפי סקר של רויטרס/איפסוס, שנערך באוגוסט, כ-28% מ-2.625 הנשאלים (אנשי מקצוע משרדיים בארה"ב) חשפו שהם משתמשים בכלי באופן קבוע בפעילותם המקצועית. רק 22% אמרו שהמעסיקים שלהם אישרו במפורש את השימוש בכלים החיצוניים הללו.

דיווחים על קשיים עם שגיאות ChatGPT

משתמשים מביעים חוסר שביעות רצון מהתגובות החצופות של ה לוע, מה שאמור להקל על המשימות שלך. מספר יזמים, מנהלי טכנולוגיה ואנשי מקצוע אומרים כי המודלים השפה המתקדמים של OpenAI, כמו GPT-4, החלו לסרב להגיב לבקשות מסוימות. במקום זאת, הם נותנים לאנשים הוראות כיצד לבצע משימות בעצמם.

דוגמה לכך התרחשה כאשר מתיו וונסינג, מייסד סטארט-אפים, ביקש מ-GPT-4 ליצור רשימה של תאריכי לוח שנה קרובים. הבוט הציע בתחילה לנסות להשתמש בכלי אחר כדי למצוא את התשובה. בהזדמנות אחרת, כשביקשו מהצ'אטבוט ליצור כ-50 שורות קוד, התגובה כללה דוגמאות ש-Wensing יכולה להשתמש בהן כמודל כדי להשלים את המשימה ללא סיוע בינה מלאכותית, כפי שחלקה Wensing בצילומי מסך X.

ב-Reddit, משתמשים גם מדווחים על המשימה הקשה להשיג את ChatGPT להגיב כראוי למשימות שהוקצו, ולדרוש ממך לעבור לסירוגין בין מספר הנחיות עד שתגיע לתגובה הרצויה. תלונות רבות מתמקדות ביכולת של ChatGPT בכתיבת קוד, וחלקם מביעים רצון שהחברה תחזור לדגמי ה-GPT המקוריים. יתר על כן, משתמשים מציינים שגם איכות התגובות יורדת.

עדיין ביולי השנה, מחקר שנערך על ידי חוקרים בסטנפורד ובאוניברסיטת ברקלי ציין כי יכולות הבינה המלאכותית נמצאות בירידה. החוקרים ביצעו ניתוח שיטתי של הגרסאות השונות של ChatGPT, פיתוח אמות מידה קפדניות להערכת יכולת המודל במשימות מתמטיות, קידוד והנמקה חזותית.

באתגר מתמטי לזהות מספרים ראשוניים, ה ChatGPT היה לו דיוק של 97,6%, פתרון נכון של 488 מתוך 500 השאלות במרץ. עם זאת, ביוני, הדיוק ירד ל-2,4%, עם תשובה נכונה של 12 שאלות בלבד. הירידה בלטה במיוחד במיומנויות קידוד תוכנות צ'טבוט. המחקר הגיע למסקנה כי עבור GPT-4, אחוז התגובות הניתנות להפעלה ישירות ירד מ-52% במרץ ל-10% ביוני, ללא שימוש בתוספי פירוש קוד.

מה מסביר את הבעיות של ChatGPT?

במספר שרשורים ב- Reddit ואפילו בפוסטים בפורומי המפתחים של החברה עצמה OpenAI, המשתמשים הביעו חוסר שביעות רצון ודיווחו שהמערכת הפכה פחות שימושית. יתר על כן, היו השערות ששינוי זה היה מכוון מצד ה OpenAI, במטרה לחסוך מאמצים ומשאבים כספיים בהשקעות ב ChatGPT.

זה נובע מהעובדה שלמרות שזה מביא רק כמה פסקאות של טקסט, מתן תשובות נרחבות יותר דורש כמות גדולה יותר של מחקר, אשר גוזל יותר כוח חישוב. תפעול מערכות אלו נחשב ליקר עבור החברות שבבעלותן.

בעוד שעייפות הבינה המלאכותית נמשכת, משתמשים גילו דרכים משלהם לשחזר את התפקוד הרגיל של הפלטפורמה באמצעות הנחיות ספציפיות. מעניין, שואל את ChatGPT "לנשום עמוק" והוראה המספקת רק תגובות מלאות ומדויקות נראית יעילה.

בקשות אחרות הוזכרו גם כאמצעי לכוון את ה-AI לפורמט אסרטיבי יותר. בקש, למשל, כי ChatGPT ענה רק אם יש לך ידע בנושא, או בקש מהם לשאול שאלות נוספות כדי להבין את ההקשר, עוזר לשפר את התשובות. כך גם לגבי בקשת הסברים שלב אחר שלב או הנחיה למערכת להימנע מחסכון אסימונים ביצירת תוצאות.

למרות ש-OpenAI לא אישרה שהנחיות כאלה פותרות את הבעיה, דיווחים מהמשתמשים עצמם במדיה החברתית מצביעים על כך שהם עשויים להיות יעילים. בינתיים, אנחנו רק צריכים לחכות לעדכון הבא של דגם ה-AI שמביא פתרון סופי לבעיה. ChatGPT עם עצלות.

מה OpenAI אומר על "ChatGPT עייף"

לאחר שעבר משבר לאחרונה עם הזכות "כסאות מוזיקליים" הכוללים את המנכ"ל שלה, סם אלטמן, OpenAI, דרך החשבון ChatGPT ב-X, הודיעה כי היא מבקשת משוב על הדגם שלה שנראה "נעשה עצלן יותר". החברה הבהירה כי היא לא עדכנה את הדגם מאז ה-11 בנובמבר והצהירה כי הדבר לא היה מכוון:

שמענו את כל ההערות שלך על כך ש-GPT4 נעשה עצלן יותר! לא עדכנו את הדגם מאז ה-11 בנובמבר וזה בהחלט לא בכוונה. התנהגות מודל יכולה להיות בלתי צפויה ואנחנו מנסים לתקן זאת

למרות שחלק מהעובדים ייחסו חלק מהבעיות לבאג תוכנה, ה OpenAדיווחתי בשבת שהיא ממשיכה לחקור תלונות של משתמשים. בפוסט אחר באינטרנט, החברה הסבירה שהכשרת דגמי צ'אט אינו תהליך תעשייתי נקי. ראה את ההצהרה:

אימון מודלים של צ'אט אינו תהליך תעשייתי נקי. ריצות הכשרה שונות, אפילו תוך שימוש באותם מערכי נתונים, יכולים לייצר מודלים שונים באופן ניכר באישיות, בסגנון כתיבה, בהתנהגות ביטול הסכמה, בביצועי הערכה ואפילו בהטיה פוליטית. בעת השקת מודל חדש, אנו מבצעים בדיקות יסודיות הן על מדדי הערכה לא מקוונים והן על בדיקות A/B מקוונות. לאחר קבלת כל התוצאות הללו, אנו מנסים לקבל החלטה מבוססת נתונים האם המודל החדש מהווה שיפור לעומת הקודם עבור משתמשים אמיתיים.

תהליך זה דומה פחות לעדכון אתר עם תכונה חדשה ויותר כמו מאמץ מלאכותי של מספר אנשים לתכנן, ליצור ולהעריך מודל צ'אט חדש עם התנהגות חדשה! אנחנו תמיד שואפים להפוך את הדגמים שלנו ליכולים ושימושיים יותר עבור כולם על פני מיליוני מקרי שימוש. אז בבקשה תמשיכי להגיב! זה עוזר לנו להישאר מודעים לבעיית ההערכה הדינמית הזו.

האנלוגיה שבה נעשה שימוש הייתה שתהליך זה פחות דומה לעדכון אתר אינטרנט עם תכונה חדשה ויותר דומה למאמץ מלאכותי הכולל מספר אנשים לתכנן, ליצור ולהעריך מודל צ'אט חדש עם התנהגות שונה. הפנייה נעשתה למשתמשים להמשיך לספק משוב, שכן זה יכול לעזור לחברה להתמודד עם האתגרים של הערכת המודלים שלה.

ראה גם:

מקורות: Insider עסקים, עצמאי e מכ"ם טק

נסקר על ידי גלאוקון ויטל ב-12/12/23.