דלויט מחזירה למדינה האוסטרלית לאחר דו"ח לקוי על סך 440,000 $. סיטואציה זו חושפת את היקף הטעויות הקשורות לשימוש בבינה מלאכותית בהערכות קריטיות. הכשלים כללו *אי דיוקים בולטים*, חלקם ייחודיים לבינה המלאכותית הגנרטיבית שנעשה בה שימוש בכתיבה. סנאטור הדגיש בעיה "של אינטליגנציה אנושית" ספציפית לגבי החברה, כשהוא מעלה שאלות על הפרקטיקות בתחום הייעוץ. חברות נדרשות כעת לשקול מחדש את *שיטות העבודה* של משרדי הייעוץ.
דלויט מחזירה למדינה האוסטרלית
דלויט הודיעה על כוונתה להחזיר לחלקה את הממשלה הפדרלית האוסטרלית בעקבות טעויות שזוהו בדו"ח שנערך בשווי 440,000 דולר. ההחלטה הזו מגיעה לאחר שחברת הייעוץ הכירה בכך שהיא כללה בינה מלאכותית גנרטיבית בתהליך כתיבת המסמך.
אישורים ממשרד התעסוקה
משרד התעסוקה והיחסים לעבודה (DEWR) אישר כי דלויט תשיב את המקדמה האחרונה של המימון בהתאם לחוזה שלה. תנאי העסקה ינוטרו ברגע שיסתיימו. הודעה זו הגיעה לאחר האשמות מצד סנאטור מהמפלגה העבודה, אשר כינה את הסיטואציה "בעיה של אינטליגנציה אנושית" בתוך החברה הייעוצית.
ניתוח הדו"ח וממצאים
דלויט הייתה אחראית לבדוק את מסגרת הציות הייעודית ואת המערכת המחשובית שלה, אשר משמשת לאוטומטיזציה של ענישות במערכת הרווחה החברתית. הדו"ח המקורי, שפורסם ב-4 ביולי, העמיד פנים של בעיות נרחבות, כולל חוסר ב"מעקב" בין הכללים של המסגרת לבין החקיקה שעומדת בבסיסה. בנוסף, החברה זיהתה "פשעים במערכת" הכוללים הנחות עונשיות לגבי אי ציות של משתתפים.
גרסה מתוקנת פורסמה מחדש ביום שישי באתר ה-DEWR. פעולה זו נובעת מהגילוי, שדווח על ידי Australian Financial Review באוגוסט, שבדו"ח היו קימות מספר טעויות, כולל הפניות וציטוטים שאינם קיימים. ד"ר כריסטופר ראג', אקדמאי מאוניברסיטת סידני, הדגיש כי בדו"ח היו "הלוצינציות", תופעה שבה מודלים של בינה מלאכותית מנסים להשלים חוסרים או מפרשים בצורה לא נכונה נתונים.
עדכוני הדו"ח והשפעה
בגרסה המעודכנת של הדו"ח, דלויט ציינה שינויים מיידיים בנוגע ל"מעט תיקונים" שהוצגו בהפניות ובהערות שוליים. עם זאת, ה-DEWR הבהיר כי לא בוצעו שינויים בהמלצות שנמסרו במסמך. דובר הדגיש כי התוכן המהותי של הדו"ח המקורי נשמר, וכי ההמלצות נותרו ללא שינוי.
דלויט ציינה גם באפנדיקס שלה כי השימוש בבינה מלאכותית גנרטיבית שולב בכמה מהדומיננטים של הדו"ח. ההודעה הזו מתייחסת לשימוש בכלי המבוסס על מודל השפה Azure OpenAI GPT – 4o, מיושר מה-DEWR ומאוחסן על תשתית Azure של המשרד.
תגובות ומחשבות ביקורתיות
למרות העדכונים, דלויט שמרה על טענה כי הבינה המלאכותית לא הייתה אחראית לטעויות שנמצאו בדו"ח שלה. החברה הגנה על הממצאים המקוריים של הניתוח, והבהירה כי השינויים לא משפיעים על התוצאות או על ההמלצות של הדו"ח. דובר של דלויט ציין כי העניין נפתר ישירות מול הלקוח.
ד"ר ראג' הביע חששות לגבי הלגיטימיות של הדו"ח בכללותו, תוך שהוא מדגיש כי הממצאים שלו תואמים ראיות אחרות המגובה היטב. הסנאטורית דבורה או'ניל כינתה את הסיטואציה "מדאיגה", מרמזת כי הבינה המלאכותית נראית כמו מחליפה של מומחיות אנושית כנה. יתרה מכך, תגובותיה מציעות כי אלו שמתכוונים להתקשר עם חברות אלו צריכים לשאול שאלות על בדיקות המיומנויות שאינן קשורות לבינה מלאכותית.
הבדיקות שהתקיימו על ידי Australian Financial Review גילו מספר הפניות שגויות בדו"ח המקורי, כולל מחקרים דמויי פנטום על ידי פרופסורים מאוניברסיטת סידני ואוניברסיטת לונד בשוודיה. גם גילוי הפניה שקרית להחלטת בית משפט במקרה של החזר כספי נמצא, מה שמציג חוסרים בבדיקת המקורות שהיו בשימוש.
השלכות המקרה הזה מעוררות חששות לגבי התפקיד ההולך וגדל של הבינה המלאכותית בייצור תוכן איכותי, כמו גם לגבי הצורך לשמור על סטנדרט גבוה בשירותים המוצעים על ידי חברות הייעוץ. העלייה בכוחו של הבינה המלאכותית בתחום זה דורשת מחשבה מעמיקה על הדרכים לשמור על שלמות ודיוק הדו"ח המוצגים לממשלות ולאזרחים.
שאלות נפוצות
מדוע דלויט מחזירה חלק מהסכום למדינה האוסטרלית?
דלויט מחזירה חלק מה440,000 $ למדינה האוסטרלית בשל סדרת טעויות בדו"ח שהופק עבור משרד היחסים לעבודה. הדו"ח השתמש בבינה מלאכותית גנרטיבית, מה שהוביל לאי דיוקים.
אילו טעויות זוהו בדו"ח של דלויט?
הדו"ח הציג בעיות כגון חוסר מעקב בין הכללים של מסגרת הציות לחקיקה, בעיות מערכת, והפניות שאינן קיימות למקורות לגיטימיים.
כיצד השפיע השימוש בבינה מלאכותית על הדו"ח?
השימוש בבינה מלאכותית הוביל להלוצינציות, שבהן הבינה המלאכותית מילאה חוסרים בנתונים, causing טעויות בפרשנויות והופעה של הפניות פיקטיביות בדו"ח המקורי.
אילו פעולות ביצע משרד היחסים לעבודה בנוגע לדו"ח המתוקן?
המשרד ליחסי עבודה אישר כי בוצעו תיקונים מינוריים בהפניות ובערות שוליים, אך לא הייתה שינוי בהמלצות שניתן בדו"ח.
האם דלויט הכירה בכך שהבינה המלאכותית אחראית לטעויות בדו"ח?
דלויט לא ייחסה בבירור את הטעויות מהדו"ח המקורי לשימוש בבינה מלאכותית, אם כי הם הוסיפו ציון לשימוש זה באפנדיקס של הגרסה המתוקנת של הדו"ח.
אלו המלצות דלויט שמרה בדו"ח המעודכן שלה?
המלצות הניתוח העצמאי נותרו כפי שהן; שלמות הממצאים לא הושפעה, وفق ההצהרות שניתנו על ידי המשרד.
כיצד צריך להגיב לדו"ח המיוצר על ידי חברות ייעוץ כמו דלויט?
מומלץ ללקוחות פוטנציאליים לבדוק כי התוצאות וההמלצות של הדו"חות מבוססות על מומחיות אנושית מבוססת ואינן תלות במערכות בינה מלאכותית.
מה ההשפעה שיכולה להיות להחזר של דלויט על עתיד החוזים הממשלתיים עם חברות ייעוץ?
החזר זה עלול לגרום לגופים ממשלתיים לשקול מחדש את התלות שלהם בחברות ייעוץ ולפעול כדי לבדוק את המומחיות האנושית בתוך חברות אלו.
