Deloitte erstattet dem australischen Staat nach einem fehlerhaften Bericht über 440.000 $ Geld. Diese Situation offenbart das Ausmaß der Fehler, die mit der Verwendung von künstlicher Intelligenz in kritischen Bewertungen verbunden sind. Zu den Mängeln gehörten *offensichtliche Ungenauigkeiten*, die teilweise der eingesetzten generativen KI zur Erstellung des Berichts zugeschrieben wurden. Ein Senator brachte ein „*Problem der menschlichen Intelligenz*“, das spezifisch für die Firma war, zur Sprache und stellte Fragen zu den Praktiken der Beratungsgesellschaften. Unternehmen müssen nun die *Arbeitsmethoden* der Beratungsfirmen überdenken.
Deloitte erstattet dem australischen Staat
Deloitte hat bekanntgegeben, dass das Unternehmen beabsichtigt, einen Teilbetrag an die australische Bundesregierung zurückzuzahlen, nachdem Fehler in einem Bericht festgestellt wurden, der in Höhe von 440.000 Dollar in Auftrag gegeben wurde. Diese Entscheidung erfolgte, nachdem die Beratungsgesellschaft eingeräumt hatte, dass sie eine generative künstliche Intelligenz in den Prozess zur Erstellung des Dokuments eingebaut hatte.
Bestätigungen des Ministeriums für Arbeit
Das Ministerium für Arbeit und Beschäftigung (DEWR) hat bestätigt, dass Deloitte den letzten Teil der Finanzierung im Rahmen seines Vertrages zurückerstatten wird. Die Bedingungen dieser Transaktion werden veröffentlicht, sobald sie abgeschlossen sind. Diese Ankündigung wurde von den Vorwürfen eines Senators der Arbeiterpartei gefolgt, der die Situation als „Problem der menschlichen Intelligenz“ innerhalb des Consulting-Unternehmens bezeichnete.
Analyse der Berichte und Feststellungen
Deloitte war damit beauftragt, den gezielten Compliance-Rahmen sowie sein Computersystem zu überprüfen, das zur Automatisierung der Sanktionen im Sozialhilfe-System dient. Der ursprüngliche Bericht, der am 4. Juli veröffentlicht wurde, hob weitreichende Probleme hervor, darunter einen Mangel an „Nachvollziehbarkeit“ zwischen den Regeln des Rahmens und der Gesetzgebung, die diesen untermauert. Darüber hinaus stellte das Unternehmen „Systemfehler“ fest, die mit bestrafenden Annahmen über die Nichteinhaltung von Teilnehmern verbunden waren.
Eine Überarbeitung wurde am Freitag auf der DEWR-Website erneut veröffentlicht. Diese Maßnahme wurde durch die Offenlegung motiviert, die im Australian Financial Review im August berichtet wurde, dass mehrere Fehler, einschließlich nicht existierender Referenzen und Zitate, vorhanden waren. Dr. Christopher Rudge, ein Akademiker der Universität Sydney, wies darauf hin, dass der Bericht „Halluzinationen“ enthielt, eine Erscheinung, bei der KI-Modelle versuchen, Lücken zu schließen oder Daten falsch zu interpretieren.
Überarbeitungen des Berichts und Auswirkungen
In der aktualisierten Version des Berichts bemerkte Deloitte sofortige Änderungen bezüglich einer „kleinen Anzahl von Korrekturen“, die auf Referenzen und Fußnoten angewendet wurden. Das DEWR stellte jedoch klar, dass keine Änderungen an den im Dokument geäußerten Empfehlungen vorgenommen wurden. Ein Sprecher betonte, dass der substantielle Inhalt des ursprünglichen Berichts erhalten blieb und die Empfehlungen unverändert sind.
Deloitte stellte auch in seinem Anhang klar, dass der Einsatz von generativer künstlicher Intelligenz in einige Dominanten des Berichts integriert wurde. Diese Ankündigung bezog sich auf die Verwendung eines gebührenpflichtigen Tools, das auf dem Sprachmodell Azure OpenAI GPT – 4o basiert, lizenziert vom DEWR und gehostet auf der Azure-Infrastruktur des Ministeriums.
Reaktionen und kritische Überlegungen
Trotz dieser Überarbeitungen behauptete Deloitte, dass die künstliche Intelligenz nicht für die im Bericht festgestellten Fehler verantwortlich sei. Das Unternehmen verteidigte die ursprünglichen Schlussfolgerungen der Analyse und erklärte, dass die Änderungen die Ergebnisse oder Empfehlungen des Berichts nicht beeinflussen. Ein Sprecher von Deloitte erwähnte, dass die Angelegenheit direkt mit dem Kunden gelöst wurde.
Dr. Rudge äußerte Bedenken hinsichtlich der Legitimität des Berichts insgesamt und wies darauf hin, dass seine Schlussfolgerungen mit anderen weitgehend gestützten Beweisen übereinstimmen. Senatorin Deborah O’Neill bezeichnete die Situation als „alarmierend“ und insinuierte, dass die KI scheinbar echte menschliche Expertise ersetzt habe. Darüber hinaus deuten ihre Kommentare darauf hin, dass diejenigen, die in Betracht ziehen, mit diesen Unternehmen zu kontrahieren, Fragen zur Überprüfung der nicht KI-gebundenen Fähigkeiten stellen sollten.
Die Ermittlungen des Australian Financial Review haben mehrere fehlerhafte Referenzen im ursprünglichen Bericht aufgedeckt, darunter Phantomstudien von Professoren der Universität Sydney und der Universität Lund in Schweden. Ein falscher Verweis auf eine Gerichtsentscheidung in einer Rückerstattungsangelegenheit wurde ebenfalls entdeckt, was Lücken bei der Überprüfung der verwendeten Quellen aufzeigt.
Die Implikationen dieses Falls werfen Bedenken über die wachsende Rolle von KI bei der Erstellung qualitativ hochwertiger Inhalte auf und betonen die Notwendigkeit, einen hohen Standard in den von Beratungsgesellschaften angebotenen Dienstleistungen beizubehalten. Der Aufstieg der künstlichen Intelligenz in diesem Sektor erfordert eine tiefgehende Überlegung zu den Möglichkeiten, die Integrität und Genauigkeit der der Regierung und den Bürgern bereitgestellten Berichte zu bewahren.
Häufig gestellte Fragen
Warum erstattet Deloitte dem australischen Staat einen Teil des Betrags?
Deloitte erstattet einen Teil von 440.000 $ an den australischen Staat aufgrund einer Reihe von Fehlern in einem Bericht, den sie für das Ministerium für Arbeit und Beschäftigung erstellt haben. Der Bericht verwendete generative künstliche Intelligenz, was zu Ungenauigkeiten führte.
Welche Fehler wurden im Bericht von Deloitte festgestellt?
Der Bericht wies Probleme auf, wie einen Mangel an Nachvollziehbarkeit zwischen den Regeln des Compliance-Rahmens und der Gesetzgebung, Systemfehler und nicht existierende Referenzen zu legitimen Quellen.
Wie hat die Verwendung von künstlicher Intelligenz den Bericht beeinflusst?
Der Einsatz von künstlicher Intelligenz führte zu Halluzinationen, bei denen die KI Lücken in den Daten füllte, was zu Fehlinterpretationen und der Erstellung fiktiver Referenzen im ursprünglichen Bericht führte.
Welche Maßnahmen hat das Ministerium für Arbeit in Bezug auf den korrigierten Bericht ergriffen?
Das Ministerium für Arbeit hat bestätigt, dass es geringe Korrekturen an Referenzen und Fußnoten vorgenommen hat, jedoch keine Änderungen an den im Bericht enthaltenen Empfehlungen gab.
Hat Deloitte anerkannt, dass KI für die Fehler im Bericht verantwortlich war?
Deloitte hat die Fehler im ursprünglichen Bericht nicht eindeutig der Verwendung von künstlicher Intelligenz zugeschrieben, obwohl sie in der Anlage der korrigierten Version des Berichts einen Hinweis auf diese Verwendung hinzugefügt haben.
Welche Empfehlungen hat Deloitte in seinem aktualisierten Bericht aufrechterhalten?
Die Empfehlungen der unabhängigen Analyse wurden unverändert beibehalten; die Integrität der Schlussfolgerungen wurde laut den Aussagen des Ministeriums nicht beeinträchtigt.
Wie sollte man auf Berichte reagieren, die von Beratungsfirmen wie Deloitte erstellt wurden?
Potentiellen Kunden wird geraten sicherzustellen, dass die Ergebnisse und Empfehlungen der Berichte auf soliden menschlichen Fachkenntnissen basieren und nicht ausschließlich auf KI-Systemen.
Welche Auswirkungen könnte die Rückerstattung von Deloitte auf die Zukunft der Regierungsverträge mit Beratungsfirmen haben?
Diese Rückerstattung könnte die Regierungsbehörden dazu anregen, ihre Abhängigkeit von Beratungsfirmen zu überdenken und Anstrengungen zu unternehmen, um die menschliche Expertise innerhalb dieser Firmen zu überprüfen.
