Eine Untersuchung zeigt, dass Doge ein defektes KI-Tool verwendet hat, um Verträge bei den Angelegenheiten der Veteranen zu erhalten.

Eine Untersuchung beleuchtet die Nutzung eines fehlerhaften KI-Tools durch das DOGE und offenbart alarmierende Probleme bei der Vergabe von Aufträgen im Bereich der Veteranenangelegenheiten. Diese Situation wirft Fragen zur Effektivität der künstlichen Intelligenz in so sensiblen Bereichen auf. Die KI, die ursprünglich zur Optimierung von Entscheidungen entworfen wurde, stieß auf gravierende Fehlfunktionen und stellte ein Risiko für die Sicherheit der Veteranen dar.

Wichtige Verträge gefährdet durch schlecht informierte automatisierte Entscheidungen. Es drohen schädliche Folgen für die Qualität der Versorgung, wenn unangemessene Technologien die Menschlichkeit beeinträchtigen. Das Fehlen klarer Kriterien und das Verständnis der Fragestellungen verwandeln diese Initiative in eine Quelle bedeutender Besorgnis.

Ein fehlerhaftes KI-Tool innerhalb des DOGE

Eine aktuelle Untersuchung hat die Nutzung eines fehlerhaften künstlichen Intelligenz-Tools durch das DOGE in der Absicht aufgedeckt, Aufträge beim Ministerium für Veteranenangelegenheiten zu erhalten. Das Tool, entworfen von dem Ingenieur Sahil Lavingia, sollte Verträge analysieren und diejenigen identifizieren, die als „munchable“ gelten, das heißt, überflüssig für die wesentliche Mission der Agentur.

Die fehlerhaften Entscheidungen der KI

Lavingia räumte ein, dass das KIsystem nicht dafür entworfen wurde, solche Entscheidungen zu treffen, und gestand ein, dass Fehler gemacht wurden. Der Code der KI beschränkte sich nur auf eine Überprüfung der ersten 10.000 Zeichen der Verträge, was dazu führte, dass entscheidende Dokumente fälschlicherweise als „munchable“ eingestuft wurden, ohne echtes Urteilsvermögen. Diese Einschränkung führte zu falschen Bewertungen wichtiger Verträge im Zusammenhang mit der Sicherheit und der Kommunikation mit den Veteranen.

Unklare Begriffe und unangemessene Methoden

Die falschen Wahrnehmungen resultieren auch aus einem Mangel an Definitionen für Schlüsselbegriffe wie „grundlegende medizinische Versorgung“ oder „Leistungen“. Diese Unschärfen führten zu vagen Richtungen, die die KI falsch interpretierten. Zum Beispiel, als sie beauftragt wurde, „zu prüfen, ob die Preise angemessen erscheinen“ für Wartungsverträge, führte das Fehlen klarer Kriterien zu erfundenen Schätzungen, manchmal extravaganten.

Die Auswirkungen für die Veteranen

Im Februar plante das VA die Streichung von 875 Verträgen, die darauf abzielten, wichtige Dienste für Veteranen zu sichern. Verfechter der Veteranenangelegenheiten äußerten Bedenken und wiesen auf potenziell katastrophale Auswirkungen auf die Sicherheit der medizinischen Einrichtungen hin. Dieser Spannungszustand offenbarte ein Fehlen von Kommunikation zwischen den Beratern des DOGE und den Verantwortlichen des VA. Diese Verwirrung führte zu einer Überprüfung der Entscheidungen, wodurch die Anzahl der annulierten Verträge im März letztendlich auf etwa 585 gesenkt wurde, während nearly 900 Millionen Dollar an die Agentur umgeleitet wurden.

Die Grenzen der verwendeten Technologie

Die eingesetzte Technologie basierte auf einem allgemeinen KI-Modell, das als ungeeignet für komplexe Aufgaben im Zusammenhang mit Veteranenangelegenheiten angesehen wird. Cary Coglianese, Professor an der University of Pennsylvania, betonte, dass das Verständnis dessen, was ein Mitarbeiter des VA erreichen konnte, ein profundes Wissen über medizinische Versorgung und institutionelles Management erfordert. Die KI, in ihrer Unfähigkeit, diese Elemente zu erfassen, verursachte Störungen.

Folgen für das Personal und die Organisation

Nach etwa 55 Tagen im Dienst des DOGE wurde Lavingia entlassen, nachdem er einige seiner Entscheidungen an Journalisten weitergegeben hatte. Das Fehlen institutionellen Wissens bei einigen externen Ingenieuren trug ebenfalls zu Fehleinschätzungen bei. Die Situation brachte die Herausforderungen ans Licht, mit denen viele Neueinsteiger in Unternehmen konfrontiert sind, wenn sie mit der KI umgehen müssen, und warf Fragen zur Governance und zur Ethik der Nutzung automatisierter Systeme in sensiblen Umfeldern auf.

Die Entscheidungen des DOGE bei der Bewertung und Implementierung dieser KI-Tools werfen tiefgreifende Fragen über die Zukunft solcher Technologien in öffentlichen Verwaltungen auf, was einen Neubewertung und eine Aktualisierung der aktuellen Praktiken erforderlich macht.

FAQ zur Untersuchung über die Nutzung eines fehlerhaften KI-Tools durch das DOGE zur Vergabe von Verträgen in den Veteranenangelegenheiten

Welche Arten von Verträgen waren von der Nutzung der fehlerhaften KI betroffen?
Zu den betroffenen Verträgen gehören Aufgaben im Zusammenhang mit Sicherheitsinspektionen in den medizinischen Einrichtungen des VA, direkte Kommunikation mit den Veteranen bezüglich ihrer Leistungen und die Rekrutierung von Ärzten.

Wer war für die Programmierung der von DOGE verwendeten KI verantwortlich?
Der Ingenieur Sahil Lavingia war für die Programmierung der KI verantwortlich, die das Tool zur Bewertung von Verträgen basierend auf ihrer Relevanz für die Patientendienstleistungen entwickelt hat.

Welche Fehler machte die KI bei der Bewertung der Verträge?
Die KI bewertete die Verträge falsch, indem sie nur die ersten 10.000 Zeichen berücksichtigte und vage Definitionen verwendete, ohne kritische Begriffe zu klären, was zu inkorrekten Entscheidungen darüber führte, was „munchable“ war.

Welche Folgen ergaben sich aus der Verwendung dieses fehlerhaften KI-Tools?
Die Konsequenzen umfassen die Streichung wichtiger Verträge, was unter den Befürwortern der Veteranen Anliegen über die Sicherheit und Qualität der bereitgestellten Pflege Bedenken hervorrief.

Welche Maßnahmen wurden von der VA ergriffen, um die Situation zu bereinigen?
Die VA reduzierte die Anzahl der annullierten Verträge von 875 auf etwa 585 und leitete rund 900 Millionen Dollar an die Agentur für nicht kritische Missionen oder redundante Verträge um.

Warum ist es problematisch, dass die KI auf einem veralteten Modell erstellt wurde?
Die Nutzung eines veralteten allgemeinen KI-Modells führte zu „Halluzinationsfehlern“, bei denen die KI falsche Schätzungen für Verträge abgab, die manchmal in Millionenhöhe bewertet wurden, obwohl sie nur Tausende wert waren.

Wer war an der Bewertung der „munchable“ Verträge nach der Nutzung der KI beteiligt?
Trotz der Verwendung einer fehlerhaften KI behauptete Lavingia, dass alle als „munchable“ identifizierten Verträge von anderen Personen überprüft wurden, um falsche Entscheidungen zu vermeiden.

Was waren die Bedenken der Experten hinsichtlich der Fähigkeit der KI, die Verträge zu bewerten?
Die Experten betonten, dass die Bewertung der Tätigkeiten, die von VA-Mitarbeitern durchgeführt werden können, ein tiefes Verständnis für medizinische Versorgung und institutionelles Management erfordert, Fähigkeiten, die die KI nicht besitzt.