Die besten KI-Modelle versagen bei der Lösung der meisten Programmierprobleme

In einer Studie haben Forscher von OpenAI festgestellt, dass selbst die fortschrittlichsten KI-Modelle nicht in der Lage sind, die meisten Programmierprobleme zu lösen. Dies geschieht zu einem Zeitpunkt, an dem OpenAI-CEO Sam Altman sagt, dass «Programming at the beginning of 2025 and at the end of 2025 will be very different».

Der Bericht stützt sich auf die Ergebnisse des neu eingesetzten Benchmarks SWE-Lancer, der auf über 1400 Software-Engineering-Aufgaben basiert, die von der Freelancer-Plattform Upwork stammen.

Die Forscher testeten die drei Sprachmodelle (LLMs) o1 und GPT-4o von OpenAI und Anthropics Claude 3.5 Sonnet. Die Tests umfassten sowohl individuelle Aufgaben, wie das Beheben von Bugs, als auch Managementaufgaben, bei denen die Modelle strategische Entscheidungen treffen sollten.Die Modelle hatten keinen Zugriff auf das Internet, was bedeutete, dass sie nicht auf bereits online enthaltene Lösungen zurückgreifen konnten.

Trotz der enormen finanziellen Ressourcen, die in die analysierten Aufgaben investiert wurden, schafften es die KI-Modelle nur, oberflächliche Softwareprobleme zu beheben. Sie waren nicht in der Lage, grössere Bugs aufzuspüren oder deren Ursachen zu verstehen. Diese mangelhaften Lösungen sind wohlbekannt für jede Person, die mit KI gearbeitet hat, da diese Modelle zwar schnell agieren, jedoch oft an einem Mangel an Tiefe und Kontext leiden.

Obwohl alle getesteten LLMs in der Lage waren, «deutlich schneller als ein Mensch» zu arbeiten, können sie nicht mit der breiten Palette von Bugs und den damit verbundenen Kontexten, die ein menschlicher Entwickler versteht, umgehen. Dies führt zu ungenauen und unzureichenden Lösungen.

Claude 3.5 Sonnet schnitt dabei besser ab als die beiden Modelle von OpenAI, allerdings waren die meisten Antworten dennoch fehlerhaft.

Die Forscher stellen klar, dass kein Modell zuverlässig genug ist, um reale Programmieranliegen zu übernehmen.

Die Thematik wirft zudem ein Schlaglicht auf die bestehenden Bedenken in der Branche: Trotz der schnell voranschreitenden Entwicklung von LLMs sind diese Technologien noch nicht in der Lage, qualifizierte menschliche Ingenieure zu ersetzen.

Diese Erkenntnisse könnten für Unternehmen von Bedeutung sein, die in Erwägung ziehen, menschliche Codierer durch KI-Modelle zu ersetzen, was zu einem erheblichen Marktverdrängungsfaktor führen kann. Letztlich bleibt abzuwarten, wie sich KI im Bereich der Softwareentwicklung weiterentwickeln wird, doch die Hürden sind bis jetzt noch hoch. Das Potenzial ist vorhanden, sicher, jedoch ist es wichtig, die realistischen Grenzen der heutigen KI-Technologien im Blick zu behalten.

Testsuite «SWE-Lancer»

SWE-Lancer ist ein neuer Benchmark zur Erfassung der Fähigkeiten von fortschrittlichen KI-Modellen im Bereich Software Engineering. Diese Benchmark bündelt mehr als 1400 freiberufliche Aufgaben von der Plattform Upwork, die insgesamt mit einem Wert von einer Million US-Dollar dotiert sind. Mit einem breiten Spektrum an Aufgaben, die von einfachen Bugfixes im Wert von 50 US-Dollar bis hin zu komplexen Implementierungen von Features für bis zu 32000 US-Dollar reichen, bietet SWE-Lancer einen vielschichtigen Einblick in die Leistungsfähigkeit von KI-Modellen in der realen Welt.

LLMs sind nicht in der Lage, die Mehrheit an Coding-Problemen zu lösen