{"id":2911,"date":"2026-10-06T16:03:48","date_gmt":"2026-10-06T14:03:48","guid":{"rendered":"https:\/\/lexsys.de\/?p=2911"},"modified":"2026-10-06T16:03:48","modified_gmt":"2026-10-06T14:03:48","slug":"dogbench-schreibt-ki-schon-gute-dokumentation","status":"publish","type":"post","link":"https:\/\/lexsys.de\/de\/dogbench-schreibt-ki-schon-gute-dokumentation\/","title":{"rendered":"DoGBench: Schreibt KI schon gute Dokumentation?"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\">Immer mehr Unternehmen \u00fcbertragen ihre Dokumentation an KI-Agenten. Die Idee ist verlockend: Ein Entwickler \u00e4ndert den Code, und ein Agent aktualisiert automatisch das Benutzerhandbuch. Doch wie gut ist das Ergebnis? Systematisch gemessen hatte das bisher niemand.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Das hat sich jetzt ge\u00e4ndert. Die Dokumentationsplattform Promptless hat <strong>DoGBench<\/strong> (Documentation Generation Benchmark) ver\u00f6ffentlicht, den ersten Benchmark, der pr\u00fcft, ob KI-Agenten Anwenderdokumentation erstellen k\u00f6nnen, die eine erfahrene technische Redakteurin oder ein erfahrener technischer Redakteur in der Pr\u00fcfung akzeptieren w\u00fcrde. Die kurze Antwort: <strong>noch nicht<\/strong>. (<a href=\"https:\/\/promptless.ai\/blog\/technical\/dogbench\/\" target=\"_blank\" rel=\"noreferrer noopener\">Quelle: Promptless, englisch<\/a>)<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">So funktioniert der Benchmark<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">DoGBench umfasst 292 Aufgaben aus echten Open-Source-Projekten wie Helm, PostHog und Mautic. Bei 205 davon muss die Dokumentation ge\u00e4ndert werden: neue Inhalte, Aktualisierungen oder das Entfernen veralteter Passagen. Bei den \u00fcbrigen 87 ist die richtige Antwort, die Dokumentation unver\u00e4ndert zu lassen.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Jeder Agent erh\u00e4lt das Repository im Zustand vor der \u00c4nderung sowie einen Ausl\u00f6ser, etwa eine Code\u00e4nderung oder eine gemeldete L\u00fccke in der Dokumentation. Er muss selbst entscheiden, ob Anwender betroffen sind und ob die Dokumentation \u00fcberhaupt angepasst werden muss. Bewertet werden die Ergebnisse anhand detaillierter Kriterien, die gemeinsam mit den Verantwortlichen der Projekte entwickelt wurden: Richtigkeit, Vollst\u00e4ndigkeit, Leserf\u00fchrung, Platzierung, Stil und die Konventionen des Projekts. Wer einen kritischen Fehler macht, kann f\u00fcr diese Aufgabe h\u00f6chstens 60 von 100 Punkten erreichen, egal wie gut der Rest ist.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Die Ergebnisse: gut formuliert, aber nicht verl\u00e4sslich<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Getestet wurden sieben Kombinationen aus KI-Modell und Agenten-Software. Die beste erreichte <strong>47,3 von 100 Punkten<\/strong>. Noch aufschlussreicher sind die Details:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Wann \u00e4ndern? Eine schwierige Frage.<\/strong> Manche Agenten dokumentierten interne \u00c4nderungen, die f\u00fcr Anwender keine Rolle spielen. Andere \u00fcbersahen notwendige Aktualisierungen, weil es zum Thema noch keine Seite gab. Bei Aufgaben, die keine \u00c4nderung erforderten, lagen die Agenten nur in 28,6 % bis 85,7 % der F\u00e4lle richtig.<\/li>\n\n\n<li><strong>Leser bleiben stecken.<\/strong> In einer Pr\u00fcfung von 1.267 Einreichungen hatten 45,5 % eine L\u00fccke, die Leser daran hindert, ihre Aufgabe abzuschlie\u00dfen, etwa eine fehlende Voraussetzung, ein fehlender Schritt oder eine fehlende Kontrolle.<\/li>\n\n\n<li><strong>Fehler sind schwer zu erkennen.<\/strong> 36,6 % enthielten technische Ungenauigkeiten. Diese sind oft subtil: ein falsch angegebener Standardwert oder ein Verhalten, das nur unter bestimmten Bedingungen gilt, aber als allgemeing\u00fcltig dargestellt wird. Wer nur \u00fcberfliegt, \u00fcbersieht sie leicht.<\/li>\n\n\n<li><strong>Wenig ist fehlerfrei nutzbar.<\/strong> Im besten Fall waren 39 % der gelieferten Texte frei von kritischen Fehlern.<\/li>\n\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Laut den Forschenden beginnen die Probleme schon vor dem Schreiben, n\u00e4mlich bei der Recherche. Die Agenten h\u00f6rten oft bei der ersten passenden Seite auf, f\u00fcllten L\u00fccken mit Annahmen oder beschrieben eine Schnittstelle, ohne zu pr\u00fcfen, wie Leser sie tats\u00e4chlich nutzen.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Was das f\u00fcr Ihre technische Dokumentation bedeutet<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Die Studie best\u00e4tigt, was wir bei Lexsys t\u00e4glich erleben: Gute Dokumentation entsteht nicht durch gut formulierte S\u00e4tze. Sie entsteht durch das Verst\u00e4ndnis daf\u00fcr, wer die Leser sind, was sie erreichen wollen und welche Informationen sie daf\u00fcr brauchen. Dieses Wissen steckt oft nicht im Code selbst.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">KI-Agenten k\u00f6nnen ein n\u00fctzliches Hilfsmittel sein, zum Beispiel f\u00fcr erste Entw\u00fcrfe oder um die von einer \u00c4nderung betroffenen Seiten zu finden. Ihre Ergebnisse brauchen aber die Pr\u00fcfung durch Fachleute. Die Autoren der Studie empfehlen, jeden KI-Entwurf aus Sicht der Leser zu pr\u00fcfen:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Finden Leser die Information, k\u00f6nnen sie die Schritte ausf\u00fchren und das Ergebnis \u00fcberpr\u00fcfen?<\/li>\n\n\n<li>Stimmt jede technische Aussage, und unter welchen Bedingungen gilt sie?<\/li>\n\n\n<li>Widersprechen verwandte Seiten dem neuen Inhalt, oder sind sie jetzt veraltet?<\/li>\n\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Das gilt umso mehr f\u00fcr mehrsprachige Dokumentation. Jeder Fehler im Ausgangstext vervielfacht sich mit jeder \u00dcbersetzung.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Unser Fazit<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">DoGBench liefert Dokumentationsverantwortlichen belastbare Argumente f\u00fcr das Gespr\u00e4ch mit der Gesch\u00e4ftsf\u00fchrung: KI kann die Dokumentation beschleunigen, professionelle technische Redakteure aber noch nicht ersetzen. Die besten Ergebnisse entstehen aus der Kombination: KI als Werkzeug und Fachleute, die daf\u00fcr sorgen, dass die Dokumentation Lesern wirklich hilft.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Sie m\u00f6chten KI in Ihrem Dokumentationsprozess einsetzen, ohne Qualit\u00e4t einzub\u00fc\u00dfen? <a href=\"https:\/\/lexsys.de\/de\/leistungen\/informationsdesign\/technische-dokumentation\/\">Erfahren Sie, wie wir Sie bei Ihrer technischen Dokumentation unterst\u00fctzen<\/a>.<\/p>\n\n\n","protected":false},"excerpt":{"rendered":"<p>Ein neuer Benchmark pr\u00fcft, ob KI-Agenten Anwenderdokumentation schreiben k\u00f6nnen, die einer Expertenpr\u00fcfung standh\u00e4lt. Der beste Agent erreichte 47,3 von 100 Punkten. Was das f\u00fcr Ihre Dokumentation bedeutet.<\/p>\n","protected":false},"author":2,"featured_media":2914,"comment_status":"closed","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[8],"tags":[14],"class_list":["post-2911","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-information-design","tag-technische-dokumentation"],"_links":{"self":[{"href":"https:\/\/lexsys.de\/de\/wp-json\/wp\/v2\/posts\/2911","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lexsys.de\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/lexsys.de\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/lexsys.de\/de\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/lexsys.de\/de\/wp-json\/wp\/v2\/comments?post=2911"}],"version-history":[{"count":1,"href":"https:\/\/lexsys.de\/de\/wp-json\/wp\/v2\/posts\/2911\/revisions"}],"predecessor-version":[{"id":2915,"href":"https:\/\/lexsys.de\/de\/wp-json\/wp\/v2\/posts\/2911\/revisions\/2915"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lexsys.de\/de\/wp-json\/wp\/v2\/media\/2914"}],"wp:attachment":[{"href":"https:\/\/lexsys.de\/de\/wp-json\/wp\/v2\/media?parent=2911"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/lexsys.de\/de\/wp-json\/wp\/v2\/categories?post=2911"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/lexsys.de\/de\/wp-json\/wp\/v2\/tags?post=2911"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}