Eine Software-Demo ist keine bloße Präsentation, sondern Teil einer Evaluationssituation. Anbieter zeigen naturgemäß eher Bestszenarien, vermeiden kritische Themen und steuern das Gespräch in Richtung Abschluss. Für Einkäufer und Entscheider ist es daher meist sinnvoll, die Demo aktiv zu strukturieren, um belastbare Informationen für eine fundierte Entscheidung zu erhalten. Dieser Fragenkatalog ist nach Kategorien organisiert und enthält Fragen, die in der Praxis häufig besonders aufschlussreich sind. Wie verbreitet der KI-Einsatz in deutschen Unternehmen ist und welchen Nutzen ihm zugeschrieben wird, dokumentiert der Bitkom-Studienbericht zu Künstlicher Intelligenz [3].
Vorbereitung: Bevor die Demo beginnt
Die richtige Ausgangssituation schaffen
Bevor Sie überhaupt Fragen stellen, sollten Sie drei Dinge vorbereiten:
1. Eigene Anforderungen dokumentieren. Erstellen Sie eine priorisierte Liste Ihrer Use Cases. Unterscheiden Sie zwischen „Must-have", „Should-have" und „Nice-to-have". Ohne diese Liste laufen Sie Gefahr, sich von Funktionen beeindrucken zu lassen, die Sie nicht brauchen.
2. Demoumgebung hinterfragen. Bitten Sie den Anbieter, die Demo mit Ihren eigenen Daten oder zumindest mit realistischen Szenarien aus Ihrer Branche durchzuführen. Standarddemos verwenden optimierte Datensätze, die die Leistung des Tools übertreiben.
3. Die richtigen Personen einladen. Neben dem Entscheider sollten mindestens ein technischer Mitarbeiter (IT/Entwicklung) und ein Fachbereichsvertreter (zukünftiger Hauptnutzer) teilnehmen.
Fragenkatalog nach Kategorien
Kategorie 1: Funktionalität und Leistung
Diese Fragen prüfen, ob das Tool tatsächlich hält, was es verspricht.
| Nr. | Frage | Warum diese Frage wichtig ist |
|---|---|---|
| 1.1 | „Können Sie diesen Use Case [konkretes Szenario beschreiben] live in der Demo zeigen — nicht aus der Präsentation, sondern im Tool?" | Unterscheidet zwischen Roadmap-Versprechen und verfügbarer Funktionalität |
| 1.2 | „Was passiert, wenn die Eingabedaten unvollständig oder fehlerhaft sind? Können Sie das einmal zeigen?" | Testet die Robustheit bei nicht-idealen Bedingungen |
| 1.3 | „Wie verhält sich das Tool bei [Ihre typische Datenmenge]? Können Sie die Performance mit einem realistischen Datenvolumen demonstrieren?" | Standarddemos verwenden oft kleine Datensätze |
| 1.4 | „Welche Funktionen aus der aktuellen Version sind stabil und welche befinden sich noch im Beta-Stadium?" | Viele KI-Tools kennzeichnen Beta-Funktionen nicht transparent |
| 1.5 | „Wie oft liefert das Modell falsche oder unbrauchbare Ergebnisse? Haben Sie Zahlen zur Fehlerrate?" | Erzwingt eine ehrliche Aussage zur Zuverlässigkeit |
| 1.6 | „Können Sie ein Ergebnis zeigen, bei dem das Tool nicht optimal performt hat? Wie geht man in solchen Fällen vor?" | Kein Tool ist perfekt — wie der Anbieter mit Schwächen umgeht, ist aufschlussreich |
Kategorie 2: Integration und Technik
Für IT-Entscheider die kritischste Kategorie, da Integrationsprobleme den größten versteckten Kostenfaktor darstellen.
| Nr. | Frage | Warum diese Frage wichtig ist |
|---|---|---|
| 2.1 | „Welche APIs bieten Sie an? REST, GraphQL, Webhooks? Wie sieht die API-Dokumentation aus — können Sie sie jetzt zeigen?" | API-Qualität bestimmt die Integrationskosten |
| 2.2 | „Wie integriert sich das Tool konkret mit [Ihr CRM/ERP/bestehendes System]? Gibt es eine native Integration oder benötigen wir Middleware?" | Native Integrationen vs. Custom-Entwicklung haben massive Kostenunterschiede |
| 2.3 | „Wo werden unsere Daten gespeichert? In welcher Region? Können wir die Region wählen?" | DSGVO-Compliance erfordert Klarheit über den Datenstandort |
| 2.4 | „Unterstützen Sie Single Sign-On (SSO) und welche Protokolle (SAML, OIDC)? Ist SSO im Standardpaket enthalten oder ein kostenpflichtiges Add-on?" | SSO als kostenpflichtiges Extra ist bei KI-Tools verbreitet — Kosten: häufig 20–40 % Aufschlag |
| 2.5 | „Wie sieht Ihr Datenexport aus? In welchen Formaten können wir unsere Daten jederzeit exportieren?" | Kritisch für Exit-Strategie und Vermeidung von Vendor Lock-in |
| 2.6 | „Wie handhaben Sie Versionierung? Kann ich auf eine ältere Modellversion zurückwechseln, wenn ein Update schlechtere Ergebnisse liefert?" | KI-Modell-Updates können bestehende Workflows brechen |
| 2.7 | „Welche SLA bieten Sie für Verfügbarkeit und Antwortzeiten? Wie sah die tatsächliche Verfügbarkeit der letzten 12 Monate aus?" | SLA-Versprechen vs. tatsächliche Performance weichen oft ab |
Kategorie 3: Datenschutz und Compliance
Im DACH-Raum sind Datenschutzfragen nicht optional, sondern geschäftskritisch.
| Nr. | Frage | Warum diese Frage wichtig ist |
|---|---|---|
| 3.1 | „Werden unsere Daten zum Training Ihrer Modelle verwendet? Können wir das vertraglich ausschließen?" | Viele KI-Anbieter nutzen Kundendaten standardmäßig fürs Training |
| 3.2 | „Können Sie einen Auftragsverarbeitungsvertrag (AVV) nach Art. 28 DSGVO vorlegen? Haben Sie den bereits vorbereitet?" | Ohne AVV ist die Nutzung für EU-Unternehmen rechtlich problematisch |
| 3.3 | „Haben Sie eine Datenschutz-Folgenabschätzung (DSFA) für Ihren Service durchgeführt? Können Sie uns die Ergebnisse zur Verfügung stellen?" | Für KI-Systeme mit personenbezogenen Daten oft verpflichtend |
| 3.4 | „Wie handhaben Sie Löschanfragen von Betroffenen (Art. 17 DSGVO)? Was ist die maximale Löschfrist?" | Prüft, ob der Anbieter DSGVO-Prozesse tatsächlich implementiert hat |
| 3.5 | „Haben Sie relevante Zertifizierungen (ISO 27001, SOC 2)? Wann war das letzte Audit?" | Zertifizierungen sind ein Indikator, aber kein Beweis für Sicherheit |
| 3.6 | „Wie positionieren Sie sich im Kontext des EU AI Act? In welche Risikokategorie fällt Ihre Lösung?" | Der EU AI Act wird für viele KI-Anwendungen neue Pflichten schaffen [4] |
Kategorie 4: Kosten und Lizenzmodell
Hier werden die Fragen gestellt, die Vertriebsmitarbeiter am wenigsten mögen.
| Nr. | Frage | Warum diese Frage wichtig ist |
|---|---|---|
| 4.1 | „Was sind die tatsächlichen Gesamtkosten im ersten Jahr? Bitte listen Sie alle Posten auf: Lizenz, Implementierung, Schulung, Support, Integrationen, SSO, zusätzliche Nutzer." | Die angezeigte Lizenzgebühr ist selten der Gesamtpreis |
| 4.2 | „Wie ist die Preisstruktur: pro Nutzer, pro API-Call, pro Token, Flatrate? Wie entwickeln sich die Kosten bei steigender Nutzung?" | Token-basierte Modelle können bei hoher Nutzung teuer werden |
| 4.3 | „Gibt es eine Preissteigerungsklausel bei Vertragsverlängerung? Wie hoch waren die Preisanpassungen in den letzten zwei Jahren?" | Viele KI-Anbieter erhöhen Preise bei Verlängerung um 10–25 % |
| 4.4 | „Bieten Sie eine Testphase an, bevor wir uns vertraglich binden? Wenn ja, mit vollem Funktionsumfang?" | Free-Tier-Testphasen haben oft eingeschränkte Funktionen, die kein realistisches Bild vermitteln |
| 4.5 | „Was passiert mit unseren Daten und Konfigurationen, wenn wir den Vertrag kündigen? Wie lange haben wir Zugriff?" | Klärt die Exit-Bedingungen vorab |
| 4.6 | „Gibt es Mindestvertragslaufzeiten? Gibt es eine Ausstiegsklausel, wenn das Tool die vereinbarten KPIs nicht erreicht?" | Performance-basierte Ausstiegsklauseln sind selten, aber verhandelbar |
Kalkulationsbeispiel: Versteckte Kosten einer KI-Plattform
| Kostenposition | Angezeigt im Vertriebsgespräch | Tatsächliche Gesamtkosten |
|---|---|---|
| Jahreslizenz (10 Nutzer) | 18.000 EUR | 18.000 EUR |
| SSO-Integration | „inklusive" | 3.600 EUR/Jahr (separates Add-on) |
| Implementierung | „einfaches Setup" | 8.000–15.000 EUR (Dienstleistung) |
| Schulung | „Self-Service-Dokumentation" | 3.000–6.000 EUR (wenn professionell) |
| Premium-Support | nicht erwähnt | 4.000–8.000 EUR/Jahr |
| Zusätzliche API-Calls über Kontingent | nicht erwähnt | 2.000–5.000 EUR/Jahr (variabel) |
| Angenommene Kosten | 18.000 EUR | |
| Realistische Kosten (Jahr 1) | 38.600–55.600 EUR |
Die Werte in dieser Tabelle basieren auf Branchenschätzungen, Praxiserfahrungswerten und marktüblichen Angaben.
Die Differenz zwischen angezeigtem und tatsächlichem Preis kann den Faktor 2–3 erreichen. Diese Fragen vorab zu stellen, verhindert unangenehme Überraschungen nach Vertragsabschluss.
Kategorie 5: Support und Weiterentwicklung
| Nr. | Frage | Warum diese Frage wichtig ist |
|---|---|---|
| 5.1 | „Wie sieht Ihr Supportmodell aus? Reaktionszeiten, Kanäle, Abdeckung (Zeitzonen)? Was ist im Standardpaket enthalten?" | Support ist der Bereich, in dem Erwartung und Realität am häufigsten auseinanderklaffen |
| 5.2 | „Können wir mit dem Produktteam sprechen, nicht nur mit dem Vertrieb?" | Produktmanager geben ehrlichere Einschätzungen als Vertriebsmitarbeiter |
| 5.3 | „Wie sieht Ihre Produkt-Roadmap für die nächsten 12 Monate aus? Welche der angekündigten Features sind fest geplant vs. unter Vorbehalt?" | Unterscheidet zwischen verbindlichen Zusagen und Wunschdenken |
| 5.4 | „Wie handhaben Sie Breaking Changes? Werden Kunden vorab informiert? Gibt es Übergangsfristen?" | KI-Tools ändern sich schneller als klassische Software |
| 5.5 | „Wie groß ist Ihr Entwicklungsteam? Wie viele Kunden betreuen Sie aktuell?" | Gibt Hinweise auf die Kapazität für Weiterentwicklung und Support |
Kategorie 6: Referenzen und Nachweise
| Nr. | Frage | Warum diese Frage wichtig ist |
|---|---|---|
| 6.1 | „Können Sie uns drei Referenzkunden aus unserer Branche und Unternehmensgröße nennen, die wir direkt kontaktieren dürfen?" | Indirekte Referenzen über den Anbieter sind wertlos |
| 6.2 | „Wie viele Kunden nutzen die Funktionen, die für uns relevant sind, aktiv im Produktivbetrieb?" | Prüft, ob die Funktion getestet und bewährt ist |
| 6.3 | „Haben Sie Kunden, die das Tool nach der Testphase nicht weitergenutzt haben? Was waren die häufigsten Gründe?" | Kein Anbieter beantwortet diese Frage gern, aber die Antwort ist sehr aufschlussreich |
| 6.4 | „Wie hoch ist Ihre Kundenbindungsrate (Retention Rate)? Wie hat sie sich in den letzten 12 Monaten entwickelt?" | Eine sinkende Retention Rate ist ein Warnsignal |
Taktische Hinweise für die Demo
Sinnvolle Vorgehensweisen
- Bestehen Sie auf Live-Demos, nicht auf aufgezeichneten Videos. Nur Live-Demonstrationen zeigen das tatsächliche Verhalten des Tools.
- Bringen Sie eigene Testdaten mit. Bitten Sie den Anbieter vorab, Ihre Daten in die Demo-Umgebung zu laden.
- Machen Sie sich Notizen mit Zeitstempeln. „Bei Minute 23 wurde Feature X gezeigt, funktionierte nicht auf Anhieb" ist wertvoller als „Tool wirkte gut".
- Stellen Sie offene Fragen. „Wie lösen Sie das?" statt „Können Sie das?" — bei Ja/Nein-Fragen lautet die Antwort fast immer „Ja".
- Fordern Sie einen technischen Deep-Dive. Wenn die erste Demo überzeugt, verlangen Sie eine zweite Demo mit Ihrem IT-Team und einem technischen Ansprechpartner des Anbieters.
Weniger sinnvolle Vorgehensweisen
- Lassen Sie sich nicht von der Präsentation leiten. Halten Sie Ihren Fragenkatalog parat und arbeiten Sie ihn ab, auch wenn der Vertriebsmitarbeiter das Gespräch in eine andere Richtung steuert.
- Unterschreiben Sie nichts in der Demo. „Dieses Angebot gilt nur heute" ist ein Druckmittel, kein Argument. Seriöse Anbieter geben Ihnen eine angemessene Bedenkzeit.
- Vergleichen Sie nicht Äpfel mit Birnen. Wenn Sie mehrere Tools evaluieren, verwenden Sie denselben Fragenkatalog und dieselben Testdaten für jede Demo.
Bewertungsmatrix nach der Demo
Nutzen Sie diese Matrix, um verschiedene Anbieter vergleichbar zu bewerten.
| Bewertungskriterium | Gewichtung | Anbieter A | Anbieter B | Anbieter C |
|---|---|---|---|---|
| Funktionsabdeckung Must-haves | 30 % | _/10 | _/10 | _/10 |
| Integrationstiefe | 20 % | _/10 | _/10 | _/10 |
| Datenschutz/Compliance | 15 % | _/10 | _/10 | _/10 |
| Gesamtkosten (TCO) | 15 % | _/10 | _/10 | _/10 |
| Support und Roadmap | 10 % | _/10 | _/10 | _/10 |
| Referenzen und Nachweise | 10 % | _/10 | _/10 | _/10 |
| Gewichtete Gesamtpunktzahl | 100 % | _/10 | _/10 | _/10 |
Praxisbeispiel: Evaluierung einer KI-Plattform für Dokumentenverarbeitung
Ein Versicherungsunternehmen mit 800 Mitarbeitern evaluierte drei KI-Plattformen zur automatisierten Dokumentenverarbeitung (Schadenmeldungen, Policen, Korrespondenz). Das Volumen: ca. 15.000 Dokumente pro Monat.
Vorgehen:
- Fragenkatalog mit 30 priorisierten Fragen erstellt
- Eigene Testdaten (anonymisiert) an alle drei Anbieter vorab gesendet
- Zwei Demo-Runden: erste Runde allgemein, zweite Runde technischer Deep-Dive
- Bewertung durch ein vierköpfiges Team (IT-Leiter, Fachabteilung, Datenschutz, Einkauf)
Erkenntnisse aus den Demos:
Anbieter A: Zeigte eine beeindruckende Demo mit optimierten Daten. Auf die Frage nach der Fehlerrate mit den eigenen Testdaten des Kunden räumte der Anbieter ein, dass die Erkennung bei handschriftlichen Dokumenten „noch in der Optimierung" sei. Die tatsächliche Erkennungsrate bei den Testdaten lag bei 71 % statt der beworbenen 95 %.
Anbieter B: Konnte die Demo mit den Kundendaten durchführen, zeigte transparent eine Erkennungsrate von 82 %. Der Anbieter wies aktiv auf Schwächen bei bestimmten Dokumenttypen hin und bot eine kostenlose Optimierungsphase an.
Anbieter C: Konnte keinen Referenzkunden aus der Versicherungsbranche benennen. Auf die Frage nach der Kundenbindungsrate wich der Vertrieb aus. Die Preise lagen 40 % unter den Wettbewerbern, es fehlte jedoch eine AVV-Vorlage.
Entscheidung: Anbieter B, trotz des mittleren Preises (28.000 EUR/Jahr), weil Transparenz, Branchenerfahrung und DSGVO-Compliance den Ausschlag gaben. Die Differenz zu Anbieter C (16.800 EUR/Jahr) wurde durch das geringere Implementierungsrisiko und die nachweisbare Erkennungsrate mehr als kompensiert.
Rückblick nach 12 Monaten: Die tatsächliche Erkennungsrate stabilisierte sich nach einer dreimonatigen Optimierungsphase bei 87 %. Die Zeitersparnis bei der Dokumentenverarbeitung betrug ca. 400 Stunden pro Monat. Der ROI lag bei geschätzten 180 %.
Fazit und Einordnung
Eine strukturierte Demo-Evaluierung ist der wichtigste Schritt vor der Kaufentscheidung. Die Demo sollte Ihren Bedarf prüfen, nicht das Marketing des Anbieters bestätigen.
Einordnung für die Praxis:
1. Ein eigener Fragenkatalog vor jeder Demo verbessert die Vergleichbarkeit deutlich. Die Fragen aus diesem Artikel können dabei als Ausgangspunkt dienen.
2. Demos mit eigenen oder realitätsnahen Daten liefern meist die belastbareren Aussagen. Standarddemos zeigen eher Bestszenarien.
3. Eine schriftliche Dokumentation der Zusagen erhöht die Nachvollziehbarkeit. Relevante Aussagen aus der Demo lassen sich so später besser mit Vertragsunterlagen abgleichen.
4. Mehrere Demo-Runden können die Bewertungssicherheit erhöhen. Eine Runde für den Überblick und eine für den technischen Deep-Dive ist in vielen Fällen praktikabel.
5. Ein systematischer Vergleich reduziert den Einfluss subjektiver Eindrücke. Eine einheitliche Bewertungsmatrix kann hier helfen.
6. Besonders aufschlussreich sind oft die Punkte, die der Anbieter nicht aktiv zeigt. Genau dort lohnt sich vertiefendes Nachfragen.
Quellen
- Bitkom: IT-Fachkräftemangel – Unternehmen setzen auf KI (2025-06-01)
- Stifterverband: KI-Kompetenzen in deutschen Unternehmen (2025-01-15)
- Bitkom – Künstliche Intelligenz in Deutschland (Studienbericht) (2026-02-01)
- Europäische Kommission – KI-Verordnung (AI Act): Regulatorischer Rahmen (2024-08-01)