Leitfaden 03 / Vergleich und Softwarebewertung

Alternativen testen

Ein nützlicher Vergleich erklärt, was sich verändert hat, was unverändert blieb und warum die bevorzugte Option auch dann glaubwürdig bleibt, wenn sich Annahmen verschieben.

Eine wiederholbare Ausgangsbasis aufbauen

Beginnen Sie mit einer Ausgangsbasis, die das Team reproduzieren kann, mit einem kontrollierten Eingabedatensatz und einer dokumentierten Softwareversion. Halten Sie Flugzeugkonfiguration, Definitionen von Sitzen und Einbauten, kommerzielle Annahmen und Komfortkriterien fest. Lässt sich die Ausgangsbasis nicht erneut erzeugen, sind spätere Verbesserungen kaum von versteckten Änderungen an Daten oder Einstellungen zu unterscheiden.

Definieren Sie jede Alternative als bewusste Intervention. Sie könnten etwa eine andere Kabinenaufteilung, ein überarbeitetes Servicekonzept oder eine andere Sitzfamilie untersuchen. Wenn es darum geht, Ursache und Wirkung zu verstehen, ändern Sie jeweils eine Gruppe von Variablen. Kombinierte Konzepte können folgen; halten Sie aber fest, wie ihre einzelnen Änderungen zusammenwirken.

Verwenden Sie neutrale Szenariobezeichnungen. „Premium-Verbesserung“ setzt die Schlussfolgerung voraus, bevor sie geprüft wurde; eine Bezeichnung, die sich auf die tatsächliche Konfiguration bezieht, ist leichter nachprüfbar. Bewahren Sie außerdem abgelehnte Kandidaten und die Gründe für ihre Ablehnung auf. Sie zeigen verbindliche Randbedingungen und verhindern, dass das Team eine Option, die aus einem bekannten Grund gescheitert ist, immer wieder aufgreift.

Fragen Sie, was die KI tatsächlich tut

„KI-gestützt“ kann sehr unterschiedliche Funktionen beschreiben. Ein Werkzeug könnte Anordnungen erzeugen, einen Komfortindikator vorhersagen, einen Gestaltungsraum durchsuchen oder eine schriftliche Erläuterung liefern. Diese Funktionen haben unterschiedliche Anforderungen an den Nachweis. Bitten Sie den Anbieter zu benennen, welche Ergebnisse aus maschinellem Lernen, deterministischen Regeln, numerischer Optimierung oder manueller Eingabe stammen.

Constraint-Programmierung und mathematische Optimierung können auch ohne lernendes Modell wertvoll sein. Umgekehrt kann ein gelerntes Ersatzmodell eine Berechnung beschleunigen, zugleich aber Approximationsfehler einführen. Keiner der Ansätze ist aufgrund seiner Bezeichnung von Haus aus vertrauenswürdiger. Bewerten Sie die Eignung für die vorgesehene Aufgabe, die Nachvollziehbarkeit und die Folgen einer falschen Empfehlung.

Ein Sprachmodell kann helfen, Anforderungen zu strukturieren oder ein Eingangsregister zusammenzufassen, es kann aber auch eine Abmessung erfinden, eine Ausnahme auslassen oder eine Anforderung zu zuversichtlich darstellen. Verwenden Sie einen flüssigen Text nicht als Beleg dafür, dass ein Layout geprüft wurde. Verlangen Sie vom Werkzeug, abgerufene Quellen, berechnete Ergebnisse und erzeugte Kommentare klar voneinander zu trennen.

Annahmenhinweis: Fordern Sie eine gescheiterte Demonstration an

Geben Sie dem Anbieter bewusst einen widersprüchlichen Eingabedatensatz vor. Ein brauchbares Werkzeug sollte Unmöglichkeit oder ungelöste Bedingungen erkennen, statt stillschweigend eine harte Regel aufzuweichen, um eine gefällige Anordnung zu erzeugen. Fragen Sie, wie der Konflikt protokolliert und dem Nutzer mitgeteilt wird.

Ziele nachvollziehbar halten

Die Kabinenplanung ist mehrzieldimensional. Kapazität, Platz für Passagiere, Praktikabilität im Service, Masse, Einbauaufwand und wirtschaftliche Leistung können in unterschiedliche Richtungen zielen. Definieren Sie Kennzahlen getrennt, bevor Sie an eine gewichtete Bewertung denken. Eine einzige Rangfolge kann einen erheblichen Verlust in einem Bereich hinter kleineren Gewinnen an anderer Stelle verbergen.

Ein Pareto-Vergleich ermittelt Optionen, bei denen die Verbesserung eines genannten Ziels eine Verschlechterung eines anderen erfordert. Er wählt nicht den vom Luftfahrtunternehmen bevorzugten Kompromiss aus. Diese Entscheidung hängt von Prioritäten, Unsicherheiten und Verantwortlichkeiten ab, die bei Menschen liegen. Stellen Sie die Trade-off-Fläche dort dar, wo es praktikabel ist, und halten Sie anschließend fest, warum ein bestimmter Kompromiss gewählt wurde.

Wenn ein Punktwert verwendet wird, legen Sie Einheiten, Normierung und Gewichtungen offen. Prüfen Sie, ob vernünftige alternative Gewichtungen die Rangfolge verändern. Eine Option, die nur bei einem engen Gewichtungsschema gewinnt, sollte als präferenzabhängig beschrieben werden. Dasselbe gilt für finanzielle Annahmen: Eine Umsatzschätzung hängt von Nachfrage, Preisgestaltung und betrieblichen Auswirkungen ab und ist keine Eigenschaft des Sitzplans allein.

Bewertungsvorlage — keine Flugleistungswerte impliziert
DimensionFesthalten oder offenlegenDas Tool anzeigen lassen
GeometrieIdentische ReferenzkonfigurationGeänderte Rahmenbedingungen und Konflikte
PassagierkomfortGleiche Population und AufgabenannahmenGruppenspezifische Ergebnisse und Einschränkungen
Kommerzielles ModellAnnahmen zu Nachfrage und KostenSensitivität, nicht nur ein Punktschätzwert
SuchprozessEinstellungen, ggf. Seed, AbbruchregelMachbarkeitsstatus und Reproduzierbarkeit

Robustheit und praktische Eignung prüfen

Variieren Sie unsichere Annahmen innerhalb vertretbarer Bereiche. Geeignete Kandidaten für Sensitivitätsprüfungen sind unter anderem Gepäckbeladung, Passagiermix, Servicezeiten und geschätzte Ausrüstungsmasse. Unterscheiden Sie Sensitivitätsanalyse von Validierung: Dass ein Ergebnis innerhalb des Modells stabil ist, belegt nicht, dass das Modell die reale Kabine genau abbildet.

Bei stochastischen Verfahren sollten Sie Zufallsstartwerte (Seeds), sofern verfügbar, aufbewahren und Läufe wiederholen, um die Streuung zu verstehen. Fragen Sie nach der Bedeutung der Abbruchregel und danach, ob die gemeldete Lösung nachweislich optimal ist, lokal verbessert wurde oder lediglich die beste innerhalb eines Zeitbudgets gefundene ist. „Optimiert“ ist als Ergebnisbeschreibung nicht präzise genug.

Software muss außerdem in den Planungsablauf passen. Prüfen Sie Exportformate, Einheiten, Versionsverlauf, Berechtigungen und die Möglichkeit, genau den Eingabesatz abzurufen, der einer Empfehlung zugrunde liegt. Prüfen Sie den Umgang mit Daten, bevor Sie proprietäre Flugzeugzeichnungen oder Passagierinformationen hochladen. Eine ansprechende Demonstration mit sauberen Beispieldaten ist kein Nachweis dafür, dass das System Ihre Konfigurationsverwaltung bewältigt.

Schließen Sie den Vergleich mit einem kurzen Entscheidungsprotokoll ab: gewähltes Konzept, geprüfte Alternativen, maßgebliche Zielkonflikte, sensible Annahmen und offene Prüfpunkte. Übergeben Sie dieses Protokoll an die technische Prüfung. Der Zweck eines Planungswerkzeugs ist nicht, das Urteilsvermögen zu ersetzen; er besteht darin, Urteile besser informiert und leichter anfechtbar zu machen.

Entscheidungsschwelle: Die bevorzugte Option lässt sich reproduzieren, ihre Rangfolge lässt sich erklären, und für verbleibende Unsicherheiten sind Verantwortliche benannt.