Przewodnik 03 / Porównanie i ocena oprogramowania
Testowanie alternatyw
Użyteczne porównanie wyjaśnia, co się zmieniło, co pozostało stałe i dlaczego preferowana opcja pozostaje wiarygodna, gdy założenia się zmieniają.
Zbuduj powtarzalną wartość bazową
Zacznij od wartości bazowej, którą zespół może odtworzyć, z kontrolowanym zestawem danych wejściowych i udokumentowaną wersją oprogramowania. Zapisz konfigurację statku powietrznego, definicje foteli i zabudowy, założenia handlowe oraz kryteria komfortu. Jeśli wartości bazowej nie da się odtworzyć, późniejsze zyski trudno odróżnić od ukrytych zmian w danych lub ustawieniach.
Zdefiniuj każdą alternatywę jako świadomą interwencję. Można badać inny podział kabiny, zmieniony koncept obsługi lub inną rodzinę foteli. Gdy celem jest zrozumienie przyczyny i skutku, zmieniaj jedną grupę zmiennych naraz. Koncepcje złożone mogą następować później, ale warto zachować zapis tego, jak ich poszczególne zmiany na siebie wpływają.
Używaj neutralnych nazw scenariuszy. Nazwa „Ulepszenie premium” zakłada wniosek, zanim zostanie on sprawdzony; nazwa powiązana z rzeczywistą konfiguracją łatwiej poddaje się audytowi. Zachowuj też odrzucone kandydatury i powody odrzucenia. Ujawniają one wiążące ograniczenia i zapobiegają ponownemu rozpatrywaniu opcji, która wcześniej odpadła z wiadomego powodu.
Zapytaj, co AI faktycznie robi
Określenie „z AI” może opisywać bardzo różne funkcje. Narzędzie może generować układy, przewidywać wskaźnik komfortu, przeszukiwać przestrzeń projektową lub tworzyć pisemne wyjaśnienie. Funkcje te mają różne wymagania dowodowe. Poproś dostawcę o wskazanie, które wyniki pochodzą z uczenia maszynowego, deterministycznych reguł, optymalizacji numerycznej lub danych wprowadzonych ręcznie.
Programowanie z ograniczeniami i optymalizacja matematyczna mogą być wartościowe bez modelu uczącego się. I odwrotnie, wyuczony model zastępczy może przyspieszyć obliczenia, wprowadzając błąd przybliżenia. Żadne podejście nie jest z samej swojej etykiety bardziej godne zaufania. Oceniaj przydatność do zamierzonego zadania, identyfikowalność oraz skutki błędnej rekomendacji.
Model językowy może pomóc uporządkować wymagania lub streścić rejestr danych wejściowych, ale może też wymyślić wymiar, pominąć wyjątek albo przedstawić wymaganie z nadmierną pewnością. Płynnej narracji nie traktuj jako dowodu, że układ został sprawdzony. Wymagaj, aby narzędzie oddzielało źródła, wyniki obliczeń i wygenerowany komentarz.
Uwaga o założeniach: poproś o nieudaną demonstrację
Przekaż dostawcy celowo sprzeczny zestaw danych wejściowych. Przydatne narzędzie powinno wskazać niewykonalność lub nierozstrzygnięte warunki, a nie po cichu złagodzić twardą regułę, by uzyskać zadowalający układ. Zapytaj, jak konflikt jest rejestrowany i komunikowany użytkownikowi.
Cele muszą być możliwe do sprawdzenia
Planowanie kabiny jest wielokryterialne. Pojemność, przestrzeń dla pasażerów, praktyczność obsługi, masa, nakład instalacji i wyniki handlowe mogą ciągnąć w różnych kierunkach. Zdefiniuj wskaźniki osobno, zanim rozważysz jakikolwiek wynik ważony. Pojedynczy ranking może ukryć istotną stratę w jednym obszarze za drobnymi zyskami w innych.
Porównanie Pareto wskazuje opcje, w których poprawa jednego założonego celu wymaga pogorszenia innego. Nie wybiera ono preferowanego przez linię lotniczą kompromisu. Ta decyzja zależy od priorytetów, niepewności i odpowiedzialności, które należą do ludzi. Tam, gdzie to praktyczne, pokaż powierzchnię kompromisów, a następnie zapisz, dlaczego wybrano dany kompromis.
Jeśli używany jest wynik punktowy, ujawnij jednostki, normalizację i wagi. Sprawdź, czy rozsądne alternatywne wagi zmieniają ranking. Opcję, która wygrywa tylko przy wąskim schemacie wag, należy opisać jako wrażliwą na preferencje. To samo dotyczy założeń finansowych: szacunek przychodów zależy od popytu, cen i efektów operacyjnych, a nie jest cechą samego rozkładu miejsc.
| Wymiar | Zachowaj lub ujawnij | Poproś narzędzie o pokazanie |
|---|---|---|
| Geometria | Identyczna konfiguracja referencyjna | Zmienione obwiednie i konflikty |
| Komfort pasażerów | Ta sama populacja i założenia dotyczące zadań | Wyniki dla poszczególnych grup i ograniczenia |
| Model komercyjny | Założenia dotyczące popytu i kosztów | Analiza wrażliwości, a nie tylko wynik punktowy |
| Proces wyszukiwania | Ustawienia, ziarno losowości tam, gdzie dotyczy, reguła zatrzymania | Status wykonalności i powtarzalność |
Sprawdź odporność i praktyczne dopasowanie
Zmieniaj niepewne założenia w obronnych zakresach. Do kontroli wrażliwości przydatne są m.in. obciążenie bagażem, struktura pasażerów, czasy obsługi i szacowana masa wyposażenia. Odróżnij analizę wrażliwości od walidacji: stabilność wyniku w ramach modelu nie dowodzi, że model wiernie odwzorowuje rzeczywistą kabinę.
W metodach stochastycznych zachowuj ziarna losowości, jeśli są dostępne, i powtarzaj obliczenia, aby zrozumieć zmienność. Zapytaj, co oznacza reguła zatrzymania i czy podane rozwiązanie jest dowiedzione jako optymalne, lokalnie ulepszone, czy po prostu najlepsze znalezione w ramach limitu czasu. „Zoptymalizowane” to nie dość precyzyjny opis wyniku.
Oprogramowanie musi też pasować do procesu planowania. Sprawdź formaty eksportu, jednostki, historię wersji, uprawnienia oraz możliwość odtworzenia dokładnego zestawu danych wejściowych stojącego za rekomendacją. Przed przesłaniem zastrzeżonych rysunków statku powietrznego lub danych pasażerów przejrzyj zasady przetwarzania danych. Dopracowana prezentacja na czystych danych przykładowych nie jest dowodem, że system poradzi sobie z kontrolą konfiguracji.
Zakończ porównanie krótkim zapisem decyzji: wybrana koncepcja, rozważane alternatywy, dominujące kompromisy, wrażliwe założenia i nierozstrzygnięte sprawdzenia. Przenieś ten zapis do przeglądu inżynierskiego. Celem narzędzia planowania nie jest eliminacja osądu; ma on sprawić, że osąd będzie lepiej poinformowany i łatwiejszy do zakwestionowania.
Punkt decyzyjny: preferowaną opcję można odtworzyć, jej ranking można wyjaśnić, a pozostałe niepewności mają przypisanych odpowiedzialnych.