Opas 03 / Vertailu ja ohjelmistoarviointi
Testaa vaihtoehdot
Hyödyllinen vertailu selittää, mikä muuttui, mikä pysyi kiinteänä ja miksi suosittu vaihtoehto on edelleen uskottava, kun oletukset muuttuvat.
Rakenna toistettava lähtötilanne
Aloita lähtötilanteesta, jonka tiimi voi toistaa, käyttäen hallittua syötejoukkoa ja dokumentoitua ohjelmistoversiota. Kirjaa lentokoneen kokoonpano, istuin- ja varustelumääritykset, kaupalliset oletukset ja mukavuuskriteerit. Jos lähtötilannetta ei voi luoda uudelleen, myöhempiä parannuksia on vaikea erottaa piilotetuista muutoksista datassa tai asetuksissa.
Määrittele jokainen vaihtoehto tietoisena toimenpiteenä. Voit tutkia eri kabiinijakoa, tarkistettua palvelukonseptia tai toista istuinperhettä. Kun tarkoituksena on ymmärtää syy ja seuraus, muuta kerrallaan yhtä muuttujaryhmää. Yhdistettyjä konsepteja voi tarkastella myöhemmin, mutta säilytä kirjaus siitä, miten yksittäiset muutokset vaikuttavat toisiinsa.
Käytä neutraaleja skenaarionimiä. ”Premium-parannus” olettaa johtopäätöksen ennen kuin sitä on testattu; konfiguraatioon sidottu nimi on helpompi tarkastaa. Säilytä myös hylätyt ehdokkaat ja hylkäämisen perusteet. Ne paljastavat sitovat rajoitteet ja estävät tiimiä palaamasta toistuvasti vaihtoehtoon, joka epäonnistui tunnetusta syystä.
Kysy, mitä tekoäly todella tekee
”Tekoälyllä toimiva” voi kuvata hyvin erilaisia toimintoja. Työkalu voi luoda järjestelyjä, ennustaa mukavuusindikaattorin, etsiä suunnittelutilaa tai tuottaa kirjallisen selityksen. Näillä toiminnoilla on erilaiset todistusvaatimukset. Pyydä toimittajaa kertomaan, mitkä tulokset tulevat koneoppimisesta, deterministisistä säännöistä, numeerisesta optimoinnista tai manuaalisesta syötteestä.
Rajoitteiden ohjelmointi ja matemaattinen optimointi voivat olla arvokkaita ilman opittua mallia. Toisaalta opittu korvike voi nopeuttaa laskentaa, mutta tuoda mukanaan approksimaatiovirheen. Mikään lähestymistapa ei ole luotettavampi pelkän nimensä perusteella. Arvioi soveltuvuutta aiottuun tehtävään, jäljitettävyyttä ja virheellisen suosituksen seurauksia.
Kielimalli voi auttaa jäsentämään vaatimuksia tai tiivistämään syöterekisterin, mutta se voi myös keksiä mitan, jättää poikkeuksen huomiotta tai esittää vaatimuksen liian varmasti. Älä käytä sujuvaa kerrontaa todisteena siitä, että asettelu on tarkistettu. Vaadi työkalua erottamaan haetut lähteet, lasketut tulokset ja generoitu kommentointi toisistaan.
Oletusmerkintä: pyydä epäonnistunut esittely
Anna toimittajalle tarkoituksella ristiriitainen syötejoukko. Hyödyllisen työkalun pitäisi tunnistaa toteuttamattomuus tai ratkaisemattomat ehdot eikä hiljaa lieventää kovaa sääntöä miellyttävän järjestelyn tuottamiseksi. Kysy, miten ristiriita kirjataan ja viestitään käyttäjälle.
Pidä tavoitteet tarkastettavina
Kabiinisuunnittelu on monitavoitteista. Kapasiteetti, matkustajatila, palvelun käytännöllisyys, massa, asennustyö ja kaupallinen suorituskyky voivat vetää eri suuntiin. Määrittele mittarit erikseen ennen kuin harkitset painotettua pistemäärää. Yksi kokonaisjärjestys voi peittää merkittävän heikkenemisen yhdellä alueella pienempien hyötyjen taakse muualla.
Pareto-vertailu tunnistaa vaihtoehdot, joissa yhden määritellyn tavoitteen parantaminen edellyttää toisen heikentämistä. Se ei valitse lentoyhtiön suosimaa kompromissia. Päätös riippuu prioriteeteista, epävarmuuksista ja vastuista, jotka kuuluvat ihmisille. Esitä kompromissipinta silloin, kun se on käytännöllistä, ja kirjaa sitten, miksi tietty kompromissi valittiin.
Jos pistemäärää käytetään, ilmoita yksiköt, normalisointi ja painokertoimet. Testaa, muuttaako järkevät vaihtoehtoiset painot järjestystä. Vaihtoehto, joka voittaa vain kapealla painotusmallilla, on kuvattava preferenssiherkäksi. Sama koskee taloudellisia oletuksia: tuottoarvio riippuu kysynnästä, hinnoittelusta ja operatiivisista vaikutuksista, eikä se ole pelkän istuinkartan ominaisuus.
| Ulottuvuus | Pidä tai ilmoita | Pyydä työkalua näyttämään |
|---|---|---|
| Geometria | Identtinen vertailukokoonpano | Muutetut rajat ja ristiriidat |
| Matkustajamukavuus | Sama väestö- ja tehtäväoletus | Ryhmäkohtaiset tulokset ja rajoitukset |
| Kaupallinen malli | Kysyntä- ja kustannusoletukset | Herkkyys, ei pelkkä pistearvio |
| Hakuprosessi | Asetukset, siemen tarvittaessa, pysäytyssääntö | Toteutettavuuden tila ja toistettavuus |
Testaa kestävyys ja käytännön soveltuvuus
Vaihtele epävarmoja oletuksia puolustettavilla vaihteluväleillä. Herkkyystarkasteluihin soveltuvia kohteita ovat esimerkiksi matkatavaralasti, matkustajajakauma, palvelun ajoitus ja arvioitu varusteiden massa. Erota herkkyysanalyysi validoinnista: se, että tulos on vakaa mallin sisällä, ei osoita, että malli kuvaa todellista kabiinia tarkasti.
Stokastisissa menetelmissä säilytä satunnaissiemenet, kun niitä on saatavilla, ja toista ajoja vaihtelun ymmärtämiseksi. Kysy, mitä pysäytyssääntö tarkoittaa ja onko raportoitu ratkaisu todistetusti optimaalinen, paikallisesti parannettu vai vain aikarajan puitteissa löydetty paras. ”Optimoitu” ei ole riittävän tarkka tuloksen kuvaus.
Ohjelmiston on myös sovittava suunnitteluprosessiin. Testaa vientimuodot, yksiköt, versiohistoria, käyttöoikeudet ja mahdollisuus palauttaa täsmälleen se syötejoukko, jonka suositus perustuu. Tarkista tietojen käsittely ennen omien lentokonepiirustusten tai matkustajatietojen lataamista. Hiottu esittely puhtailla esimerkkitiedoilla ei ole todiste siitä, että järjestelmä hallitsee kokoonpanon hallintaa.
Lopeta vertailu lyhyeen päätöspöytäkirjaan: valittu konsepti, harkitut vaihtoehdot, ratkaisevat kompromissit, herkät oletukset ja ratkaisematta jääneet tarkastukset. Vie tämä pöytäkirja suunnittelun katselmointiin. Suunnittelutyökalun tarkoitus ei ole poistaa harkintaa, vaan tehdä harkinnasta paremmin perusteltua ja helpommin haastettavaa.
Päätöspiste: suositun vaihtoehdon voidaan toistaa, sen järjestys voidaan selittää ja jäljellä olevilla epävarmuuksilla on vastuuhenkilöt.