Gentænk dine metrikker og mål hele værdikæden, når du udvikler produkter

Forestil dig, at dit team har sprøjtet features ud i månedsvis. Det hele kører derudaf, opgaver ryger i done med done på, og der er kage og klapsalver hver fredag.

Og så en dag er der en fra teamet, der hvisker: ”Løser vi mon et reelt problem for kunderne, og skaber vi værdi for forretningen med alt det, vi drøner rundt og bruger det meste af vores vågne tid på?”

Tavshed.

Det bliver efterhånden mere og mere tydeligt i produktudviklingsteams og -organisationer, at vi er nødt til at måle på, hvordan det går – både i forhold til selve udviklingsprocessen og den effekt, vores produkter har.

Produktudvikling er uforudsigelig. Det er umuligt at regne ud præcis, hvad der skal til for at opnå den ønskede værdi hos vores brugere, kunder og i sidste ende virksomhedens bundlinje. Alligevel er målinger og metrikker ikke særligt modent i mange organisationer. De fleste måler på noget – men er det det rigtige, og er det nok?

I denne artikel vil jeg løfte blikket og se på målinger og metrikker i digital produktudvikling i et større perspektiv. Jeg giver dig et overblik over de vigtigste områder at måle på, hvordan de hænger sammen – og konkrete eksempler på, hvad der kan være relevant for dig, dit team og din organisation at holde øje med.

Det er en stor styrke, når nogen i teamet går forrest og arbejder for mere data-informerede beslutninger. Men der er også en risiko for, at målingerne kommer til at afspejle netop dén persons perspektiv og fokus – frem for at give et mere balanceret billede af helheden.

‍

Bliver der målt for ensidigt?

Det kan være svært at komme godt i gang med at måle – især når det handler om at vælge de metrikker, der faktisk er værd at holde øje med og arbejde på at påvirke. Derfor ender mange enten med slet ikke at måle, eller med at fokusere for smalt og ensidigt.

Det er en stor styrke, når nogen i teamet går forrest og arbejder for mere data-informerede beslutninger. Men der er også en risiko for, at målingerne kommer til at afspejle netop dén persons perspektiv og fokus – frem for at give et mere balanceret billede af helheden.

Lidt generaliserende kan man sige at:

• Softwareudviklere fokuserer ofte på teknisk kvalitet og DevOps-metrikker
• Scrum Masters og Agile Coaches ser på flow og leveranceevne
• UX-designere prioriterer brugeroplevelse
• Product Managers og Product Owners kigger på produktets markedsmæssige succes
• Forretningsansvarlige og C-level fokuserer typisk på finansielle nøgletal og organisatoriske rammer

Problemet opstår, hvis målingerne bliver for snævre og ikke fanger sammenhængene mellem udvikling, kundeoplevelse og forretningsresultater.

Se metrikkerne i en større sammenhæng

Du kan se på produktets udvikling som kæde af forudsætninger for at lykkes. Hele vejen fra de rammer og ressourcer, du putter ind i det, til den forretningsmæssige effekt det har.

Vi kan dele målingen i produktudvikling op i seks overordnede kategorier:

• Input
• Effektivitet
• Output og kvalitet
• Kunde-outcome
• Produkt-outcome (der er en forudsætning for den næste)
• Business outcome

Lad mig gennemgå de enkelte kategorier og give et par eksempler på, hvad det kan være.

For at gøre det mere konkret, så introducerer jeg lige den imaginære fitness-app, som vi kan kalde GoFit. Jeg vil så for hver kategori komme med eksempler på, hvilke metrikker det er relevant at kigge på, hvis dit produkt fx var en fitness-app, der skulle hjælpe dig med at finde formen.

Input

Input er de ressourcer vi investerer i produktudviklingen og de rammer, der er omkring den. Helt klassisk er det mennesker, deres kompetencer og tid, men for eksempel også teknologi, omkringliggende krav, operating model osv. Dybest set kan det være alt, der påvirker ”produktudviklingssystemet”.

Eksempler på hvad det kan give mening at måle på her, er naturligvis mennesker og deres tid, udnyttelse af teknologi som fx cloud-ressourcer, servere osv., og organisatoriske faktorer.

Eksempler, GoFit:

• Antal arbejdstimer pr. uge allokeret til GoFit → Måler, hvor meget kapacitet der reelt investeres i at videreudvikle og forbedre produktet.
• Cloud-omkostninger pr. aktiv bruger → Holder vi omkostningerne til fx videostreaming og datalagring i balance med brugerbasen?
• Licensudgifter til træningsindhold → Hvor meget betaler vi for adgang til fx certificerede træningsprogrammer eller samarbejde med fitness-eksperter?

Effektivitet

Effektivitet handler om aktiviteter og flow; altså at være effektive i produktudviklingen, hvor meget inspiration blandt andet kan findes i Lean. Det handler om hurtigt og effektivt at kunne få færdige produktinkrementer ud til vores kunder og brugere, ved fx at optimere på processen fra ide til færdigt produkt. Gode eksempler på hvad vi måler på her, kan være hvor lang tid det tager at færdiggøre en opgave fra vi starter på den (cycle time), parallelle opgaver i gang (work in progress), “time on product”, og minimering af spild under udviklingen (ventetid, overproduktion, fejl, uudnyttet viden mv.).

Eksempler, GoFit:

• Tid fra idé til ny træningsfeature er live i appen (Lead Time) → Hvor hurtigt kan vi fx lancere en ny type træningsprogram eller challenge?
• Antal brugertests eller eksperimenter gennemført pr. måned → Tester vi aktivt, hvad der virker bedst for brugerne, fx ved A/B-test af onboarding flows?
• Hvor stor en del af de færdige features, der ikke kræver rettelser → Et mål for, hvor godt vi lykkes med at levere kvalitet fra start.

Output og kvalitet

Under Output og kvalitet måler vi på selve produktet, og kvaliteten af det, vi producerer. Det er både for at måle på øjebliksbilledet, men også som ledende indikatorer på produktets fremtidige muligheder. Eksempler kan være stabilitet i form af rapporterede fejl og nedbrud, kompleksiteten i softwares kode og arkitektur og dermed evnen til at vedligeholde og bygge nyt, produktets evne til at skalere, usability i produktet, mv.

Eksempler, GoFit:

• Crash rate (antal nedbrud pr. 1.000 sessions) → Hvor stabil er appen under fx livestreamede træningssessioner?
• Load-tid på træningsvideoer → Hvor hurtigt starter en video, når brugeren trykker ’play’?
• Brugervenlighedsscore fra brugertests (fx SUS-score) → Hvordan oplever brugerne navigationen og designet?

Kunde-outcome

Uden kundeværdi, intet succesfuldt produkt. Det er essentielt, at det produkt vi laver, opfylder et behov, og skaber en værdi for kunder og brugere. Hvorfor skulle de ellers bruge det, og blive hængende på den lange bane? Men hvordan måler vi så på kundeværdi?

Kundeværdi kan opnås gennem funktionelle behov der løses, som for eksempel hurtigere tid for at gennemføre en given proces, eller udførelse af en bestemt opgave. Men det kan også være på et følelsesmæssigt plan, at værdien består i at et produkt udover at løse et funktionelt behov, skaber en følelse.

Et eksempel kan være et produkt, der er sjovt at bruge, eller skaber motivation, får kunden til at fremstå på en bestemt måde, eller måske ligefrem skaber håb om en bedre fremtid, fordi det understøtter bæredygtighed eller klimaforbedringer. Vi kan have en tendens til at (over)fokusere på det funktionelle, og overse den potentielle følelsesmæssige kundeværdi, der gør produktet ’sticky’, og får kunderne til at komme tilbage.

Eksempler, GoFit:

• Gennemsnitligt antal træningssessioner pr. bruger pr. uge → Hvor aktive er brugerne, og kommer de tilbage regelmæssigt?
• Completion rate på træningsprogrammer → Hvor mange brugere gennemfører de programmer, de går i gang med?
• Andel af brugere, der oplever at nå deres træningsmål (målt via spørgeskema) → Viser, om GoFit faktisk hjælper brugerne med at opnå det, de kommer for.

Produkt-outcome

Produktets outcome kan også beskrives som produktets evne til at opnå succes i markedet, gennem kundernes adfærd. Vi måler på evnen til at skabe opmærksomhed omkring produktet og tiltrække kunder. Vi måler på produktets evne til at engagere kunderne, og evne til at fastholde kundernes brug af produktet, og evt. skaffe nye kunder gennem anbefaling. Så vi skelner mellem produktets evne til at skabe værdi for kunden (customer outcome), og den afledte effekt af den værdiskabelse, i forhold til hvor godt produktet klarer sig i markedet (product outcome).

Eksempler, GoFit:

• Antal nye registrerede brugere pr. måned → Tiltrækker vi løbende nye brugere til platformen?

• Retention rate efter 30 dage → Hvor mange af de nye brugere fortsætter med at bruge appen efter en måned?
• Andel af brugere, der anbefaler GoFit (målt via NPS og self-reported referrals) → Viser både hvor villige brugerne er til at anbefale appen (Net Promoter Score) og hvor mange nye brugere, der faktisk kommer ind via anbefaling fra andre.

Business outcome

Hvordan ser succes ud fra et forretningsperspektiv? Hvis produktet får en masse downloads (produkt-outcome), men ingen vil betale for det (business outcome), har vi en potentiel udfordring. De produkter vi skaber, skal påvirke virksomhedens forretning og bundlinje positivt.

Så under business outcome ser vi typisk på den forretningsmæssige effekt af produktet, fx i form af omsætning og overskud, omkostninger, marginer, og markedsandele.

Succes i form af business outcome bliver en forudsætning for at skyde mere “input” i produktet, for at det er levedygtigt. Det skal være rentabelt.

Eksempler, GoFit:

• Omsætning fra abonnementer (fx premium adgang til ekstra træningsprogrammer) → Hvor meget tjener vi på betalende brugere?
• Kundeanskaffelsesomkostning (CAC) → Hvad koster det os at få en ny betalende bruger gennem fx annoncering eller partnerskaber?
• Customer Lifetime Value (CLV) → Hvor meget er en gennemsnitlig bruger værd for GoFit over tid?

Tænk nu over dit eget produkt

Hvis du skulle kortlægge jeres metrikker på samme måde i dit team eller organisation, hvor ville I så mangle indsigt?

Jeg foreslår en øvelse, du kan prøve i dit eget team eller afdeling. Tag jeres nuværende metrikker og plot dem ind i de seks kategorier. Ser I huller? Måler I for ensidigt? Hvad kunne I tilføje for at få et mere balanceret billede af jeres produktudvikling?

Ved at sikre, at jeres målinger dækker alle aspekter af produktets succes, får I et stærkere beslutningsgrundlag og øger sandsynligheden for at skabe et produkt, der både er effektivt, værdiskabende og forretningsmæssigt bæredygtigt.

Frameworks og værktøjer til at forbedre målingerne

For at komme i gang med at arbejdet med produktets og teamets metrikker, kan du overveje at kigge i retning af eksisterende frameworks for inspiration til hvilke metrikker der er relevante for dig og dit team. Det kunne fx være:

• North Star Metric Framework – til at definere den primære metrik, der driver vækst
• DORA Metrics – til at måle softwareudviklings-effektivitet
• HEART Framework fra Google – til at evaluere brugeroplevelse

God fornøjelse med at dykke dybere ned i metrikkernes verden – jeg lover at det betaler sig!

🆕 AKTUELT: Tilmeld dig webinar om metrikker

17. juni holder vi webinar, hvor du kan blive klogere på, hvordan du kan lave nogle gode metrikker: Læs mere og tilmeld dig webinaret