Innan jag började att driva ett företag där vi designade egna IoT-sensorer hade jag inte tänkt så mycket på varför en sensor skulle monteras på ett visst sätt. En temperatur var en temperatur liksom, så länge rätt data kom in så var allt lugnt, eller?
Nu när AI gör entré så har jag efteråt förstått vikten av att vi var noga från början. För de flesta av oss har någon gång stött på ett AI-svar som känts fel eller rent av nedslående. En hallucinerad sammanfattning, en felaktig översättning, ett svar som ignorerade det uppenbara, eller ett smart system som tog ett dumt beslut. Ibland kan det vara underhållande, och säkert ett bra skämt för kommande AW eller kundlunch. Men när AI-beslut börjar användas i fysiska system – för att styra enheter, reagera vid nödsituationer eller påverka utfall inom fastigheter, vård eller industri – då är det inte längre roligt med hallucinerad data, då kan det bli stökigt på riktigt.
Den här bloggposten utforskar en särskild sårbarhet i AI som ofta förbises: bias – och hur den smyger sig in genom sensorer och IoT-infrastruktur. När datainsamling kombineras med edge computing och maskininlärning kan även välmenande AI-logik hamna snett. Om din AI är tränad, validerad eller implementerad på grundval av snedvriden data kommer inte slutsatserna att vara neutrala. I värsta fall kan slutsatserna både legitimera redan felaktiga antaganden eller förstärka dem.
Jag är IoT-expert, så varför detta nednördande i AI och bias? När IoT och AI kryper allt närmre varandra tyckte jag att jag behövde förstå hur bias kan påverka, och i värsta fall, förstöra nyttan kombinationen IoT och AI. Det jag hittade var så pass viktigt att jag vill sprida ordet vidare. Så låt oss titta på hur bias påverkar data som samlas in, låt oss gå från sensorn till algoritm – och varför IoT spelar en nyckelroll om vi vill ge AI rätt data och i slutändan få riktiga resultat, svar vi kan lita på helt enkelt.
Hur bias påverkar resultatet när AI och IoT samverkar
Till skillnad från traditionella IT-system samlar IoT-system in stora mängder realtidsdata från fysiska sensorer i komplexa och varierade miljöer. Denna data kan användas till och utgöra grunden för att träna AI-modeller – och det gör att den i förlängningen används som bas för beslut. Om den insamlade datan inte speglar verkligheten korrekt, riskerar hela AI-pipelinen att skala dessa fel. Det är som att bygga sitt aktieinnehav på överdrivet positiva siffror – en sådan investering känns kanske bra i början men förr eller senare kommer den att göra dig besviken och orsaka skada.
När bias tar sig in i IoT-system riskerar det att förstärka befintliga ojämlikheter – vilket kan skapa nackdelar för exempelvis en grupp eller ett område. Det handlar inte bara om rent teknisk noggrannhet, utan konsekvenserna av bias sträcker sig till områden som förtroende, etik och efterlevnad av regler. Diskriminerande AI-algoritmer kan leda till rejäla juridiska och ekonomiska konsekvenser, EUs AI Act hotar med böter på upp till 7 % av ett företags globala omsättning vid sådana incidenter.
Varifrån bias uppstår i IoT-data
Bias i IoT-baserade system kan ha många källor – både tekniska och sociotekniska. Sensorer kan generera felaktig data på grund av hårdvarufel, dålig kalibrering, avvikelser eller saknade värden över tid. Sensorfel som ligger utanför förväntad data, degradering på grund av ålder eller miljöpåverkan, jamen alla typer av fel spelar in. Några konkreta exempel: luftkvalitetssensorer kan driva iväg i sina värden över tid, det kan handla om något så enkelt som en rengöring som missats. En luftfuktighetssensor kan påverkas vid väderväxlingar eller när temperaturen är nära noll grader. Den här typen av sensorer kräver regelbunden tillsyn för att leverera kvalitativ data. Men låt oss inte klanka ned på hårdvaran, det vanligaste problemet är människor – sensorer monteras fel och ger därmed felaktiga värden. En temperatursensor som ska mäta rumstemperatur men som placeras i direkt solsken kommer, i jämförelse med andra korrekt monterade sensorer, att introducera bias. Hårdvarufel eller tillfälliga uppkopplingsproblem kan också leda till ofullständiga tidsserier. Här ligger en hel del på designerns bord. I mitt företag AKKR8 utvecklar vi sensorer som tar hänsyn till detta – den kan lagra tusentals datapunkter lokalt vid behov om de tappar kontakt med omvärlden och de filtrerar bort osannolika värden. En bra startpunkt men samtidigt en risk för ytterligare bias om man begränsar filtreringen för mycket.
Obalanserad datainsamling i IoT
Sampling bias är när data samlas in oproportionerligt under vissa tider, på vissa platser eller från specifika användargrupper. Algoritmer tränas på statistiskt skev indata och genererar därför ogiltiga eller icke-generaliserbara resultat när de tillämpas på andra grupper eller i andra kontexter.
IoT-system samlar av naturliga skäl ofta in data från begränsade miljöer eller urval av befolkningen. Men, det krävs att begränsningen är genomtänkt, för ibland blir det fel. Ett sådant exempel är smarta städer, där sensorer oftare placeras i centrala områden medan områden utanför storstäderna eller stadskärnorna inte täcks på samma sätt. Detta fenomen kallas ibland för “dataöknar” eller “sensoröknar” – zoner där lite eller ingen data samlas in. Resultatet blir att hela områden, levnadsmiljöer eller grupper blir osynliga i datamängden, vilket leder till snedvridna analyser och feltolkningar.
När data från sensorer med begränsade dataset används för trafikstyrning, luftkvalitetsövervakning eller nyttjandegrad av olika områden vid olika tider, riskerar beslut att baseras på information från vissa områden – och därmed introducera geografiska och sociala skevheter i det offentliga beslutsfattandet. Sensorer på bara vissa platser visar inte på samhällets faktiska behov. Sensoröknar kan lyfta den smarta staden på fel sätt.
Bias – det sociotekniska lagret
Låt oss återvända till temperatursensorn som monterades för varmt. Det är ett mänskligt misstag som formar utfallet som blir missvisande. Men det finns fler mänskliga beslut som formar arkitekturen i ett IoT-system. Om hårdvara och algoritmer utvecklas utan mångfald i åtanke kan bias smyga sig in på andra sätt än bara via sensordata. Till exempel är dataset som används för ansiktsigenkänning eller rösttolkning ofta snedfördelade – de kan vara överrepresenterade av vita eller manliga användare. Utan avsiktlig inkludering redan i designfasen riskerar även välutvecklade IoT-lösningar att förstärka ojämlikheter genom digitala medel.
Bias inom hälsa och träning
Bärbar teknik som smartklockor använder ofta optiska sensorer för att mäta biometriska data. Flera studier har visat att pulsmätning med grönt LED-ljus är betydligt mindre noggrann för personer med mörkare hudtoner. En studie visade exempelvis att kommersiella sensorer/smartklockor för att mäta puls visade klart sämre noggrannhet för individer med mörkare hud eller fetma. Det innebär att ett hälsosystem kan missa kritiska fysiologiska signaler från vissa användare – ironiskt nog just från dem som kan behöva tekniken allra mest.
Röstassistenter och användargränssnitt
Brittiska studier har visat att röstassistenter missförstår användare med icke-amerikansk accent nästan dubbelt så ofta som vita talare. Smarta högtalare (Alexa, Siri och andra) är IoT-enheter som är beroende av röstigenkänningsmodeller tränade på kraftigt snedvridna datamängder. En undersökning från The Washington Post i samarbete med språkteknikföretaget Globalme visade tydligt att både Alexa och Google Assistant presterade sämre för användare som inte hade amerikansk engelska som modersmål. Från min egen erfarenhet av att använda Googles motsvarighet Homeassistant misslyckas jag med att prata med den för det mesta, tyvärr, men det kan bero på min svengelska. För det är så att felmarginalen ökar ytterligare när användare pratar dialektalt eller med informella uttryck. Dessutom är dessa assistenter ofta ”feminiserade” i sin design – kritiker menar att det återspeglar medvetna eller omedvetna val som förstärker könsstereotyper. Sådana inbyggda bias försämrar inte bara användarupplevelsen för exempelvis personer med annat modersmål eller hörselnedsättning – de bidrar också till att upprätthålla problematiska sociala normer.
Transport och självkörande fordon
Moderna fordon är utrustade med en mängd IoT-sensorer – radar, lidar, kameror – alla avgörande för säker navigation. Forskning från Georgia Institute of Technology har visat att AI-modeller för fotgängardetektion i självkörande bilar presterar sämre vid identifiering av barn och personer med mörkare hudton. Denna skillnad kan innebära en farlig form av bias om livsavgörande beslut hänger på maskiners förmåga att uppfatta omgivningen korrekt.
Industri 4.0 och tillverkning
Min vision av prediktivt underhåll är att sensorer i framtiden skall lära sig att anpassa sig till maskinen de sitter på. I industriella miljöer används IoT-sensorer brett för att övervaka maskiners hälsa, genom att gå från kalenderbaserat underhåll, till underhåll när det behövs. I industrin används också sensorer för att optimera produktionsflöden. Men prediktivt underhåll som bygger på AI-modeller tränade med data från en viss typ av maskiner eller driftförhållanden kan ge felaktiga resultat när de appliceras på andra maskiner eller i andra miljöer. Jag kom för några år sedan i kontakt med en kund som tillverkade materialtransportörer för sågverksindustrin, sådana som flyttade sågspån från en plats till en annan. De berättade att när många kunder startade sin maskin så tänkte de inte på temperaturen. Med fuktigt spån eller material och en temperatur nära nollan så förkortades maskinens slitdelars livslängd betydligt, då materialet frös. Hade vi tränat en AI-modell på detta men glömt fästa fokus på temperaturen så hade vi missat en viktig variabel för korrelation.
Kvalitetskontroll
Om AI-algoritmer tränas enbart på en viss typ av data, data rensat från anomaliteter, finns risken att AI felklassificerar data som avviker från eller inte förekommer i träningsdatan. Även om specifika fallstudier inom detta område ännu är få, går det att dra paralleller till dokumenterade misslyckanden inom algoritmbaserad rekrytering. Ett välkänt exempel utanför IoT-området är Amazons AI-drivna rekryteringsverktyg som fick skrotas efter att det visade sig favorisera manliga kandidater. I detta fall ignorerade bias-påverkade system systematiskt vissa grupper eller förhållanden, vilket ledde till stora risker för rättvisa, säkerhet och funktion. Liknande mönster är fullt möjliga i IoT-drivna tillverkningsmiljöer – särskilt när träningsdata är ofullständig eller snedfördelad. AI-modeller tenderar att föredra mellanmjölk framför avvikelserna.
Ett AI-system som tränats på snedvriden data kommer att prestera sämre och vara mindre tillförlitligt – särskilt i situationer där underrepresenterade användare ingår. Det här speglar ett djupare problem: IoT-system lär sig av världen såsom den har dokumenterats, inte såsom den faktiskt är. Och när dataset speglar samhällets befintliga ojämlikheter gör teknologin det också. Dåligt utformade tekniska system återspeglar inte bara bias – risken är att de förstärker den.
Bias skadar förtroendet
Bias urholkar förtroendet. När användare inser att deras tekniska lösning inte fungerar som tänkt sjunker förtroendet för produkten – och företaget bakom den. Förtroende, när det väl är förlorat, är svårt att återfå. För företag är bias i data mer än ett teoretiskt problem – det är en kommersiell risk. Produkter som underpresterar för vissa segment tappar marknadsandelar. Kunder överger produkterna eller företaget och varumärket förlorar värde. Det har direkt relevans för IoT-sektorn: att inte hantera bias är inte bara ett etiskt misstag utan både en risk för kundernas verksamhet och slutligen något riktigt farligt att bygga en verksamhet på.
I år har den politiska kursen i världspolitiken skiftat från rättvisa och transparens till att gå över styr både här och där. Men jag tror på mänskligheten och fokuserar här på det jag bedömer är var och ens förväntning på mänskligheten. Jag tror att de flesta förväntar sig rättvisa och transparens. Företag som ignorerar bias idag kan bli lätta byten och falla offer för kundkritik, negativ publicitet eller regulatorisk granskning. Trots att AI-tjänster är lätta att använda kräver de omsorg – det handlar om att undvika genvägar och istället arbeta noggrant.
Ett exempel är en AI-genererad bild jag fick skapad, föreställande en batteribytessituation i en IoT-sensor. Kommer någon av karaktärerna behöva åka tillbaka till kontoret för att hämta ett mindre batteri? Detaljer som AI missar.
Juridiska konsekvenser: Bristande efterlevnad är dyrt
Det regulatoriska trycket ökar. Inom EU omfattas AI-applikationer som drivs av IoT av den nya AI-förordningen (AI Act), samt av befintliga antidiskrimineringslagar. System som klassas som högrisk måste dokumenteras med noggranna riskbedömningar, och kunna bevisa att deras data är “representativ, felfri och statistiskt tillförlitlig.”
En IoT-applikation som leder till indirekt diskriminering kan bryta mot jämlikhetslagstiftningen. Samtidigt ger GDPR individer rätt att få sin data raderad eller att avstå från automatiserat beslutsfattande – båda dessa gäller profilering som sker genom smarta enheter. System som inte uppfyller kraven riskerar rättsliga åtgärder, kännbara böter och långsiktig skada på sitt rykte. Använder du AI-tjänster som bygger på data någon faktiskt vill opta ut från?
Upptäckt och hantering av bias
För att hantera bias måste IoT-företag aktivt analysera och justera sina data- och AI-flöden:
Dataanalys och revision
En grundläggande metod är att granska hur data är fördelad över relevanta grupper (hudton, ålder, kön). Genom att simulera scenarier eller köra kontrollerade tester kan man jämföra modellens utfall mellan olika delgrupper. Transparens, spårbarhet och loggning är avgörande här – EU-initiativ som AI Act kräver att högrisksystem dokumenterar sina beslutsprocesser och dataflöden.
Kalibrering och datakvalitet
På sensornivå är regelbunden kalibrering avgörande för att undvika drift. Data kan rensas från uppenbara fel och brus med statistiska metoder som är särskilt framtagna för att upptäcka anomalier i sensordata, men det bästa är om din sensor är så pass smart att data inte ens skickas när den är kass.
Rättvisefrämjande tekniker
För algoritmer finns flera metoder för att mildra bias. Ett sätt är att omvikta målfunktioner så att fel som drabbar missgynnade grupper straffas hårdare. Alternativt kan rättvisemått integreras i modellens utvärdering. I praktiken kan specialiserade verktyg upptäcka snedfördelningar och föreslå strategier för att balansera om resultaten.
Processer och medvetenhet
Utöver tekniska åtgärder är det avgörande att främja inkluderande designprinciper och jobba med expertis på vissa domäner under utvecklingen. Tvärfunktionella team – med ingenjörer, ämnesexperter och affärsanalytiker – kan förhindra att man förlitar sig på historiskt partisk data. Företag bör utfärda bias-riskdeklarationer och följa branschstandarder, så vi skapar AI-modeller med hög hygienfaktor. EU:s AI Act betonar också att högrisk-system ska genomgå kontinuerlig kvalitetsgranskning av sina datagrunder, vilket stödjer löpande datarevision. Genom att införa regelbundna utvärderingsrutiner och ge användare möjlighet att rapportera problem (till exempel en “rapportera bias”-knapp) kan organisationer upptäcka brister i tid och upprätthålla förtroendet.
Avslutande reflektioner: designa för rättvisa
Bias i IoT-data är ett komplext problem som kräver insikt i både tekniska och mänskliga faktorer. Tekniska orsaker (som sensorfel eller urvalsbias) och socioteknisk beslutsfattning (till exempel dataval, gränssnittsdesign) kan samverka och förstärka varandra. AI-integrering kräver att rättvisa byggs in i systemarkitekturen från början. Bias är inte bara en biprodukt av felaktig data – det är en systemdesignutmaning som måste hanteras från sensornivå till AI-modellen och vidare till beslutens logik.
Bias är redan ett hot i molnbaserade modeller som tränats på internetdata. Men när AI tar steget in i fysiska miljöer förändras spelplanen. I en AIoT-värld måste rättvisa designas in – inte hoppas på. Ingen data är neutral. Ingen sensor är helt opartisk. Varje gång vi mäter världen gör vi val.
Att begränsa sig för mycket kan innebära en risk för bias. Att redan på designstadiet begränsa målgruppen eller användningsområden kan innebära att man designar för ett bias. Därtill läggs nu ett ansvar på exempelvis sensortillverkare att enheter inte skall kunna generera data som är osannolik, exempelvis 500 graders rumstemperatur. Så där finns ett regulatoriskt krav att filtrera bort data som produkttillverkaren anser vara osannolik. Helt klart är detta en balansgång som börjar med en enkel fråga: Bygger vi system som verkligen ser alla – eller bara de som redan är överrepresenterade?