Utsatta grupper
Människor i utsatta situationer
Hemlöshet, missbruk, våld i nära relationer, barn som far illa: socialtjänsten möter människor när skyddet redan brustit. AI lovar att upptäcka risker tidigare och besluta mer enhetligt. Men det är också här tekniken kan göra som mest skada, eftersom den möter människor med minst marginaler.
Hur AI skulle kunna förändra detta
SKR:s kunskapsunderlag om AI i socialtjänsten går igenom vad som är rättsligt möjligt: AI kan användas för kvalitetssäkring, ärendestöd och prediktion utifrån en persons egen akt. Möjligheten är tidigare upptäckt, av barn som far illa eller av människor på väg utför. Diggs kartläggning visar samtidigt att nästan alla kommunala AI-initiativ i socialtjänsten ännu är utforskande.
Riskprofilering av utsatta är samtidigt en av AI:s farligaste användningar. Modeller tränade på gamla beslut ärver gamla skevheter, och i debatten om polisens ansiktsigenkänning i realtid varnade remissinstanser uttryckligen för diskriminering kopplad till etnicitet. Till det kommer den digitala klyftan: den som saknar bank-id eller dator har svårt att ens nå tjänsterna. För utsatta grupper är AI på en gång ett löfte om tidigare hjälp och ett hot om tätare kontroll.
Frågor att diskutera
När blir tidig upptäckt omsorg, och när blir den övervakning av människor som inte bett om den?
Hur undviker vi att modeller tränade på gamla beslut upprepar gamla orättvisor mot samma grupper?
Vilken plats har de berörda själva när kommuner och myndigheter bygger AI-system som handlar om dem?
Vad behöver den som varken har bank-id, dator eller språket för att kunna hävda sina rättigheter mot ett automatiserat system?
Vem i samhället granskar hur AI används mot dem som har svårast att protestera?
Att tänka på
- Människor i utsatthet har minst marginal för fel; det som är en bugg för andra kan vara ett livsavgörande avslag.
- Historiska data bär historiska skevheter; prediktion utan granskning av bias befäster dem.
- Nästan alla AI-initiativ i socialtjänsten är fortfarande utforskande; det finns ännu tid att sätta reglerna.