Ethics in Healthcare: Addressing Bias in Healthcare Algorithms ( 🇮🇹 Italian version at the bottom of the article)

It is becoming clear that healthcare providers increasingly resort to AI tools, and that AI can revolutionize healthcare. Many AI systems play a huge role in assisting clinical decision making and help address significant challenges, such as rising costs and an ageing population. In recent years, the global pandemic highlighted the challenges faced by healthcare systems in delivering effective high-quality care and transforming care, which further increased the need for AI (Bajwa et al., 2021).

Grandview Research highlights that the healthcare AI market is foreseen to grow at a CAGR of 38.5% between 2024 and 2030. This growth stems from increasing industry demand for more efficient and precise tools, and for the improved outcomes that AI enables. AI also has the potential to streamline operations, improve resource allocation, and enhance overall quality of care while reducing costs. [SP1] 

As AI becomes more integrated into healthcare, it raises complex ethical dilemmas: what happens when algorithms reinforce biases instead of being neutral?

The Challenge of Bias

One of the most pressing challenges is algorithmic bias, which can be defined as “the instances when the application of an algorithm compounds existing inequities in socioeconomic status, race, ethnic background, religion, gender, disability or sexual orientation to amplify them and adversely impact inequities in health systems.” (Panch et al., 2019). Algorithmic biases can unintentionally reinforce existing inequalities and disparities in healthcare. The diversity of the datasets used is a major cause here, when datasets fail to represent a diverse population, be it culturally, sexually, socioeconomically or ethnically (Tilala et al., 2024). In addition, some groups may be underrepresented in data due to a lack of available information (Panch et al., 2019), which then affects diagnosis and treatment.

A noteworthy example of ethnicity-related bias is that of an algorithm designed to assess the safety of using the Vaginal Birth after Cesarean Delivery (VBAC) method (Colón-Rodríguez, 2023). This method considered various factors including the patient’s age and information about the previous C-section. However, a 2017 study showed that the algorithm was wrong, as it predicted that Black/African American and Hispanic/Latino women were less likely than non-Hispanic White women to have a successful vaginal birth after a C-section. This resulted in professionals performing more C-sections on Black/African American and Hispanic/Latino women. The algorithm was subsequently changed to avoid considering race or ethnicity, with professionals making more impartial, accurate decisions for all women (Colón-Rodríguez, 2023).

Another example of racial bias[SP2] [DR3] : research showed that a widely used algorithm in the United States assigned the same level of illness risk to White and Black patients (Obermeyer et al.) – two populations with unequal access to care. The algorithm in question predicts healthcare-related costs rather than illness, and the research team therefore notes that because less money is spent on Black patients with similar needs, the algorithm wrongly concludes that Black patients are healthier than equally sick White patients. The researchers came to the conclusion that the algorithm should be adapted to avoid relying on costs, therefore contributing to the elimination of bias in determining which patients are most in need. Lastly, in another case, AI-driven dermatology tools were found to struggle with diagnosing skin conditions on darker skin tones, due to dataset bias. An analysis of two publicly available dermatology datasets showed “no correlation between classification accuracy and skin tone” (Rezk et al., 2022), with the research team highlighting, as a cause, that the images assessed mainly consisted of light skin tones.

The capabilities and benefits of AI when it comes to healthcare seem undeniable – from the prediction to the treatment stage. However, as we’ve discussed, the consequences of biased algorithms can be severe, at the treatment stage and afterwards, potentially leading to systemic discrimination and distrust in the healthcare system (Tilala et al., 2024). The key therefore lies in improving algorithms to make them bias-free, and to consider the specificities of those on whom they are used. Let’s check out how this can be done.

Addressing Algorithmic Bias in Healthcare: a Few Principles

Testing for fairness and bias at the algorithm development stage (Tilala et al., 2024) has been suggested to mitigate bias early in the piece, just like ensuring that datasets used by healthcare organizations are “inclusive of diverse patient populations and account for demographic, socioeconomic, and cultural factors” (Tilala et al., 2024). Adaptive AI models would be another solution, since they learn from new data over time, with potentially outdated and biased data removed (Mittermaier et al., 2023). More generally, algorithms should be regularly monitored to ensure fairness over time (Mittermaier et al., 2023).

In a World Health Organization report published in 2021, a group of AI experts provided guidance for ethical use of AI in healthcare. These experts point out systems should be designed “to encourage the widest possible appropriate, equitable use and access, irrespective of age, gender, income, ability or other characteristics” (World Health Organization, 2021) – the WHO notes that this also applies to employees on the provider side, who should come from diverse backgrounds and cultures. Another related topic is that of transparency and explainability, as means of fostering trust and avoiding the “black-box” nature of algorithms (Panch et al., 2018). However, and importantly, the WHO expert group notes that “although AI technologies perform specific tasks, it is the responsibility of human stakeholders to ensure that they can perform those tasks and that they are used under appropriate conditions” (World Health Organization, 2021). By noting that humans should remain in full control of healthcare systems and medical decisions, the expert group highlights that algorithms should assist, and not replace.

The responsibility of technology providers

As such, it is essential that providers strive to create ethical and bias-free solutions. This is key to preserving trust in the healthcare relationship, and quality of care – professionals have accurate, up-to-date data at hand for accurate decisions, so that patients benefit from care suited to their needs. And actually, Dedalus will be present at HIMSS 25, showcasing a range of AI-powered solutions – an event where ethical AI and bias will be a central topic. Several sessions will be dedicated to ethical challenges related to AI implementation and vendor strategies to mitigate bias, for instance through dataset quality and interoperability. We hope to see you there!

And now, we’d like to invite you to speak up! How do you think bias can affect clinical decisions? Have you taken steps to address these issues? Let us know!

This newsletter has been created by Sara Di Paola, Martina Cinelli, Matteo Conti, Camille Thompson & Raisah Gora

 [SP1]we could make this transition more compelling by briefly hinting at the ethical dilemmas before elaborating on bias... Something like: Yet, as AI becomes more integrated into healthcare, it raises complex ethical dilemmas: what happens when algorithms reinforce biases instead of eliminating them? One of the most pressing challenges is algorithmic bias, which can unintentionally reinforce existing inequalities and disparities in healthcare.

 [SP2]We might include an additional case, such as AI-driven dermatology tools struggling to diagnose skin conditions on darker skin tones due to dataset bias.

 [DR3]Whether you call it „ethnical“ or „racial“ bias, in the end this rather similar to the example before, even discriminating a part of the same group.

(VERSIONE IN ITALIANO 🇮🇹)

Etica in sanità: affrontare i pregiudizi negli algoritmi sanitari 

È sempre più evidente che i fornitori di servizi sanitari ricorrono sempre più agli strumenti di intelligenza artificiale e che l’AI può rivoluzionare la sanità. Molti sistemi di AI svolgono un ruolo cruciale nel supportare il processo decisionale clinico e nell'aiutare ad affrontare sfide significative, come l’aumento dei costi e l’invecchiamento della popolazione. Negli ultimi anni, la pandemia globale ha evidenziato le difficoltà dei sistemi sanitari nel garantire cure efficaci e di alta qualità, accelerando ulteriormente la necessità di soluzioni basate sull’AI (Bajwa et al., 2021). 

Grandview Research evidenzia che il mercato dell’AI sanitaria crescerà a un tasso annuo composto (CAGR) del 38,5% tra il 2024 e il 2030. Questa crescita è alimentata dalla crescente domanda del settore per strumenti più efficienti e precisi e dai migliori risultati che l’AI permette di ottenere. L’AI ha anche il potenziale per ottimizzare le operazioni, migliorare l’allocazione delle risorse e aumentare la qualità complessiva delle cure riducendo al contempo i costi. 

Tuttavia, con l’integrazione sempre più diffusa dell’AI nel settore sanitario, emergono dilemmi etici complessi: cosa accade quando gli algoritmi rafforzano i pregiudizi invece di essere neutrali? 

La sfida dei pregiudizi 

Una delle sfide più urgenti è il pregiudizio algoritmico, definito come “le situazioni in cui l’applicazione di un algoritmo amplifica le disuguaglianze esistenti in termini di status socioeconomico, razza, origine etnica, religione, genere, disabilità o orientamento sessuale, impattando negativamente sui sistemi sanitari” (Panch et al., 2019). I pregiudizi algoritmici possono, involontariamente, rafforzare le disuguaglianze e le disparità esistenti in sanità. Un fattore chiave è la diversità dei set di dati utilizzati: quando i dati non rappresentano in modo equo la popolazione, sia in termini culturali, sessuali, socioeconomici o etnici, il rischio di distorsioni aumenta (Tilala et al., 2024). Inoltre, alcuni gruppi possono essere sottorappresentati a causa della mancanza di informazioni disponibili (Panch et al., 2019), con conseguenze dirette su diagnosi e trattamenti. 

Un esempio significativo di pregiudizio legato all’etnia riguarda un algoritmo progettato per valutare la sicurezza del ricorso al parto vaginale dopo un cesareo (VBAC) (Colón-Rodríguez, 2023). Questo algoritmo prendeva in considerazione diversi fattori, tra cui l’età della paziente e le informazioni sul precedente parto cesareo. Tuttavia, uno studio del 2017 ha dimostrato che l’algoritmo era errato, poiché prevedeva che le donne nere/afroamericane e ispaniche/latine avessero meno probabilità rispetto alle donne bianche non ispaniche di avere un parto vaginale di successo dopo un cesareo. Ciò ha portato i professionisti a effettuare più cesarei su donne nere/afroamericane e ispaniche/latine. L’algoritmo è stato poi modificato per evitare di considerare la razza o l’etnia, consentendo decisioni più imparziali e accurate per tutte le donne (Colón-Rodríguez, 2023). 

Un altro esempio di pregiudizio razziale riguarda un algoritmo ampiamente utilizzato negli Stati Uniti per assegnare un livello di rischio di malattia a pazienti bianchi e neri (Obermeyer et al.), due popolazioni con accesso diseguale alle cure. L’algoritmo in questione prevede i costi sanitari anziché la malattia e il team di ricerca ha notato che in questo modo viene concluso erroneamente che i pazienti neri sono più sani dei bianchi solo perché, a parità di bisogni, si spende meno per i primi. I ricercatori hanno quindi raccomandato di adattare l’algoritmo per evitare di basarsi esclusivamente sui costi, contribuendo così a eliminare i pregiudizi nella valutazione delle necessità dei pazienti. 

Infine, un altro caso riguarda gli strumenti di dermatologia basati sull’AI, che hanno mostrato difficoltà nel diagnosticare condizioni cutanee su tonalità di pelle più scure, a causa della mancanza di diversità nei set di dati. Un’analisi di due database pubblici di dermatologia ha mostrato "nessuna correlazione tra l’accuratezza della classificazione e la tonalità della pelle" (Rezk et al., 2022), con i ricercatori che hanno evidenziato come la maggior parte delle immagini analizzate fosse di pelle chiara. 

Le capacità e i benefici dell’AI in ambito sanitario sono innegabili, dalla previsione alla fase di trattamento. Tuttavia, come abbiamo visto, le conseguenze degli algoritmi distorti possono essere gravi, influenzando negativamente i trattamenti e minando la fiducia nel sistema sanitario (Tilala et al., 2024). La chiave sta quindi nel migliorare gli algoritmi per renderli privi di pregiudizi e adattati alle specificità delle persone su cui vengono utilizzati. Vediamo come questo può essere fatto. 

Affrontare i pregiudizi algoritmici nella sanità: alcuni principi 

Un modo per ridurre il rischio di bias fin dall’inizio è effettuare test per valutare equità e pregiudizi nella fase di sviluppo degli algoritmi (Tilala et al., 2024). È altrettanto fondamentale garantire che i set di dati utilizzati siano “inclusivi e rappresentativi di diverse popolazioni di pazienti, tenendo conto di fattori demografici, socioeconomici e culturali” (Tilala et al., 2024). L’uso di modelli di AI adattivi, che apprendono dai nuovi dati nel tempo e rimuovono quelli obsoleti o distorti, rappresenta un’altra soluzione (Mittermaier et al., 2023). Inoltre, gli algoritmi dovrebbero essere monitorati regolarmente per garantire equità nel tempo (Mittermaier et al., 2023). 

Un rapporto dell’OMS pubblicato nel 2021 fornisce linee guida per l’uso etico dell’AI nella sanità. Gli esperti sottolineano che i sistemi dovrebbero essere progettati per "promuovere il più ampio e appropriato utilizzo equo e accessibile, indipendentemente dall’età, dal genere, dal reddito, dalle capacità o da altre caratteristiche" (Organizzazione Mondiale della Sanità, 2021). Questo principio si applica anche ai professionisti del settore sanitario, che dovrebbero provenire da contesti e culture differenti. 

Un altro aspetto fondamentale è la trasparenza e la spiegabilità degli algoritmi, per evitare la cosiddetta “black-box AI” e rafforzare la fiducia (Panch et al., 2018). Tuttavia, il gruppo di esperti dell’OMS sottolinea che “sebbene le tecnologie di AI svolgano compiti specifici, spetta agli attori umani garantire che tali compiti siano svolti correttamente e in condizioni appropriate” (Organizzazione Mondiale della Sanità, 2021). In altre parole, gli algoritmi devono supportare, ma non sostituire, le decisioni mediche. 

La responsabilità dei fornitori di tecnologia 

È essenziale che i fornitori di tecnologia si impegnino a creare soluzioni etiche e prive di pregiudizi. Questo è fondamentale per preservare la fiducia tra pazienti e professionisti sanitari e la qualità delle cure, garantendo che le decisioni mediche siano basate su dati accurati e aggiornati, affinché i paienti beneficino di cure adatte alle loro esigenze. 

Dedalus sarà presente all’HIMSS25 per presentare una serie di soluzioni basate sull’AI. L’etica dell’AI e la riduzione dei pregiudizi saranno temi centrali, con sessioni dedicate alle sfide etiche e alle strategie per mitigare i bias, attraverso una migliore qualità e l’interoperabilità dei dati. Speriamo di incontrarvi lì! 

E ora, vogliamo sentire la vostra opinione! Come pensate che i pregiudizi possano influenzare le decisioni cliniche? Avete adottato misure per affrontare queste problematiche? Fatecelo sapere nei commenti!