Triagem de COVID por IA, 2021AI COVID screening, 2021

O modelo veio da ciência de dados da Kunumi, treinado com mais de um milhão de exames de um grande laboratório de análises clínicas, e o modelo validado acertava 92% dos casos. A área de novos produtos da empresa o transformava em produto, que estava no ar com cerca de dez usuários.

O business case de fevereiro de 2021 já listava a resistência dos médicos como risco, sem teste. Até ali, o produto não tinha passado por nenhuma pesquisa com usuários, e o modelo nunca tinha sido usado dentro de um hospital.

The model came from Kunumi's data science team, trained on more than a million tests from a large clinical lab, and the validated model got 92% of cases right. The company's new products unit was turning it into a product, which was live with about ten users.

The February 2021 business case already listed doctor resistance as a risk, untested. Until then, the product had gone through no research with users, and the model had never been used inside a hospital.

A demanda pedia questionário com 50 médicos e entrevista com 3 donos de clínica. Antes disso, pus três semanas de entrevistas abertas, para entender o problema antes de testar a solução. Conduzi com o time um exercício de suposições priorizadas por risco e conhecimento. Das 16 suposições, 8 caíram no quadrante de alto risco e pouco conhecimento. No topo ficou a pergunta "Será que os médicos confiam em diagnósticos feitos via IA?", e no mesmo quadrante estava a dúvida se a procura por diagnóstico em massa de COVID já tinha passado.

O formulário de seleção recebeu 26 inscrições, 12 de médicos e 6 de gestores. Entrevistei seis profissionais de saúde por telefone e WhatsApp. Recusei usar as entrevistas para vender e deixei a parte comercial com a líder da área de novos produtos.

The request called for a survey of 50 doctors and interviews with 3 clinic owners. Before that, I added three weeks of open interviews, to understand the problem before testing the solution. With the team, I ran an exercise that ranked assumptions by risk and knowledge. Of 16 assumptions, 8 landed in the high-risk, low-knowledge quadrant. At the top was the question "Do doctors trust diagnoses made by AI?", and the same quadrant had another one, whether demand for mass COVID testing was already over.

The screening form received 26 sign-ups, 12 from doctors and 6 from managers. I interviewed six health professionals by phone and WhatsApp. I refused to use the interviews as sales pitches and left the commercial side to the new products unit's lead.

Conduzi a síntese em maio de 2021 com a colíder de design, que anotava enquanto eu conduzia. A pergunta que guiou a leitura foi a de maior risco no quadro de suposições, se os médicos confiariam num diagnóstico feito por IA. A síntese organizou o que as seis pessoas disseram em conclusões, surpresas, pontos de dor e perguntas restantes.

I led the synthesis in May 2021 with the design co-lead, who took notes while I facilitated. The question that guided the reading was the highest-risk one on the assumption board, whether doctors would trust a diagnosis made by AI. The synthesis sorted what the six people said into conclusions, surprises, pain points and open questions.

Com o time, a ciência de dados treinou o modelo com o laboratório parceiro, a colíder de design anotou a síntese comigo, e a líder da área de novos produtos cuidou da conversa comercial com os médicos.

The data science team trained the model with the partner lab, the design co-lead took synthesis notes with me, and the new products unit's lead handled the commercial conversation with doctors.