InícioHome EixosImpact Cases ClientesClients FormaçãoEducation ArtigosArticles ContatoContact
in/biancaschuler

Operação de pesquisa na Kunumi, 2021 e 2022UX Research practice at Kunumi, 2021 and 2022

Montei do zero a pesquisa com usuários da Kunumi, empresa de IA onde os produtos avançavam pela opinião de especialistas. Na plataforma de ML sem código, a pesquisa mostrou que os usuários queriam resultados que já dissessem o que fazer, e a Kunumi implantou o Data Stories para isso.

I built user research from scratch at Kunumi, an AI company where products moved forward on expert opinion. On the no-code ML platform, research showed that users wanted results that already told them what to do, and Kunumi implemented Data Stories for that.

PapelUX Researcher Lead, primeira pesquisadora da área que transformava modelos de IA em produtos, respondendo à executiva de produto
Período2021 e 2022, da área de novos produtos à fase de produto
Tamanho do time1 pesquisadora até julho de 2021 e 2 depois, com a colíder de design na operação
Escopoprocesso de pesquisa, fluxo de sete etapas, dois bancos com 108 voluntários para teste e um arquivo central de achados
Métodosconstrução de operação de pesquisa do zero, recrutamento e banco de participantes, repositório e taxonomia de insight
SetorIA aplicada a saúde e a dados, numa empresa brasileira de IA
RoleUX Researcher Lead, the first researcher in the unit that turned AI models into products, reporting to the head of product
Period2021 and 2022, from the new products unit to the product phase
Team1 researcher until July 2021 and 2 after that, with the design co-lead in the operation
Scoperesearch process, seven-stage flow, two panels with 108 test volunteers and a central findings archive
Methodsbuilding a research operation from scratch, participant recruitment and panel, insight repository and taxonomy
SectorAI for healthcare and data, at a Brazilian AI company
ResultadoResults

Em agosto de 2021, contratei a segunda pesquisadora, e a área passou de uma para duas pessoas. Em setembro, o líder do produto que detectava COVID pelo exame de sangue levou à liderança o pedido de mais uma rodada de pesquisa. Em maio de 2022, a Kunumi implantou o Data Stories na plataforma de ML sem código, um recurso criado a partir do achado de que os usuários queriam resultados que já dissessem o que fazer.

In August 2021, I hired the second researcher, and the practice grew from one person to two. In September, the lead of the product that detected COVID from a blood test asked leadership for another round of research. In May 2022, Kunumi implemented Data Stories on the no-code ML platform, a feature built from the finding that users wanted results that already told them what to do.

"a Bianca estruturando como a gente faz pesquisa". Um dos co-CEOs da Kunumi, numa apresentação de maio de 2021.
"Bianca structuring how we do research." One of Kunumi's co-CEOs, at a May 2021 presentation.
O problema realThe real problem

Entrei em janeiro de 2021 como a primeira UX Researcher da área que transformava modelos de IA em produtos, em quatro estágios com uma decisão de seguir ou parar entre eles. Em julho de 2021, eu ainda era a única pesquisadora de produto numa empresa de cerca de 100 pessoas. Mais ninguém tinha o cargo nem o método de pesquisa de produto, e os times validavam o produto com a opinião de especialistas.

I joined in January 2021 as the first UX Researcher in the unit that turned AI models into products, through four stages with a go or no-go decision between them. In July 2021, I was still the only product researcher in a company of about 100 people. Nobody else held the role or had a method for product research, and teams validated products through expert opinion.

Minha abordagemMy approach

Com a colíder de design e uma colega de engenharia de produção e ergonomia, construí o Processo de Pesquisa de Produto, em que o especialista valida o modelo e o usuário valida o produto. Eram três ciclos de pesquisa, um para descobrir o problema, um para mapear o uso e um para testar a solução, dentro dos quatro estágios da área. Entre um ciclo e outro havia uma decisão de seguir ou parar, e mais uma no começo, para "matar cedo o que não tem cara de produto". Cada pesquisa passava por um fluxo de sete etapas, do pedido até o time usar o resultado, com prazo e entrega em cada etapa.

Em março de 2021, abri um banco de voluntários para testar os produtos de saúde e, em novembro, outro para o produto de ML, os dois com formulário de seleção e consentimento. Os achados iam para um arquivo central no Dovetail, em que defini as etiquetas antes das sessões e o formato de cada achado, em fato, análise, evidência e oportunidade.

O que descartei

Descartei a validação do produto feita só com especialistas. O especialista opinava fora do contexto de uso, ninguém registrava o que ele dizia com método, e eles eram poucos para cobrir os perfis de quem ia usar.

With the design co-lead and a colleague from production engineering and ergonomics, I built the Product Research Process, in which experts validate the model and users validate the product. It had three research cycles, one to find the problem, one to map use and one to test the solution, inside the unit's four stages. Between cycles there was a go or no-go decision, plus one at the start, to "kill early whatever doesn't look like a product". Each study went through a seven-stage flow, from the request to the team using the result, with a deadline and a deliverable at each stage.

In March 2021, I opened a panel of volunteers to test the healthcare products and, in November, another for the ML product, both with a screening form and consent. Findings went into a central archive in Dovetail, where I defined the format of each finding, as fact, analysis, evidence and opportunity, and set the tags before the sessions.

What I ruled out

I ruled out validating the product with experts alone. Experts gave opinions outside the context of use, nobody used a method to record what they said, and there were too few of them to cover the profiles of the people who would use the product.

Como a decisão andouHow the decision moved

Em 12 de abril de 2021, apresentei o processo à liderança da área como o jeito de validar os próximos produtos. O fluxo de sete etapas já guiava, desde fevereiro, o plano do produto que detectava COVID pelo exame de sangue. No fim do ano, o produto de ML sem código passou a usar os bancos de voluntários e o arquivo central de achados.

On April 12, 2021, I presented the process to the unit's leadership as the way to validate the next products. The seven-stage flow had guided the plan of the product that detected COVID from a blood test since February. At the end of the year, the no-code ML product started using the volunteer panels and the central findings archive.

O que foi meuMy part
Construí o processo de pesquisa com duas colegas e o apresentei à liderança da área de novos produtos.
Desenhei o fluxo de sete etapas e o usei primeiro no plano do produto de COVID.
Abri os dois bancos de participantes de 2021.
Contratei a segunda pesquisadora, fiz o onboarding dela e depois a levei para a pesquisa do produto de ML.
I built the research process with two colleagues and presented it to the new products unit's leadership.
I designed the seven-stage flow and used it first in the COVID product's plan.
I opened both 2021 participant panels.
I hired and onboarded the second researcher, then assigned that researcher to research on the ML product.

Com o time, dividi a construção do processo com a colíder de design e a colega de ergonomia, e o design estudou ML, explicabilidade e viés num grupo de estudos de IA em 2021.

I shared the process work with the design co-lead and the ergonomics colleague, and in 2021 the design team studied ML, model transparency and algorithmic bias in an AI study group.

ArtefatosArtifacts

Operação de pesquisa, 2021

Processo de pesquisa de produto

Três ciclos, com uma decisão de seguir ou parar no começo e entre um ciclo e outro, e duas validações, cada uma com quem valida.

Três ciclos com portão

  1. portão: seguir ou parar
  2. Generativo
  3. portão: seguir ou parar
  4. Mapeamento
  5. portão: seguir ou parar
  6. Avaliativo

Duas validações

O especialista valida o modeloreprodução da pesquisa com o mesmo conjunto de dadosQuem valida: o especialista
O usuário valida o produtocom protótipo e, depois, com MVPQuem valida: o usuário

O portão servia para “matar cedo o que não tem cara de produto”. Fonte: quadro e deck do Processo de Pesquisa de Produto, 2021.

Operação de pesquisa, 2021

Esteira de pesquisa em sete etapas

Do pedido até o time usar o resultado, com a duração e a entrega de cada etapa no plano de 22 de fevereiro a 26 de abril de 2021.

  1. 01Demandarmeia semanaEntregaAlinhamento da investigação
  2. 02Planejar1 semanaEntregaPlano de pesquisa
  3. 03Organizarmeia semanaEntregaGuia de campo
  4. 04Realizar3 semanasEntregaDados de pesquisa
  5. 05Analisar2 semanasEntregaProcessamento da pesquisa
  6. 06Entregar1 semanaEntregaRelatório
  7. 07ConsumircontínuoEntregaAnálise disponível para o consumo das equipes

Fonte: cronograma do plano de validação de 2021, que já usava as sete etapas.

Research operations, 2021

Product research process

Three cycles, with a go or no-go decision at the start and between cycles, and two validations, each with who validates.

Three gated cycles

  1. gate: go or no-go
  2. Generative
  3. gate: go or no-go
  4. Mapping
  5. gate: go or no-go
  6. Evaluative

Two validations

Experts validate the modelreproducing the research with the same datasetWho validates: the expert
Users validate the productwith a prototype and, later, an MVPWho validates: the user

The gate was there to “kill early whatever doesn't look like a product”. Source: Product Research Process board and deck, 2021.

Research operations, 2021

Seven-stage research pipeline

From the request to the team using the result, with each stage's duration and deliverable in the plan from February 22 to April 26, 2021.

  1. 01Requesthalf a weekDeliverableResearch alignment
  2. 02Plan1 weekDeliverableResearch plan
  3. 03Organizehalf a weekDeliverableField guide
  4. 04Run3 weeksDeliverableResearch data
  5. 05Analyze2 weeksDeliverableResearch processing
  6. 06Deliver1 weekDeliverableReport
  7. 07UseongoingDeliverableFindings available for the teams to use

Source: the 2021 validation plan schedule, which already used the seven stages.