A operadora contratou a consultoria para redesenhar o conceito de três jornadas do app, de segurança, serviços de parceiros e ajuda, para o usuário achar e usar cada função. A operadora já tinha pesquisa sobre essas jornadas, e os problemas mais graves continuavam sem solução. Eu reli com perguntas novas os estudos que a operadora já tinha.
Discovery com agentes de IA numa operadora de telecomDiscovery with AI agents at a telecom operator
Uma operadora de telecom aceitou que o redesenho das telas do app partisse do que o usuário quer fazer. Como única pesquisadora, mostrei que quem contratava no app o serviço de uma parceira quase sempre precisava ativá-lo no site ou no app dela, sem confirmação de nenhuma área.
A telecom operator agreed that its app screen redesign would start from what users want to do. As the only researcher, I showed that a partner service bought in the app almost always had to be activated on the partner's site or app, and no department checked it worked.
ResultadoResults
Na reunião semanal de 30/07, em que apresentei a primeira análise, a operadora aceitou que o redesenho das telas partisse do que o usuário quer fazer, e o líder de design de produto dela decidiu começar pelas telas de segurança do celular. Na entrega final, em 09/09, mostrei que os problemas mais graves aconteciam em etapas que nenhuma área acompanhava, como a ativação do serviço de uma parceira, que quase sempre se fazia fora do app da operadora. No mesmo dia, o mesmo líder pediu que cada proposta de tela citasse a evidência do discovery.
At the July 30 weekly meeting, where I presented the first analysis, the operator agreed that the screen redesign would start from what users want to do, and its product design lead decided to start with the phone security screens. In the final presentation on September 9, I showed that the most serious problems happened at stages no department tracked, such as activating a partner service, which almost always took place outside the operator's app. That same day, the same lead asked for every screen proposal to cite the discovery evidence.
O problema realThe real problem
The operator hired the consultancy to redesign the concept for three app journeys, security, partner services and help, so that users could find and use each feature. The operator already had research on these journeys, and the most serious problems were still unsolved. I reread the operator's existing studies with new questions.
Minha abordagemMy approach
Montei um pipeline de discovery operado por agentes de IA, em quatro etapas, do planejamento à passagem para o design. Os agentes classificaram 9.496 menções de 135 arquivos sem conhecer as perguntas de cada jornada, para a pergunta não guiar o que eles achavam. Em cada jornada, scripts conferiam 15 dos 22 critérios de qualidade. Os outros sete eu conferia no dado original.
I built a discovery pipeline run by AI agents in four stages, from planning to the handoff to design. The agents tagged 9,496 mentions from 135 files without knowing each journey's research questions, so the questions would not steer what they found. In each journey, scripts checked 15 of the 22 quality criteria automatically. I checked the other seven against the raw data.
A maior fatia das 9.496 menções, 42%, veio de pesquisas anteriores da operadora
Menções codificadas na base do discovery das três jornadas, por origem. Cada menção tem uma origem só.
A voz do cliente, 4.010 das 9.496 menções, veio de pesquisas que a operadora já tinha. Depois vêm fala interna, com 2.062, documento de projeto, com 1.565, inspeção, com 1.396, e mercado, com 463.
Fonte: base codificada do discovery, com 135 arquivos de 23 bases documentais, lidos inteiros. Os percentuais somam 100%.
Ver os dados em tabela
| Origem | Menções | Parte do total |
|---|---|---|
| Voz do cliente, de pesquisas anteriores | 4.010 | 42% |
| Fala interna | 2.062 | 22% |
| Documento de projeto | 1.565 | 16% |
| Inspeção | 1.396 | 15% |
| Mercado | 463 | 5% |
| Total | 9.496 | 100% |
The largest share of the 9,496 mentions, 42%, came from the operator's earlier research
Mentions coded in the discovery base for the three journeys, by source. Each mention has one source only.
Customer voice, 4,010 of the 9,496 mentions, came from studies the operator already had. Next come internal conversations with 2,062, project documents with 1,565, inspection with 1,396 and market with 463.
Source: the discovery's coded base, with 135 files from 23 document sources, read in full. Percentages add up to 100%.
See the data as a table
| Source | Mentions | Share of total |
|---|---|---|
| Customer voice, from earlier research | 4,010 | 42% |
| Internal conversations | 2,062 | 22% |
| Project documents | 1,565 | 16% |
| Inspection | 1,396 | 15% |
| Market | 463 | 5% |
| Total | 9,496 | 100% |
Contei como uma fonte só as várias dores vindas do mesmo estudo da operadora, para um estudo não parecer confirmar a si mesmo, e dei a cada afirmação um de três estados, sustentada, sugerida ou não sustentada.
Na reunião de abertura, o líder do projeto do lado da operadora esperava entrevistas com gerentes de cada jornada, e eu propus ouvir a diretoria sobre para onde a empresa ia, proposta que o líder aceitou.
O que descartei
Tirei da análise final o monitoramento de marca, com dezenas de milhares de avaliações públicas, porque ele trazia dores que a operadora já tinha resolvido.
I counted several pain points from the same operator study as a single source, so one study could not seem to confirm itself, and gave every claim a status of supported, suggested or not supported.
At the kickoff meeting, the project lead on the operator's side expected interviews with managers from each journey, and I proposed hearing from the leadership about where the company was heading instead. The lead agreed.
What I ruled out
I dropped from the final analysis the brand monitoring, which covered tens of thousands of public reviews, because it brought in pain points the operator had already solved.
SínteseSynthesis
Os agentes cruzaram as evidências de seis métodos por jornada e separaram os estudos da operadora das fontes de fora. Eu decidi o que virava conclusão. O cruzamento mostrou que, nas três jornadas, o problema mais sério acontecia antes de a pessoa chegar à tela certa ou depois de sair dela. Em segurança, ele vinha antes, porque o usuário ainda não procurava a operadora para se proteger, e em serviços de parceiros vinha depois, quando o serviço passava ao parceiro e ninguém confirmava que tinha funcionado. Na ajuda, o caminho para pedir ajuda existia no app, e o usuário não o encontrava. Esses momentos caíam entre as áreas que dividem o app, e por isso seguiam sem dono.
The agents cross-referenced evidence from six methods per journey and separated the operator's own studies from outside sources. I decided what became a conclusion. The cross-referencing showed that, in all three journeys, the most serious problem happened before people reached the right screen or after they left it. In security it came before the screen, because users did not yet turn to the operator for protection, and in partner services it came after, when the service passed to the partner and nobody confirmed it had worked. In help, the way to ask for help existed in the app, and users could not find it. These moments fell between the departments that divide the app, so nobody owned them.
O que foi meuMy part
Escrevi o plano de pesquisa e a lista de certezas, suposições e dúvidas (matriz CSD), em que cada certeza tem autor e data.
Desenhei e operei o pipeline de agentes e os verificadores por script.
Escrevi os roteiros das oito entrevistas com diretorias e conduzi a maior parte delas.
Desenhei e conduzi o workshop presencial com as áreas da operadora e a edição remota.
Criei a cadeia de hipóteses que liga cada conceito à fala que o originou, para o time de design voltar à evidência sem depender de mim.
Apresentei sozinha a entrega final.
I wrote the research plan and the list of certainties, suppositions and doubts (a CSD matrix), in which every certainty has a source and a date.
I designed and ran the agent pipeline and the script-based checkers.
I wrote the guides for the eight executive interviews and led most of them.
I designed and facilitated both the in-person workshop with the operator's teams and its remote version.
I created the hypothesis chain that links each concept to the quote it came from, so the design team could go back to the evidence without depending on me.
I presented the final readout alone.
Com o time, os designers fizeram o benchmark de usabilidade e os conceitos de tela.
The product designers ran the usability benchmark and created the screen concepts.