Medindo sucesso binário

Resolvi continuar com o assunto métricas. Tenho ouvido algumas discussões sobre o assunto e inclusive este ano na semana de usabilidade que participei, este tema foi abordado em alguns momentos. A usabilidade simplesmente como números, ou seja, puramente estatística não responde muitos dos problemas de usabilidade. Servem para apontar o problema de forma clara e objetiva e de maneira que o cliente ou stakeholder do projeto possa visualizar com clareza onde está o problema. Uma análise mais voltada para o entendimento da necessidade do usuário é o caminho da usabilidade atualmente.

Porém, números sempre são interessantes de ser colhidos e utilizados como forma de validar ou ajudar a entender os problemas de usabilidade.
Entre as 10 formas mais utilizadas de colher métricas para web está o sucesso binário, método que eu já comentei brevemente aqui em outro post.

Desenvolvi uma planilha para colher e medir sucesso binário em tarefas. Mas antes de mostra-la vou explicar um pouco para que serve o sucesso binário.

Usa-se este tipo de métrica onde o sucesso de uma tarefa é crítico, como por exemplo para um site de vendas de produtos online é vital que se consiga finalizar a compra. Ou então para situações mais críticas ainda, como o uso de um desfibrilador por exemplo. não existe meio termo entre conseguiu usar e não conseguiu usar.

Como o nome diz, o sucesso é binário então para facilitar conta usamos 0 e 1 onde:


0 - falha
1 - sucesso

Para o dia a dia em testes de sites ou outros sistemas acho este método um pouco severo demais porém mesclado com outras métricas pode trazer resultados interessantes.

Abaixo segue o modelo de planilha para medir sucesso binário.

- Na primeira coluna temos os participantes.
- Nas demais colunas temos as tarefas
- Na linha 18 temos a média, de resultados positivos ( 12 entrevistas/quantidades de sucessos obtidos na tarefas)

Ex: tarefa 1 tem 3 sucessos isso representa 25% de sucesso nesta tarefa.


Logo abaixo vem o intervalo de confiança. não vou entrar em muitos detalhes pois já falei um pouco sobre isso em um post anterior. O importante aqui é que o método utilizado para calcular este intervalo de confiança é um método específico para pequenas amostras binomiais, com isso conseguimos minimizar o desvio do resultado.

Linhas 22 e 23 mostram os limites obtidos através deste intervalo de confiança:

Ou seja : Na minha tarefa 1 tive 25% de sucesso testando 12 usuários. Se eu quiser enxergar isso como medição para uma amostra populacional bem maior, essa taxa pode variar entre 8,3% e 53,8%.

Apesar da medida ser estatística, fica difícil falar para um cliente que a taxa de sucesso na tarefa pode ter uma variação tão grande. Porém se aumentarmos a quantidade de entrevistados a estatística começa a se tornar mais apresentável.

Ex: Vamos supor que 21 de 23 participantes consiguam finalizar uma tarefa com sucesso ou seja 91,3% de sucesso. O nosso intervalo de confiança retorna entre 72% e 98,8% de chance de sucesso para populações maiores.

Apesar de não ser uma medida como do IBOPE com margem de erro de 2% ou 3%, já é mais plausível apresentar este número aum cliente.


Bom, por último segue uma possível apresentação destes dados para o cliente.
Os gráficos representam a taxa de sucesso obtido no teste e as barras mostram os limites inferior e superior.





Depois vou mostrar outras 3 planilhas que desenvolvi.
Uma para medir nível de sucesso ao invés de sucesso binário. Outras duas de satisfação com o desenvolvimento de histogramas para representar os dados obtidos.

Alexandre Miranda