Medindo nível de sucesso em tarefas
No último artigo falei sobre como medir sucesso binário. Apresentei os intervalos de confiança e como eles podem nos ajudar a dar uma perspectiva da quantidade de sucessos que serão obtidos na mesma tarefa se ela for realizada com uma amostragem maior.
Hoje vou mostrar um exemplo semelhante e que acredito ser mais útil no dia a dia do profissional de usabilidade. O nível de sucesso.
No último artigo falei sobre como medir sucesso binário. Apresentei os intervalos de confiança e como eles podem nos ajudar a dar uma perspectiva da quantidade de sucessos que serão obtidos na mesma tarefa se ela for realizada com uma amostragem maior.
Hoje vou mostrar um exemplo semelhante e que acredito ser mais útil no dia a dia do profissional de usabilidade. O nível de sucesso.
Nível de sucesso
Ao contrário do sucesso binário, que mede apenas se uma tarefa foi realizada com sucesso ou não, o nível de sucesso é um pouco mais tolerante quando se trata em completar uma tarefa ou não.
Ao invés de colocarmos apenas sucesso/fracasso colocamos níveis intermediários, permitindo assim uma maior flexibilidade em nossa escala.
Dito isso vamos a um exemplo:
Ao invés de usarmos : 1 – sucesso; 0 – fracasso, podemos usar:
1 – sucesso
2 – sucesso com ajuda
3 – sucesso com muita ajuda
4 – falha ou desistência.
A quantidade de níveis intermediários fica a critério de quem vai fazer a escala, porém, não recomendo muitos níveis pois fica difícil controlar durante um teste o que será sucesso com ajuda, sucesso com pouca ajuda, sucesso com muita ajuda, quase desistiu, iria desistir, e assim por diante. Por isso sugiro uma escala com quatro ou cinco níveis no máximo.
Por que nível de sucesso e não sucesso binário?
Bom, cada um tem sua aplicação. Como disse no outro artigo, algumas tarefas podem ser medidas por sucesso ou fracasso, mas outras, não faz sentido ser tão radical.
Ex: Tarefa 1 – Localizar uma máquina fotográfica digital de 10mp da marca sony modelo X que já venha com cartão de memória.
Então o entrevistado localiza uma máquina fotográfica digital, sony, modelo X, com cartão de memória mas somente com 8,1mp.
Classificar como falha a tarefa toda por apenas um item não completado seria muito radical. Por isso podemos usar níveis de sucesso para medir a eficiência do resultado das tarefas.
Desenvolvi uma planilha para medir o nível de sucesso em tarefas:
Ao contrário do sucesso binário, que mede apenas se uma tarefa foi realizada com sucesso ou não, o nível de sucesso é um pouco mais tolerante quando se trata em completar uma tarefa ou não.
Ao invés de colocarmos apenas sucesso/fracasso colocamos níveis intermediários, permitindo assim uma maior flexibilidade em nossa escala.
Dito isso vamos a um exemplo:
Ao invés de usarmos : 1 – sucesso; 0 – fracasso, podemos usar:
1 – sucesso
2 – sucesso com ajuda
3 – sucesso com muita ajuda
4 – falha ou desistência.
A quantidade de níveis intermediários fica a critério de quem vai fazer a escala, porém, não recomendo muitos níveis pois fica difícil controlar durante um teste o que será sucesso com ajuda, sucesso com pouca ajuda, sucesso com muita ajuda, quase desistiu, iria desistir, e assim por diante. Por isso sugiro uma escala com quatro ou cinco níveis no máximo.
Por que nível de sucesso e não sucesso binário?
Bom, cada um tem sua aplicação. Como disse no outro artigo, algumas tarefas podem ser medidas por sucesso ou fracasso, mas outras, não faz sentido ser tão radical.
Ex: Tarefa 1 – Localizar uma máquina fotográfica digital de 10mp da marca sony modelo X que já venha com cartão de memória.
Então o entrevistado localiza uma máquina fotográfica digital, sony, modelo X, com cartão de memória mas somente com 8,1mp.
Classificar como falha a tarefa toda por apenas um item não completado seria muito radical. Por isso podemos usar níveis de sucesso para medir a eficiência do resultado das tarefas.
Desenvolvi uma planilha para medir o nível de sucesso em tarefas:
A planilha apresenta os participantes P1,P2....P12, e as tarefas de 1 a 5.
Para cada tarefa está associado um nível de sucesso.
Incluí também um botão com uma macro para apagar todos os resultados.
Apresentando os resultados
Agora que já temos os resultados de todas as tarefas, podemos elaborar o gráfico que irá representá-lo.
Agora que já temos os resultados de todas as tarefas, podemos elaborar o gráfico que irá representá-lo.
Com os resultados obtidos podemos ter uma radiografia da facilidade ou dificuldade em cada tarefa. O gráfico mostra claramente uma taxa de falha/desistência muito alta na tarefa 9, o que deixa claro um problema severo de usabilidade. A correção imediata ou não deste problema, depende do grau de impacto que esta falha tem no sistema ou no comprometimento de finalização de alguma tarefa vital. De qualquer maneira, fica claro que somente 1 usuário finalizou a tarefa e ainda assim foi necessário ajuda.
Podemos aproveitar o resultado para elaborar também gráfico de sucesso relacionado aos participantes. Com isso conseguimos dentro da nossa amostra perceber se algum público específico teve mais dificuldade e em quais tarefas.
No gráfico apresentado podemos observar que poucos usuários completaram o teste sem falhar ou desistir de alguma tarefa, sendo que os usuário 10 e 11 não realizaram uma das tarefas e isto está representado no gráfico também.
Utilizar este tipo de medição pode ser muito útil, tanto para o profissional que está realizando a pesquisa, quanto para a apresentação de resultados a clientes. Para os profissionais as representações gráficas deixam mais claro onde está o problema e permitem uma comparação em um possível teste no futuro, além de contribuir muito para o aprendizado.
Já para os clientes, muitas vezes fica difícil entender onde está o problema ou por que ele acontece. Com os gráficos começamos a esclarecer as coisas. Lembrando que os gráficos por si só não dizem muito. Eles apontam as falhas mas não dizem muitas vez o por que dela. Um bom relatório observacional e a experiência do especialista em usabilidade em perceber os motivos que levaram as dificuldades ainda é fator fundamental e precioso em análises de usabilidade.
No próximo artigo vou mostrar algumas formas de coletar pesquisas de satisfação em usabilidade que, somadas ao nível de sucesso podem ajudar a deixar ainda mais claro os problemas de usabilidade encontrados.
Postagens
