Bom como prometido vou comentar um pouco sobre métricas de satisfação.
Por que utilizá-las?Essas métricas podem ser vir para muita coisa, como por exemplo para medir expectativas dos usuários ou o nível de satisfação ao utilizar determinado sistema. Ou ainda para tentar extrair do usuário algum pensamento que ele não verbalizou durante um teste.Talvez seja uma das formas mais importantes em termos de métricas de colhermos a percepção do usuário. Deixo claro que em termos de métricas, pois não se pode levar em consideração apenas os números obtidos.
Quando bem elaborada, conseguimos colher algumas
reações que
dificilmente um usuário demonstraria em sala de testes, ou então, que ele falaria de livre e espontânea vontade.
Claro, que existem usuários que falam tudo o que pensam e que não tem receio de falar mal do site que estão
analisando. Mas por experiência própria, sei que este não é o comportamento padrão, principalmente quando falamos de uma população mais baixa renda.
O tipo de métrica que vou falar aqui hoje é a 'Escala Semântica Diferencial'.
Escala semântica diferencialDesenvolvida em 1957 por Charles E. Osgood para medir conotações de palavras ou de conceitos. Este tipo de técnica apresenta pares de palavras/ sentimentos/sensações opostas.Adjetivos que tem representações opostas como:
quente x frio
fraco x forte
escuro x claro
Utilizando palavras opostas, podemos dentro de uma escala entender como o usuário se sente em relação ao sistema como um todo ou com a tarefa realizada.
Para isso podemos usar uma
coleta utilizando 5 ou 7 pontos como no exemplo abaixo:
quente 0 0 0 0 0 0 0 frio
fraco 0 0 0 0 0 0 0 forte
escuro 0 0 0 0 0 0 0 claro.
Não vou entrar aqui na questão em se ter um ponto neutro na escala ou não. Para muitos o ponto neutro é um porto seguro para o entrevistado, onde ele pode
permanecer neutro sem manifestar sua opinião. Eu particularmente aplico a escala utilizando um ponto neutro, como esta de 7 pontos onde os 3 primeiros tendem para quente, o ponto quatro é neutro e os próximos 3 tendem para frio.
Ex quente - 1 2 3
(4 neutro) 5 6 7 - frio
Bom, com isso podemos criar então palavras opostas que representem o nosso sistema e assim
aplicá la em nossas entrevistas.
Mas, Quando aplicar?Existem dois momentos que podemos aplicar a escala. No final das tarefas, e mais
comummente no final da sessão.
Ambas tem suas vantagens, mas, colher estes dados no final de cada tarefa significa mais dados para analisar no pós teste. Mas se julgar necessário uma análise por tarefa tudo bem.
O maior cuidado que se deve ter aqui são com as
palavras escolhidas, pois elas devem ser opostas e ter um significado claro.
Como coletar os dados ?Esta talvez seja a parte mais difícil. Quem faz testes de
usabilidade ou trabalha com pesquisa, sabe da tendência em pessoas tentarem ser positivas sempre. É comum que elas respondam o que elas acham que o moderador quer ouvir, para não parecer uma pessoas negativa, ou tentar passar uma imagem. Isso tem um nome e é
objeto de estudo (social
desirability Nancarrow &
Brace 2000).
Portanto, a forma de apresentar a pesquisa para o cliente é vital para que ele tenha confiança em responder a
pesquisa a mais naturalmente possível.
Após todas as entrevistas, conseguimos então ter para cada pergunta a quantidade de respostas colhidas.
Ex: quente - 0 0 0 0 0 - frio ( utilizei aqui uma escala com 5 pontos)
Após 12 entrevistas conseguimos ter quantas pessoas marcaram o primeiro círculo, o segundo, terceiro.....sétimo.
Contabilizando estes dados podemos utilizar várias formas de apresentação. Após alguns estudos utilizando
histogramas, decidi apresentar os dados utilizando linhas. Elas deixam claro para o cliente onde o site tende para ruim e onde ele tende para bom ou onde ele está neutro. Deixando claro que nem sempre uma resposta neutra é realmente neutra. Se pergunto se um site é frustrante ou empolgante e a resposta é neutra, isso pode ser um problema, se
lervar-mos em consideração outros
fatores do teste.
Abaixo segue um exemplo de apresentação dos dados:
O gráfico apresenta o eixo y (vertical) localizado no ponto 3, ou seja, na resposta neutra da nossa pesquisa.
Por que?Com
adotei uma escala com ponto neutro, então coloquei sempre as
palavras com conotação negativa do lado esquerdo e as palavras com conotação positiva ao lado direito. Com isso, se a pessoa achou o site organizado, então a maioria das respostas está entre os pontos 4 e 5 (eixo horizontal).
O gráfico mostra que no geral os entrevistados acham o site organizado. O ápice da curva está representado do lado
direito e acima do ponto 4 do eixo 'x' ( palavra negativa - lado esquerdo x palavra positiva - lado direito).
Por outro lado, fica claro que falta informação no site, a curva mais alta em rosa está do lado esquerdo ( lado onde diz falta informação).
FinalizandoApresentei aqui 3 métricas possíveis de serem medidas em
usabilidade e formas de apresentá-las para seus clientes.
Mais uma vez, gostaria de deixar claro que somente as métricas não podem servir como resposta para o
projeto. Elas devem servir apenas como apoio, como suporte para os apontamentos feitos no relatório final pós teste de
usabilidade.
Elas conseguem deixar claro os problemas, mas o 'por
que' ainda depende de interpretar o usuário, portanto os protocolos de falar em voz alta, as análises do comportamento do usuário durante entrevista são vitais para uma coerência entre estatísticas e o relatório final.
Postagens
