Quantidade de entrevistas em testes de usabildiade

Sempre surge esta pergunta quando um teste de usabilidade é definido e chega a hora de decidir quantos participantes devem compor o público alvo do site.
Já muitas pessoas fazendo interpretação errada da quantidade de participantes que devem compor um quadro mínimo de entrevistas.
O erro mais comum é achar que de 3 a 6 participantes é o suficiente sem levar em consideração algumas premissas básicas :

Quais são os perfis de acesso do site?

• O primeiro fator é a escolha adequada do público alvo do site. Ele precisa ser bem definido e bem representado. O desafio é entender quais as diferenças de acesso entre os públicos para que se possa chegar o mais próximo possível do perfil ou dos perfis corretos.
  

• Quando falamos de 3 a 6 participantes isso significa esta quantidade por público alvo do estudo em questão, ou seja, se o site tem 3 perfis distintos de acesso, sua amostra mínima deve ser 3 a 6 particpantes para cada público do site sendo então sua amostra total do teste entre 9 e 18 participantes.

Qual o tamanho do estudo?

• O tamanho do estudo também influencia na quantidade de entrevistas. Testes de usabilidade costumam durar entre 1 hora e 1 hora e meia, estudos mostram que depois deste tempo de teste muitas pessoas sofrem estress e tendem a desviar atenção, começam a ficar irriquietas e as respostas se tornam vagas e menos objetivas. Por isso, se o teste tiver muitas tarefas a serem realizadas é necessário dividir entre os perfis para que se tenha uma amostra adequada.

ALguns estudiosos acreditam que a maioria dos problemas de usabildiade, em torno de 80% serão observados nas primeiras 5 entrevistas (Lewis,1994; Nielsen & Landauer,1993; Virzi,1992), mas nem todos acham que esta é a quantidade ideal de entrevistas.

Nossa experiência mostra que 5 participantes por perfil de usuário do site é o sufuciente para cobrir a maioria dos problemas de usabilidade de um site.

...... continua

Como se tornar um bom moderador de testes de usabilidade

Estou preparando um material para um curso de usabilidade onde o foco é justamente a moderação de testes pois os envolvidos estão começando a montar uma equipe e precisam preparar pessoas para todas as etapas de um teste.

Como nos últimos 4 anos venho preparando e moderando testes de usabilidade para os mais diversos segmentos aceitei o desafio de montar material para o curso sendo que pelo menos 2 horas serão dedicadas somente a moderação em usabilidade.

Não vou colocar tudo aqui pois faz parte de um curso e também seriam necessários muitos posts por que são mais de 20 páginasde texto e todo um tempo de estudo neste material para transformá-lo em apresentação.

Mas se você tem interesse em se tornar um moderador de testes de usabilidade segue algumas dicas :


Para se tornar um bom moderador é necessário algumas coisas :

1. Entender o básico de testes de usabilidade
2. Saber interagir com os participantes
3. Habilidade de estabelecer e manter um canal de comunicação com o entrevistado
4. Facilidade para aprendizado
5. Excelente memória
6. Ser bom ouvinte
7. Ser flexível e se adaptar a novas situações
8. Capaz de se concentrar e prestar atenção por longos períodos
9. Muita prática



1 - Entender o básico de testes de usabilidade

• O propósito do teste que você está moderando. Isto irá determinar como e quanto interagir com um participante.
• Como um teste de usabilidade se difere de outros métodos de inspeção. O objetivo aqui é extrair informações válidas de uma pequena amostra de usuários típicos e deixar o usuário falar.
• Como um teste é planejado : Cada tarefa tem um objetivo e a ordem com que muitas tarefas são executadas podem ser importantes para a validação do teste, e para entender um conceito por trás de uma interface.
• Quando e como dados estão sendo coletados (métricas).

2 - Saber interagir com os participantes

• Cumprimentar quando ele chega
• Fazer uma introdução sobre o teste
• Guia-los conforme realizam as tarefas
• Interagir no pós teste (debrifieng)
• Agradece-los pela participação e entregar a gratificação.

3 - Habilidade de estabelecer e manter um canal de comunicação com o entrevistado

• Algumas pessoas tem facilidade em se comunicar com outras pessoas, enquanto outros não tem essa característica.
• Para estes estabelecer um canal de comunicação com os entrevistados pode ser uma tarefa que exige mais empenho.

4 - Facilidade de aprendizado

• Um bom moderador não precisa ser especialista no sistema/site que está sendo testado.
• Precisa ser capaz de aprender e absorver novos conceitos e integrar esta informações a sua linha de raciocínio e vocabulário se necessário
• Entender as questões que estão envolta do sistema/site para que possa compreender as ações e reações dos participantes durante uma entrevitsta.
• Aprender rápido ajuda a fazer as perguntas certas na hora certa durante uma pesquisa em usabilidade.

5 - Excelente memória

• O moderador é responsável pela maioria das atividades durante um teste de usabilidade
• Controla hardware, software, outros periféricos, roteiro de tarefas, material de apoio, possíveis métricas no roteiro, tempo da sessão, perguntas inclusas na última hora, alterações de roteiro, observa o usuário, conhece os caminhos para a realização das tarefas, faz anotações durante a entrevista, ajuda a escrever o relatório final.

6 - Ser bom ouvinte

• Ser capaz de passar a maior parte do tempo ouvindo
• Perceber alterações na voz ou na entonação podem indicar confusão, irritação.

7- Ser flexível e se adaptar a novas situações

• Saber conduzir o entrevistado evitando dar respostas
• Contornar situações que não estavam previstas em roteiro
• Improvisar se necessário
• Reformular perguntas previstas em roteiro mas que não estão claras para algum entrevistado.

8 - Capaz de se concentrar e prestar atenção por longos períodos

• Acredite, um teste de usabilidade pode ser muito chato!
• Testes de usabilidade podem ter 4 ou 90 entrevistas
• Gestos, perguntas e respostas são repetidas diversas vezes por dia.
• Por vários dias

9 - Muita prática.

• Uma vez que se saiba o básico, tempo e experiência trarão confiança para lidar com quase todas as situações com calma e eficiência.

Sabendo o básico e tendo consciência da importância de cada uma destas etapas, está dado p rimeiro passo para se tornar um bom moderador em testes de usabilidade.

Curso de Ecommece

Nova turma para o curso de formação de gerentes de e-commerce.
curos bacana só com gente fera que está atuando no mercado de internet.
Esse vale a pena!

http://www.cursoecommerce.com.br/curso-ecommerce.html#Gerentes

Mobile usability test

Semana passada terminamos um teste para mobile, mas especificamente aparelhos de celular com 3 tecnologias diferentes.
Estou sem tempo para postar, mas é muito interessante a diferença entre realizar testes em websites via desktop e via celular.
Muitas peculiaridades e o redesenho será algo bem interessante.
AI + usabilidade, a pilha de material de estudo já está quase da minha altura!

Curso de usabilidade para comércio eletrônico

Curso: Usabilidade de Sites e Arquitetura da Navegação

Aprenda técnicas de usabilidade de sites, card sorting, arquitetura da navegação e análise heurística em sites de comércio eletrônico, através da análise de cases.
Mais de 50% das pessoas abandonam os carrinhos de compras nas lojas virtuais por problemas de usabilidade. Saiba como aumentar as taxas conversão de vendas em sua loja virtual.
Entenda os pontos fortes e fracos de sua loja virtual. Veja o que fazer e o que não fazer para transformar visitantes em clientes.

Carga horária: 8hMaterial: Pasta com Bloco de Anotações, Caneta e Apostila
Os participantes recebem certificado de conclusão assinado pela CAP Cursos e pela APADI - Associação Paulista das Agências Digitais, que é válido como atividade extracurricular.

Próxima turma: 07/11 das 9h às 18h
Investimento: R$ 590,00

Para inscrever-se no curso acesse o link :
http://www.cursoecommerce.com.br/curso-ecommerce.html#Usabilidade


Cronograma do curso

O que é usabilidade
Para que serve usabilidade
Erros comuns em usabilidade para comércio eletrônico

Teste de usabilidade formas de inspeção
- Análise heurística
- Card Sorting
- Teste de usabilidade
- Métricas em usabilidade

Comportamento de usuário
Boas práticas em usabilidade
Exercício de análise de websites (análise heurística)

O que é Arquitetura de informação
Para que serve Arquitetura de informação
Erros comuns em arquitetura de informação

Para inscrever-se no curso acesse o link :
http://www.cursoecommerce.com.br/curso-ecommerce.html#Usabilidade

Métricas de satisfação

Bom como prometido vou comentar um pouco sobre métricas de satisfação.


Por que utilizá-las?


Essas métricas podem ser vir para muita coisa, como por exemplo para medir expectativas dos usuários ou o nível de satisfação ao utilizar determinado sistema. Ou ainda para tentar extrair do usuário algum pensamento que ele não verbalizou durante um teste.

Talvez seja uma das formas mais importantes em termos de métricas de colhermos a percepção do usuário. Deixo claro que em termos de métricas, pois não se pode levar em consideração apenas os números obtidos.

Quando bem elaborada, conseguimos colher algumas reações que dificilmente um usuário demonstraria em sala de testes, ou então, que ele falaria de livre e espontânea vontade.

Claro, que existem usuários que falam tudo o que pensam e que não tem receio de falar mal do site que estão analisando. Mas por experiência própria, sei que este não é o comportamento padrão, principalmente quando falamos de uma população mais baixa renda.


O tipo de métrica que vou falar aqui hoje é a 'Escala Semântica Diferencial'.



Escala semântica diferencial

Desenvolvida em 1957 por Charles E. Osgood para medir conotações de palavras ou de conceitos.


Este tipo de técnica apresenta pares de palavras/ sentimentos/sensações opostas.

Adjetivos que tem representações opostas como:

quente x frio
fraco x forte
escuro x claro



Utilizando palavras opostas, podemos dentro de uma escala entender como o usuário se sente em relação ao sistema como um todo ou com a tarefa realizada.

Para isso podemos usar uma coleta utilizando 5 ou 7 pontos como no exemplo abaixo:


quente 0 0 0 0 0 0 0 frio

fraco 0 0 0 0 0 0 0 forte

escuro 0 0 0 0 0 0 0 claro.



Não vou entrar aqui na questão em se ter um ponto neutro na escala ou não. Para muitos o ponto neutro é um porto seguro para o entrevistado, onde ele pode permanecer neutro sem manifestar sua opinião. Eu particularmente aplico a escala utilizando um ponto neutro, como esta de 7 pontos onde os 3 primeiros tendem para quente, o ponto quatro é neutro e os próximos 3 tendem para frio.

Ex quente - 1 2 3 (4 neutro) 5 6 7 - frio



Bom, com isso podemos criar então palavras opostas que representem o nosso sistema e assim aplicá la em nossas entrevistas.



Mas, Quando aplicar?



Existem dois momentos que podemos aplicar a escala. No final das tarefas, e mais comummente no final da sessão.

Ambas tem suas vantagens, mas, colher estes dados no final de cada tarefa significa mais dados para analisar no pós teste. Mas se julgar necessário uma análise por tarefa tudo bem.

O maior cuidado que se deve ter aqui são com as palavras escolhidas, pois elas devem ser opostas e ter um significado claro.





Como coletar os dados ?



Esta talvez seja a parte mais difícil. Quem faz testes de usabilidade ou trabalha com pesquisa, sabe da tendência em pessoas tentarem ser positivas sempre. É comum que elas respondam o que elas acham que o moderador quer ouvir, para não parecer uma pessoas negativa, ou tentar passar uma imagem. Isso tem um nome e é objeto de estudo (social desirability Nancarrow & Brace 2000).

Portanto, a forma de apresentar a pesquisa para o cliente é vital para que ele tenha confiança em responder a pesquisa a mais naturalmente possível.



Após todas as entrevistas, conseguimos então ter para cada pergunta a quantidade de respostas colhidas.

Ex: quente - 0 0 0 0 0 - frio ( utilizei aqui uma escala com 5 pontos)



Após 12 entrevistas conseguimos ter quantas pessoas marcaram o primeiro círculo, o segundo, terceiro.....sétimo.



Contabilizando estes dados podemos utilizar várias formas de apresentação. Após alguns estudos utilizando histogramas, decidi apresentar os dados utilizando linhas. Elas deixam claro para o cliente onde o site tende para ruim e onde ele tende para bom ou onde ele está neutro. Deixando claro que nem sempre uma resposta neutra é realmente neutra. Se pergunto se um site é frustrante ou empolgante e a resposta é neutra, isso pode ser um problema, se lervar-mos em consideração outros fatores do teste.



Abaixo segue um exemplo de apresentação dos dados:



O gráfico apresenta o eixo y (vertical) localizado no ponto 3, ou seja, na resposta neutra da nossa pesquisa.

Por que?

Com adotei uma escala com ponto neutro, então coloquei sempre as palavras com conotação negativa do lado esquerdo e as palavras com conotação positiva ao lado direito. Com isso, se a pessoa achou o site organizado, então a maioria das respostas está entre os pontos 4 e 5 (eixo horizontal).

O gráfico mostra que no geral os entrevistados acham o site organizado. O ápice da curva está representado do lado direito e acima do ponto 4 do eixo 'x' ( palavra negativa - lado esquerdo x palavra positiva - lado direito).

Por outro lado, fica claro que falta informação no site, a curva mais alta em rosa está do lado esquerdo ( lado onde diz falta informação).

Finalizando

Apresentei aqui 3 métricas possíveis de serem medidas em usabilidade e formas de apresentá-las para seus clientes.
Mais uma vez, gostaria de deixar claro que somente as métricas não podem servir como resposta para o projeto. Elas devem servir apenas como apoio, como suporte para os apontamentos feitos no relatório final pós teste de usabilidade.
Elas conseguem deixar claro os problemas, mas o 'por que' ainda depende de interpretar o usuário, portanto os protocolos de falar em voz alta, as análises do comportamento do usuário durante entrevista são vitais para uma coerência entre estatísticas e o relatório final.

Nível de sucesso

Medindo nível de sucesso em tarefas

No último artigo falei sobre como medir sucesso binário. Apresentei os intervalos de confiança e como eles podem nos ajudar a dar uma perspectiva da quantidade de sucessos que serão obtidos na mesma tarefa se ela for realizada com uma amostragem maior.
Hoje vou mostrar um exemplo semelhante e que acredito ser mais útil no dia a dia do profissional de usabilidade. O nível de sucesso.

Nível de sucesso

Ao contrário do sucesso binário, que mede apenas se uma tarefa foi realizada com sucesso ou não, o nível de sucesso é um pouco mais tolerante quando se trata em completar uma tarefa ou não.
Ao invés de colocarmos apenas sucesso/fracasso colocamos níveis intermediários, permitindo assim uma maior flexibilidade em nossa escala.
Dito isso vamos a um exemplo:
Ao invés de usarmos : 1 – sucesso; 0 – fracasso, podemos usar:
1 – sucesso
2 – sucesso com ajuda
3 – sucesso com muita ajuda
4 – falha ou desistência.
A quantidade de níveis intermediários fica a critério de quem vai fazer a escala, porém, não recomendo muitos níveis pois fica difícil controlar durante um teste o que será sucesso com ajuda, sucesso com pouca ajuda, sucesso com muita ajuda, quase desistiu, iria desistir, e assim por diante. Por isso sugiro uma escala com quatro ou cinco níveis no máximo.

Por que nível de sucesso e não sucesso binário?

Bom, cada um tem sua aplicação. Como disse no outro artigo, algumas tarefas podem ser medidas por sucesso ou fracasso, mas outras, não faz sentido ser tão radical.
Ex: Tarefa 1 – Localizar uma máquina fotográfica digital de 10mp da marca sony modelo X que já venha com cartão de memória.
Então o entrevistado localiza uma máquina fotográfica digital, sony, modelo X, com cartão de memória mas somente com 8,1mp.
Classificar como falha a tarefa toda por apenas um item não completado seria muito radical. Por isso podemos usar níveis de sucesso para medir a eficiência do resultado das tarefas.
Desenvolvi uma planilha para medir o nível de sucesso em tarefas:

A planilha apresenta os participantes P1,P2....P12, e as tarefas de 1 a 5.
Para cada tarefa está associado um nível de sucesso.
Incluí também um botão com uma macro para apagar todos os resultados.

Apresentando os resultados

Agora que já temos os resultados de todas as tarefas, podemos elaborar o gráfico que irá representá-lo.

Com os resultados obtidos podemos ter uma radiografia da facilidade ou dificuldade em cada tarefa. O gráfico mostra claramente uma taxa de falha/desistência muito alta na tarefa 9, o que deixa claro um problema severo de usabilidade. A correção imediata ou não deste problema, depende do grau de impacto que esta falha tem no sistema ou no comprometimento de finalização de alguma tarefa vital. De qualquer maneira, fica claro que somente 1 usuário finalizou a tarefa e ainda assim foi necessário ajuda.

Podemos aproveitar o resultado para elaborar também gráfico de sucesso relacionado aos participantes. Com isso conseguimos dentro da nossa amostra perceber se algum público específico teve mais dificuldade e em quais tarefas.
No gráfico apresentado podemos observar que poucos usuários completaram o teste sem falhar ou desistir de alguma tarefa, sendo que os usuário 10 e 11 não realizaram uma das tarefas e isto está representado no gráfico também.
Utilizar este tipo de medição pode ser muito útil, tanto para o profissional que está realizando a pesquisa, quanto para a apresentação de resultados a clientes. Para os profissionais as representações gráficas deixam mais claro onde está o problema e permitem uma comparação em um possível teste no futuro, além de contribuir muito para o aprendizado.
Já para os clientes, muitas vezes fica difícil entender onde está o problema ou por que ele acontece. Com os gráficos começamos a esclarecer as coisas. Lembrando que os gráficos por si só não dizem muito. Eles apontam as falhas mas não dizem muitas vez o por que dela. Um bom relatório observacional e a experiência do especialista em usabilidade em perceber os motivos que levaram as dificuldades ainda é fator fundamental e precioso em análises de usabilidade.

No próximo artigo vou mostrar algumas formas de coletar pesquisas de satisfação em usabilidade que, somadas ao nível de sucesso podem ajudar a deixar ainda mais claro os problemas de usabilidade encontrados.