Medindo sucesso binário

Resolvi continuar com o assunto métricas. Tenho ouvido algumas discussões sobre o assunto e inclusive este ano na semana de usabilidade que participei, este tema foi abordado em alguns momentos. A usabilidade simplesmente como números, ou seja, puramente estatística não responde muitos dos problemas de usabilidade. Servem para apontar o problema de forma clara e objetiva e de maneira que o cliente ou stakeholder do projeto possa visualizar com clareza onde está o problema. Uma análise mais voltada para o entendimento da necessidade do usuário é o caminho da usabilidade atualmente.

Porém, números sempre são interessantes de ser colhidos e utilizados como forma de validar ou ajudar a entender os problemas de usabilidade.
Entre as 10 formas mais utilizadas de colher métricas para web está o sucesso binário, método que eu já comentei brevemente aqui em outro post.

Desenvolvi uma planilha para colher e medir sucesso binário em tarefas. Mas antes de mostra-la vou explicar um pouco para que serve o sucesso binário.

Usa-se este tipo de métrica onde o sucesso de uma tarefa é crítico, como por exemplo para um site de vendas de produtos online é vital que se consiga finalizar a compra. Ou então para situações mais críticas ainda, como o uso de um desfibrilador por exemplo. não existe meio termo entre conseguiu usar e não conseguiu usar.

Como o nome diz, o sucesso é binário então para facilitar conta usamos 0 e 1 onde:


0 - falha
1 - sucesso

Para o dia a dia em testes de sites ou outros sistemas acho este método um pouco severo demais porém mesclado com outras métricas pode trazer resultados interessantes.

Abaixo segue o modelo de planilha para medir sucesso binário.

- Na primeira coluna temos os participantes.
- Nas demais colunas temos as tarefas
- Na linha 18 temos a média, de resultados positivos ( 12 entrevistas/quantidades de sucessos obtidos na tarefas)

Ex: tarefa 1 tem 3 sucessos isso representa 25% de sucesso nesta tarefa.


Logo abaixo vem o intervalo de confiança. não vou entrar em muitos detalhes pois já falei um pouco sobre isso em um post anterior. O importante aqui é que o método utilizado para calcular este intervalo de confiança é um método específico para pequenas amostras binomiais, com isso conseguimos minimizar o desvio do resultado.

Linhas 22 e 23 mostram os limites obtidos através deste intervalo de confiança:

Ou seja : Na minha tarefa 1 tive 25% de sucesso testando 12 usuários. Se eu quiser enxergar isso como medição para uma amostra populacional bem maior, essa taxa pode variar entre 8,3% e 53,8%.

Apesar da medida ser estatística, fica difícil falar para um cliente que a taxa de sucesso na tarefa pode ter uma variação tão grande. Porém se aumentarmos a quantidade de entrevistados a estatística começa a se tornar mais apresentável.

Ex: Vamos supor que 21 de 23 participantes consiguam finalizar uma tarefa com sucesso ou seja 91,3% de sucesso. O nosso intervalo de confiança retorna entre 72% e 98,8% de chance de sucesso para populações maiores.

Apesar de não ser uma medida como do IBOPE com margem de erro de 2% ou 3%, já é mais plausível apresentar este número aum cliente.


Bom, por último segue uma possível apresentação destes dados para o cliente.
Os gráficos representam a taxa de sucesso obtido no teste e as barras mostram os limites inferior e superior.





Depois vou mostrar outras 3 planilhas que desenvolvi.
Uma para medir nível de sucesso ao invés de sucesso binário. Outras duas de satisfação com o desenvolvimento de histogramas para representar os dados obtidos.

Alexandre Miranda

Measuring Desirability: New methods for evaluating

Muito bom este artigo, aqui segue o trecho inical dele e um link para o documento completo.

É sempre bom saber como diminuir os desvios nas respotas em testes de usabilidade quando o assunto é pesquisa de satisfação e como medir aspectos intangíveis.
Quem faz testes com frequencia sabe que em sua maioria, as pessoas tendem a dar respostas positivas mesmo que elas tenham tido muitas dificuldades ou problemas durante o teste.

Existem vários métodos para colher estas pesquisas inclusive algumas específicas para usabilidade, mas mesmo elas tem um desvio alto.
Aqui temos um método que tenta diminuir o desvio nestas pesquisas de satisfação em usabilidade e também ajuda a medir aspectos intangíveis. Palavras vagas como, engraçado, bom.
Muito bom para quando se é necessário medir um pouco além de um produto ser usável ou não.

Abstract

Difficulty can arise when a practitioner wants to get user input on intangibles such as “desire” and “fun” in a usability lab setting. This paper will introduce you to methods we’ve created to collect feedback on “desirability” and give some background on how we developed them.

Introduction

Formal usability tests in a lab setting are an excellent tool to evaluate whether users can complete tasks; however, the technique has not been as effective for measuring intangible aspects of the user experience such as “fun,” “enjoyment,” or whether the product is desirable enough to purchase. One standard method used to evaluate these intangible aspects is a questionnaire with Likert scales. One problem with this method is that the topics of the questions or anchors on the scales are assigned by the practitioner and often do not mean as much to a participant brought into the lab. In addition, there can be a tendency to give very similar and often positive ratings for each question in the lab environment. Another option is an interview. While this can result in useful data, this approach can be time consuming and with some users it can be difficult to elicit their candid or more negative feedback. In addition the subjective data that is gathered can be challenging to analyze. Because of these barriers, among others, usability engineers in our organization are unlikely to assess “desirability” while evaluating products in the usability lab.

Since product team members had expressed an interest in knowing more than “is the product usable,” we decided to explore ways to measure intangible aspects of the user experience quickly and easily in the lab. Initially this involved interviewing people across the company who have conducted research related to desirability of Microsoft products and brainstorming with them. This paper includes information about the brainstorm session used to generate new ideas, specifics about two different methods we developed as a result of the brainstorm session, and our process using and refining those methods.

Link para o texto completo :http://www.microsoft.com/usability/UEPostings/DesirabilityToolkit.doc

Curso ecommerce.com.br

Curso de ecomerce com uma galera fera na área, o curso é ministrado por profissionais de diversas áreas de internet, todas envolvendo comércio eletrônico.
Mais informações no site:
www.cursoecommerce.com.br

VAREJO ELETRÔNICO VOLTA A APRESENTAR CRESCIMENTO DO “LONG TAIL”

Resultado do primeiro trimestre de 2009 revela manutenção da tendência de aumento na participação dos varejistas de pequeno e médio porte
De acordo com o último levantamento da e-bit, o comércio eletrônico nacional faturou R$ 2,3 bilhões no 1° trimestre de 2009, um crescimento nominal de 25% em comparação ao mesmo período de 2008.
O número aponta para o franco crescimento do e-commerce no país, entretanto, o cenário se mostra um pouco diferente do que víamos há tempos atrás. A distribuição de share entre as lojas virtuais está cada vez mais em evidência já que os pequenos e médios estão ganhando espaço.
Levantamento comparativo sobre a participação no mercado do 1° trimestre de 2009 em relação ao 1° trimestre de 2008 aponta que os dez maiores varejistas perderam 6,45 pontos percentuais.
Em contrapartida, o “long tail”, que engloba pequenas e médias varejistas, ganhou 1,62% em marketshare. Isso comparando o mesmo período analisado.
De acordo com Pedro Guasti, diretor geral da e-bit, a confiança que o canal traz ao consumidor, aliada a maior conscientização no ato da compra, continuam sendo fatores contribuintes para essa tendência no cenário do e-commerce: “Os consumidores estão mais informados a cada dia e orientados a fazerem uma compra com segurança, algo que não é exclusivo dos líderes do mercado. Hoje, a procura é pela melhor oferta, e não pela maior loja. A tendência é que esse tipo de comportamento continue se alongando nos próximos tempos.”
No entanto, para o diretor, é fundamental continuar sendo cuidadoso quando se está comprando online. “Verificar a credibilidade dessas lojas desconhecidas é imprescindível antes de fazer uma operação online. As pessoas não podem ser ingênuas e acreditarem em ofertas fora da realidade do mercado”, explicou Guasti.
De acordo com o e-Marketer, que faz acompanhamento do mercado virtual no mercado americano, as lojas líderes de mercado Amazon, Staples e Dell representam, juntas, cerca de 25% do faturamento total do canal, o que aponta uma grande distribuição das lojas virtuais no país. Para se ter uma idéia, há poucos anos no Brasil, apenas um Grupo obtinha mais de 45% do total de share em vendas B2C.

Participação no Mercado Diferença
1o. Tri2008 1o. Tri2009 p.percentuais
Top1 42,77% 36,32% -6,45%
Top10 76,97% 73,32% -3,65%
Top20 85,65% 83,53% -2,12%
Top50 91,93% 90,31% -1,62%
Long Tail 8,07% 9,69% 1,62%
Fonte: e-bit Informação e CVM – Comissão de Valores Mobiliários
*Vendas de bens de consumo (B2C) exceto veículos e serviços (ingressos, turismo, passagens aéreas e leilão virtual)

*fonte original desta notícia : http://pedroguasti.ebit.com.br/

Coloquei esta matéria aqui pois ela mostra que pequenas e médias lojas começam a dividir o mercado do comércio eletrônico com as lojas tradicionais.

Isso mostra que o mercado está crescendo e se diversificando o que significa que nós profissionais de usabilidade e AI temos uma novo mercado e novos consumidores para atender.

Analisar o comportamento destes consumidores é vital para entender como elaborar a arquitetura de informação nas lojas virtuais.

10 Most Common Misconceptions About User Experience Design

Browsers x Searchers

Entre os diversos tipos de comportamento de navegação na internet encontram-se os Browsers e os Searchers.
Encaro estes dois tipos como macro categorias uma vez que esta definição é muito ampla e abrangente.
Antes de falar sobre estes dois tipos talvez eu deva explicar um pouco melhor o porque estou me referindo especificamente à eles.
Recentemente participei de um projeto para um portal de informações e notícias na internet e pude observar nas 12 entrevistas a diferença entre ser um browser ou um searcher.

Ouvi estes termos recentemente na semana de usabilidade em San Francisco e já havia ouvido várias definições de comportamento mas sempre muito específicos como, inseguro, confiante, desconfiado e outros. Em sua maioria sempre se referindo ao comportamento apresentado pelo usuário em uma entrevista de usabilidade onde todos os fatores externos influenciam no comportamento.
Antes de mais nada, devemos entender que todos nós somos browsers ou searchers, tudo depende da ocasião e do momento.
Se você após acordar senta em frente ao computador e alí, logo de cara, abre aquela página do seu portal de notícias preferido e você começa a navegar pelas notícias aleatoriamente sendo levado pelas informações que vão surgindo em cada página, então você neste momento é um Browser.
O Browser é o cara que não tem pretensões, não está buscando uma informação específica, quer apenas saber o que está acontecendo e que a web traga algo de interessante até ele. Não quer ter que pensar em um assunto para procurar. É aquele cara que pode transitar de uma notícia sobre esportes para outra de cotidiano e em seguida ler alguma fofoca que tenha chamado sua atenção atenção, ou seja, nada em específico.
Enquanto estiver interessante ele pode pular de página em página sem se preocupar com um objetivo ou meta final.

Porém, se ao acordar e sentar em frente ao computador você mau olha a página inicial do seu portal de notícias e clica logo em sua categoria preferida ou digita algo na busca, bingo! Então você é um searcher.
Para os searchers, diferente dos browsers, o objetivo é tudo. A velocidade e facilidade em localizar uma informação é o ponto vital para sua navegação em um website.

Entendido o principal sobre estes comportamentos podemos entrar no cerne da questão.

Ao construir um website, ao realizar um teste em profundidade ou mesmo construir modelos de persona, esta é uma pergunta que deve ser respondida.
Para quem estou construindo o meu conteúdo? Para browsers ou para searchers?
Bom, como eu disse anteriormente todos nós somos um ou outro dependendo da ocasião, mas alguns websites tem forte inclinação para um modelo ou para outro.

Se você possui uma loja virtual para venda de diversos produtos, na essência o seu site é para searchers.
Se o seu site é um comparador de preços como o buscapé, então o seu site é para searchers.
Não é um comportamente comum ficar navegando de link em link dentro de um site de comparador de preços tentando achar algo interessante para comprar. Assim como o acesso a lojas virtuais também tem um objetivo. Claro que podemos aproveitar o tema pesquisado e fazer o cross-content, oferecendo produtos semelhantes que podem ser do interesse do usuário. Mas mesmo assim na essência é um site para buscas e que por "experiência da equipe envolvida no desenvolvimento" aproveita para oferecer conteúdos que possam ser do interesse deste usuário.
Para os searchers é muito importante acesso fácil e rápido a categorias de menu, sistema de busca, enfatizando aqui que um bom sistema de busca viva (aquele que você começa a digitar e ele completa a palavra) pode ajudar e muito a vida dos searchers.

Agora, se você tem um portal de noticias de última hora, ou de informações gerais, então ele está muito mais próximo do universo dos browsers, pois estes querem que as notícias que eles escolheram, apresente mais algum tema de seu interesse e assim possam absorver tudo o que está acontecendo sem ter que pensar: O que quero ver agora?
Para eles o cruzamento de conteúdos é a artéria principal do site, pois é por ali que eles irão buscar os assuntos de interesse.

O interessante de se pensar desta maneira é que facilita o entendimento sobre um projeto de arquitetura de informação, pois se o modelo de negócio é totalmente voltado para searchers como é o caso de um site comparador de preços ou de um sistema de busca, toda a arquitetura deverá comportar este modelo de pensamento de forma prioritária, mas claro, sem deixar de lado os browser.
Caso contrário, se o modelo de negócio é legitimamente voltado para browser, então a arquitetura e cruzamento de conteúdos estará voltada com mais força para este tipo de comportamento, criando áreas claras e visíveis de cruzamento de conteúdos.

É claro que existem os sites híbridos, como é o caso de sites de música por exemplo. Para estes sites existe os dois públicos, aqueles que sabem o que estão indo ouvir e aqueles que esperam que ao entrar no site apareça algo que lhes chame a atenção. Neste caso deve haver um bom equilíbrio para atender ambas as expectativas.

Assim como existem sites em que, ambos os comportamentos não se aplicam. Como é o caso de um canal de conveniência como o internet banking. Não se entra lá para fazer pesquisas nem para ver se tem algo interessante. O foco é outro. Consultar algo, pagar uma conta, transferir um dinheiro. Não se consulta uma fatura de cartão de crédito e no final da página está escrito: " Pessoas que consultaram a fatura do cartão também consultaram estes outros itens..."

O importante é que, pensar nestes dois modelos de comportamento durante o desenvolvimento da estratégia do site pode ajudar e muito no desenvolvimento de uma boa experiência de navegação em muitos tipos de site.

Visita ao escritório Adaptive path

Em minha visita de 2 semanas a San Francisco, tive a oportunidade de conhecer o escritório da Adaptive Path, após 4 longos dias de cursos no UX intensive, juntamos um pessoal do curso e fomos até o escritório para conhecer o local de trabalho deles.
Eis que me deparo com J.J Garret em pessoa tirando umas fotos por lá, então aproveitei a oportunidade para tirar uma foto também.
Foi bem interessante, eles abriram o escritório para visitas, na verdade haviam diversos escritórios abertos na cidade pois fazia parte da semana de design que estava acontecendo em San Francisco, além do UX intensive acontecia também um evento do DMI (Design Management Institute) no qual J.J Garret estava participando, junto com outras feras como Tim Brown CEO da IDEO.

O escritório estava como após um dia de trabalho, não fizera, questão de esconder e nem de arrumar nada, um ambiente de trabalho bem descontraído e que nada lembra um escritório formal de negócios. Tem 2 andares, poucas paredes, muitos quadros, sticks (ou post its aqui pra nós), modelos de processos mentais, design research, mapas de arquiteturas, tudo isso exposto nas paredes e nas mesas.

É interessante ver como eles trabalham muito com o visual mesmo em etapas de concepção e estruturação de modelos mentais e personas. Tudo vira papel e é pregado nos quadros ou então é desenhado em algum lugar. Poucas são as coisas que ficam somente em texto.

Tivemos acesso também a documentação de projetos antigos onde pudemos analisar sem pressa como é desenvolvido o material desde a pesquisa do design até a prototipação. Vimos todo este processo nos 4 dias do user experience intensivo e fio muito bom para vermos que tudo que vimos nas aulas é realmente o que eles utilizam no dia a dia, inclusive alguns dos materiais mostrados durante o curso, ainda estavam expostos nas paredes do escritório.

Durante a visita que durou aproximadamente 2 horas, foram servidas cervejas a vontade, balas, salgadinhos e refrigerantes.

Foi um oportunidade ímpar conhecer um ambiente de trabalho onde se respira experiência do usuário em todos ambientes.