Evaluation de site Ebusiness

1. Evaluation de site Ebusiness • Introduction sur le concept d’évaluation • Evolution des modèles utilisés • Trois écoles de l’évaluation de site web • Techniques d’évaluation • Démarche proposée dans le cadre du travail à réaliser en TD

2. 1 Définition de l’évaluation • Evaluation : • définir la valeur d'un objet VIA des mesures directes des attributs de l'objet et en tenant compte de l'objectif et d'une norme • La valeur sera PARFAITE si tous les attributs pertinents ont été mesurés • L’évaluation est subjective, liée à un objectif et dépend d'un norme

3. Définition de l’évaluation Objet à évaluer Choix selon l'objectif et la norme Attribut 1 Technique mesure Valeur attribut 1 Selon l'objectif la norme L'individu Jugement 1 attribut Valeur globale Jugement n attribut La valeur est subjective : elle dépend de la norme et de l ’objectif Evaluer n’est pas contrôler !

4. Code Règle (sens) Attribut objet Définition des critères d ’évaluation • Si on change 1 des 3 éléments Alors changements dans les 2 autres • Si il n ’y a pas de sens Alors pas d ’utilisation

5. Les 3 Types d’évaluations de SI SI Projet Quand ? Quoi ? Ex ante Décision Ex Post Apprentissage Pilotage Pourquoi ? Utilisateurs Managers Auditeurs Equipe projet Utilisateurs Direction Métier Par qui ? Conformité ou comparaison

6. Principes de l’évaluation SI • Plus l’objet est complexe, plus l’évaluation est multidimensionnelle • Ajouter des amplificateurs de variété (théorème de Ashby) • Confrontation, négociation, partage de vision • Utiliser plusieurs techniques • Les techniques d’évaluation ne sont que des outils • Avant d’évaluer, se mettre d’accord sur : • L’objet à évaluer, la norme à mobiliser, le processus, les acteurs, … • Dans un contexte social, l’évaluation a toujours un impact humain et organisationnel fort

7. Evaluation de site e-business • Introduction sur le concept d’évaluation • Evolution des modèles utilisés • Trois écoles de l’évaluation de site web • Techniques d’évaluation • Démarche proposée dans le cadre du travail à réaliser en TD

8. Les modèles de recherche sur l’évaluation • Différents modèles / différents objectifs • Selon le type d’école • Qualité du site (SI) ou qualité du service • Selon l’époque, les modes • Selon l’origine des chercheurs • Marketing, sociologie, SI • Selon les données disponibles • Enquêtes ou études de cas • Quelques modèles sont présentés ci-après

9. Modèle SI TAM (Davis 1989) L'intention d'utiliser une technologie est déterminée par deux croyances, utilité perçue (une attente de résultat) et la facilité d'utilisation perçue

10. Modèle SI de Delone et McLean (1992) Mesures du succès Modèle de référence d’évaluation d’un SI prenant en compte l’impact sur la performance

11. Modèle d’étude des clients ebusiness Variables situationnelles Lieu de connexion Matériel utilisé Contexte d’achat Environnement Variables Individuelles -Revenus -niveau d’études, âge, sexe.. -tolérance au risque - Personnalité Visiteur Client Variables liées au site Design Atmosphère Aménagement du site Décoration Variables liées aux produits Quantité Qualité d’information lié à l’offre – produits Modèle d’étude de la transformation de visiteur en acheteur. Audrey ALCIM – 5ème Congrès de l’AIM- Grenoble 2003

12. Modèle de comportement du consommateur « on line » Limayen et al. Aim 2003

13. Méthodes et métriques d’évaluation des sites • Approches IHM • Approches SDC • Approche INTEGRATIVE

14. Evaluation de site Ebusiness • Introduction sur le concept d’évaluation • Evolution des modèles utilisés • Trois écoles de l’évaluation de site web • Techniques d’évaluation • Démarche proposée dans le cadre du travail à réaliser en TD

15. Les 3 écoles d’évaluation de site Ebusiness • trois écoles différentes : • Celles qui, considérant le site Web comme un type particulier de SI, se situent à l'intérieur du paradigme de l'interaction homme-machine (IHM) et s'intéressent essentiellement à la qualité de l'interface • Celles qui, considérant le site Web comme une variété de magasin optent pour une approche plus large, se rattachant au paradigme de la Satisfaction Du Consommateur (SDC) et à la qualité de service • Approche intégrative : contingente

16. Approches IHM • Qualité de l’information • Utilisabilité (Usability) • TAM

17. IHM Qualité de l’information : 4 construits • Q de contenu • Q de l’interaction • Q contextuelle • Q de connexion • Q perçue par l’utilisateur • Termes différents pour contenus proches liés au fond et à la forme

18. Ecole IHM : utilisabilité • Palmer (2002 p. 153) : « l'utilisabilité inclut la cohérence et la facilité avec laquelle l'utilisateur fait ce qu'il souhaite faire, donc la clarté de l'interaction. » • En découle des paramètres liés à l’IHM • Temps de chargement • Navigation • Interactivité • Réactivité • Contenu informationnel

19. Ecole IHM : utilisabilité • Agarwal et Venkatesh (2002) : l'utilisabilité est «  la mesure selon laquelle un produit ou un service peut être utilisé par une personne pour atteindre des objectifs spécifiques avec efficacité, efficience et satisfaction » • En découle des paramètres différents : • Contenu • Facilité d’utilisation • Promotion du site • Personnalisation • Emotion • (Microsoft Usability Guidelines – MUG)

20. IHM Usability : bilan • Construit « usability » mesuré différemment • Le contenu est le plus important • Très sensible aux facteurs de contingence (nature du site, produit, service, …) • Concepts voisins • regroupés de manière différente • Désignés par différents termes

21. Approches IHM TAM (Davis 1989) Utilité perçue Intention d’utiliser une technologie Facilité d’utilisation

22. Approche IHM TAM appliquée au CE Utilité perçue Intention d’utiliser une technologie Facilité d’utilisation FU FU : forte pour recherche d’information sur produit FU : faible pour achat de biens tangibles

23. Ecole SDC : valeur pour le consommateur « Valeur nette (bénéfices – coûts) de l’ensemble produit & processus de recherche, commande et réception » Principe de disconfirmation : comparaison par rapport à un idéal de service

24. Ecole SDC • Différence électronique versus traditionnels • Interaction homme / machine versus interpersonnelle • Moins d’affectif que dans le service traditionnel • Moins de frustration et moins de chaleur ou d’attachement • Des caractéristiques nouvelles et importantes : • Facilité de navigation, esthétique, … • Le consommateur Internet n’est pas un simple utilisateur Internet • Il a un but (goal directed) et il est peu sensible au divertissement (phénomène du flow) • La confiance est essentielle • Il privilégie la qualité du produit ou service à la qualité du site

25. Rappel sur le concept de « flow » • Novak et Al.(2000) ont défini le concept de "flow" : • « état cognitif atteint pendant la navigation sur le site, déterminé par un haut niveau d'adresse et de contrôle, un haut niveau de défi et d'excitation, un grand degré d'attention et accru par l'interactivité et la téléprésence » • Cet état est caractérisé par ": une séquence enchaînée de réponses , un sentiment de jouissance intrinsèque, une certaine perte de conscience de soi et est susceptible de s'auto-renforcer "

26. Ecole SDC : qualité de service • L’évaluation de la qualité de service traditionnelle n’est pas résolue • Celle de la qualité de service électronique encore moins ! • Le construit de qualité de services électronique : • Multidimensionnel • Prend en compte une qualité perçue • Est toujours relatif (à la personne, le temps, le produit) • Résulte d’une comparaison plus ou moins formalisée entre la performance attendue et la performance perçue (disconfirmation) • Mélange l’évaluation du média et l’évaluation du produit ou service • Pas de consensus

27. Les éléments à évaluer pour la qualité de service électronique • Ecole SDC • On retrouve de manière globale 5 dimensions • (1) la disponibilité et le contenu de l’information • (2) la facilité d’utilisation • ou « l’utilisabilité » du site (usability) • (3) la sécurité et le respect de la vie privée, • (4) le style graphique • (5) le respect des engagements • Prix, délai, qualité

28. Exemple de mesure de la qualité • Test socedal conseil (voir revue stratégie) • Déroulement : • Envois de plusieurs mail de demande d’information sur différents sujets • Mesure du temps de réponse • Mesure de la pertinence de la réponse

29. APPROCHE INTEGRATIVE • STRATEGIQUE • CONTINGENTE • NORMATIVE

30. Stratégique • Un site web est un instrument d'interaction médiatée conçu pour traduire une stratégie marketing et communication

31. Stratégique • Evaluation située dans le cadre d’analyse stratégique • Les mesures doivent donc être reliées aux objectifs de l’entreprise • Le succès du site dépend de l’alignement de la conception du site à ces objectifs • Les tests d’utilisation de site et les audits de site visent à améliorer l’alignement

32. CONTINGENTE • SECTEUR • CONCURRENTS • NATURE du PRODUIT • OBJECTIFS STRATEGIQUES

33. NORMATIVE • FAIRE CONVERGER LES DIFFERENTS INSTRUMENTS • ABOUTIR à des NORMES CONTEXTUELLES

34. Les techniques mobilisées • Ecole IHM • Wammi • Etc. • Ecole SDC : • Servqual • Etc. • Ecole Intégrative : • Stratégique • Audit

35. Les techniques mobilisées Expert externe Gomez.com Audit de site Analyse stratégique Test conformité Interne du site Design du site Questionnaire fonction du site WAMMI Bizrate.com ES-Qual Webqual Sitequal Test d’utilisation Client du site

36. Test d’utilisation de site • Un ou plusieurs utilisateurs participent à l'exécution de tâches représentatives des tâches réelles (selon des scénarios définis avant le test) ou encore, à l'exploration libre • Le test est filmé • L’utilisateur verbalise ce qu’il fait • On mesure : • le temps ou le nombre d'actions requis pour l'exécution d'une tâche • l'exactitude du résultat • le nombre d'erreurs commises • Utilisé en vue d’une re-conception • 5 utilisateurs sont suffisants !

37. Techniques d’évaluation : SERVQUAL • Pour les services traditionnels : • Parasuraman, Zeithaml et Berry (1988): cinq dimensions: • les éléments tangibles • la fiabilité • la réactivité • l’assurance • l’empathie de l’expérience de service. L'empathie implique un processus de recul intellectuel qui vise la compréhension des états émotionnels des autres, tandis que la sympathie est un comportement réflexe (Wikipedia)

38. Techniques d’évaluation : SERVQUAL • Les difficultés posées par SERVQUAL: • Source : Bressoles 2002 18 congrès AFM • Difficile de mesurer les attentes des Internautes (disconfirmation) • Utopique de trouver les mêmes dimensions pour tous les produits ou les services • Peu de différence faite entre les « habitués » et les «novices» du service électronique • Or l’expérience est essentielle ! • Les dimensions (ou les facteurs) ne sont pas tous de la même importance • Nécessité de pondérer les facteurs

39. Technique Sitequal : service électronique • Yoo et Donthu (2001) ont développé une échelle de mesure, appelée SITEQUAL • qualité perçue des sites de shopping en ligne. • Items pour le site : • Design • Utilisabilité • rapidité • Sécurité • Marque • Items pour le service • prix • comande • originalité • qualité

40. Technique Webqual : service électronique • Barnes et Vidgen (2001) ont développé Webqual • Trois dimensions : • Utilisabilité du site • Qualité de l’information • Qualité de l’interaction • http://www.webqual.co.uk/

41. Technique E-S-Qual • Zeithaml, Parasuraman et Malhotra (2002b) développent E-S-Qual • quatre dimensions dans le cas général : • Efficacité : capacité à accéder au site et trouver le produit • Fiabilité • Respects des engagements • Respect de la vie privée • Plus trois dans le cas de problème • Réactivité • Compensation : remboursements – retour de marchandise • Contact

42. Technique d’évaluation SI : WAMMI • WAMMI (Website Analysis and MeasureMent Inventory) • Un questionnaire en ligne permettant aux utilisateurs de « noter » l'utilité et l'utilisabilité du site sur lequel il est implémenté. • Items : • l'attrait (Attractiveness) • le contrôle (Control) • l'efficacité (Efficiency) • l'utilité/aide (Helpfulness) • la facilité d'apprentissage (Learnability) • http://www.wammi.com/whatis.html

43. Evaluation d’expert – praticien (1) • Bizrate.com • Utilise les consommateurs pour évaluer les sites de diverses catégories (CD, livres, jeux, …) après qu’ils aient fait leurs achats. • L’échelle identifie les forces et les faiblesses des sites. • Selon plusieurs études : l’élément clé pour l’intention de revisite du site est l’aspect service consommateur et l’élément le moins important est le prix. • http://fr.bizrate.com/

44. Evaluation d’expert – praticien (2) • gomez.com • utilise des experts professionnels plutôt que des consommateurs pour évaluer les sites • Les mesures impliques un examen du site • Possibilité de test gratuit • http://www.gomez.com/products/backbone.html

45. Audit de site web - expert • Akoka et Comyn-Wattiau 2003 • Analyse hiérarchique multicritère • Arbre avec pondération aux noeuds • Réalisée par un expert après analyse de contexte Critère 1 0,2 Critère 2 0.3 Critère 3 0,5 Facteur 1 0,2 Facteur 2 0,8 Action de contrôle Action de contrôle

46. Outil de conformité du site • Analyse la conformité du site • HTML – XML • Principes d’ergonomie • Principes éditeurs (Microsoft – Apple) • Exemples : • http://www.opquast.com/ • http://validator.w3.org/ • http://www.netmechanic.com/index.shtml

47. Evaluation de site Ebusiness • Introduction sur le concept d’évaluation • Evolution des modèles utilisés • Trois écoles de l’évaluation de site web • Techniques d’évaluation • Démarche proposée dans le cadre du travail à réaliser en TD

48. Démarche à suivre Analyse du site Par groupe de 2 -Stratégie / Technique / Projet *Entretien avec acteur du site Benchmark des concurrents (minimum 4) Démarche à construire par le groupe de 2 Questionnaire Sitequal par 5 autres étudiants Evaluation automatique du site Par le groupe de 2 Synthèse

49. Benchnmark du site (1) • Identifier les concurrents du site : minimum 4 • Justifier leur choix • Définir ce qui sera comparé • Par rapport au cycle complet d’achat • Préparer une grille de comparaison • Référencement / navigation / juridique / offres … • Préparer un protocole de comparaison • Ordre, durée, recoupement des résultats • Faire une synthèse du benchmark • Points forts – points faibles • Graphiques

50. Benchnmark du site (2) • La conception de personas est un outil pour conduire des analyses concurrentielles. • Les personas sont des personnages virtuels. Ces personnages doivent être les représentants des utilisateurs typiques du site • On leur définit des caractéristiques précises: un persona a un nom, un prénom, un âge, un métier, un niveau d'expertise avec Internet, des sites web préférés, des objectifs de vie et des raisons pour lesquelles il pourrait être amené à consulter le type de site que l'on étudie. • Permet de rester centré sur le point de vue de l'utilisateur, et non sur celui d'un visiteur non concerné. • Permet de comparer les expériences de chaque persona sur chaque site du benchmark. • Source : http://www.ergolab.net/articles/analyse-concurrentielle-ergonomie.html