ALM 11 et HP Sprinter ?

14 04 2011

Les avant-ventes de chez HP nous ont offerts des démonstrations sous forme de jeux de rôles. Voici le résumé de celui concernant la « Accélération des tests et intégration développement »

Je trouve qu’il faut faire une distinction entre deux points importants. Il s’agit de HP Sprinter et des projets dit « Agiles ».

HP Sprinter :

La promesse étant d’accélérer les tests manuels ! Woot ! « Mais cela marche comment monsieur HP ? ». Enfin du nouveau et je ne suis pas ironique sur ce coup là. HP Sprinter est une sorte de plugin pour nos butineurs préférées (Firefox pour l’exemple du jeu de rôle).

Pour expliquer mettons nous dans la peau d’un testeur… Le test manuel est souvent répétitif, des données en entrée importantes et des tests d’environnements à exécuter.

Dans ce type d’activités la démarche est la suivante :

  • Explorer l’application
  • Exécuter les tests
  • Insérer les données
  • Trouver les anomalies, puis faire des captures d’écrans et décrire les anomalies dans le module « defect »
  • Au final on émet le rapport des tests et si on a le temps on modifie les tests.

On  a tous connu ces projets de tests non outillée ou alors quand il faut « les faire rapidement à la volée entre 20H00 et 21H00 sinon la mise en production est menacée ».

Au final, après une dizaines d’itérations le testeur devient moins efficace car c’est juste humain et comme on dit dans la Beauce au bout d’un moment « La vache a mal aux pis ! ».

A la place le testeur ouvre l’interface HP Sprinter et accède à des nouvelles fonctionnalités lui permettant de faire plus rapidement ses activités.

Après le paramétrage, il suffit d’ouvrir son navigateur et « une palette / un menu » apparait sur la droite de l’écran.

L’injection de données semble très facile et rapide, ainsi que la variabilisation de celles-ci. Même pour quelques dizaines de données cela aide considérablement.

Il semble aussi que :

  • On peut facilement faire les mêmes tests sous différents types de butineurs
  • Annotations rapide et facile des captures d’écrans pour insertion  dans le module anomalie

HP Sprinter enregistre facilement les actions de testeurs et peut les rejouer. Il y a un flou sur les « scripts ». Est-ce qu’il s‘agit de macro ou de script de type QuickTests Pro ?

Et le tout en quelques clics. Miam, j’ai hâte de tester ce HP Sprinter.

Mais des questions se posent :

  • L’enregistrement des scripts de tests ressemblent à ceux fais avec Sélenium, quid de la ré utilisabilité ?
  • Est-ce utilisable juste pour du one-shot ponctuel ou bien peut-on récupérer ces scripts / tests pour insertion dans d’autres scénarios pour le futur ?
  • Est-ce que l’on construit son capital de test ou bien est-ce du jetable ?
  • Est-ce que ce type de « tests exploratoire » peut servir les tests professionnels avec des outils plus poussés et la méthodologie qui va avec ou bien les sociétés vont privilégier cette manière de tester « A la volée » ? Si cela était, les testeurs chinois ont de beaux jours devant eux… (je n’ai rien contre eux. Mon seul souci étant la tentation d’une réduction des coûts évidente pour les directeurs des achats. Je traite de ce point dans un article dédié).

Liens vers les autres articles sur ALM 11 :

Vidéos sur HP Sprinter :

http://www.youtube.com/watch?v=UaNlUcQxaLw

http://h30423.www3.hp.com/?fr_story=e8f13006d15937142b811f94c7ee30d6886eb132&rf=bm

ftp://ftp.itrc.hp.com/applications/qualitycenter/qc110/mictools/sprinter/sprinter_11/Sprinter_User_Guide.pdf

ftp://ftp.itrc.hp.com/applications/qualitycenter/qc110/mictools/sprinter/sprinter_11/Readme.html

http://www.techvalidate.com/portals/hp-sprinter

http://www.scribd.com/doc/49722301/276/HP-Sprinter-Overview

Publicités




Quality Center et ALM 11 ?

14 04 2011

La présentation d’ALM 11 était plutôt intéressante j’avoue. Une grande messe avec son lot de nouveautés, de discours roboratif, de partenaires avides de visibilité, le tout dans la sauce corporate habituelle.

Introduction de la communication

Mais l’impression générale est très positive pour mon ressenti. Je vous laisse donc à votre appétit gourmand de testeur et bonne lecture.

Je vous présente cela par ordre d’apparition à « l’écran »…

La chargé de communication HP monte sur la scène et « blabla… merci… blabla… ». La chose à retenir étant la présence des partenaires comme Sogeti, Stéria, Atos Origin pour les industriels des tests. Mais aussi des sociétés comme Dalisys, Open, ValidIT ou C2L2 consulting pour les challengers en devenir. Et enfin Cognizant souhaitant finir d’établir sa tête de pont testing en France.

Hélas leurs présences ne se sont réalisées que sous forme de plaquette disponible sur des présentoirs (certains partenaires ont même osés des plaquettes bricolées et imprimées surement sur des imprimantes 9 aiguilles… Qu’il est bon de rire parfois).

Introduction du DG HP France – Bruno Buffenoir

Le DG de HP France monte sur la scène et tente d’aborder le test et ALM 11 en partant de la génération Y et leurs besoins en agile, mobilité, Web 2.0, réseaux sociaux, les cycles courts, etc. Hum… pourquoi pas mais la ficelle « On trouve un sujet sexy et teasing pour introduire ALM » était trop visible et surtout sans rapport flagrant avec le sujet. Bref, HP s’est fait plaisir mais nous on patienté en attendant.

Ensuite un passage par les nouveaux enjeux pour le SI qui était cette fois dans le vif du sujet enfin. Le paradigme de HP étant d’évoquer le concept de « Supply chain IT » !

Le concept peu clair à l’oral, s’éclairci en lisant les slides (reçu récemment). En fait la supply chain IT est ce qui fait le lien et assure le support entre les utilisateurs (clients, employés, etc.) et le SI d’une entreprise (processus, applications, etc.). Concept nouveau pour moi j’avoue et qui ouvre quelques perspectives intéressantes pour le futur.

Après la supply chain IT, on arrive aux nouvelles tendances comme le mobile computing, le cloud (private ou pas), la virtualization, et l’ALM ou Application Lifecycle Management.

L’ALM est donc décrit sous la forme du processus run > plan > built > retire

L’enchainement est fait sur l’intégration de bout en bout de la qualité, de la sécurité et des performances des SI.

Enfin, la conclusion est faite en mettant en évidence l’ALM et la supply chain IT.

Présentation d’ALM par Yrieix Garnier –Directeur de produit HP

Intérêt de son intervention ? En triant dans ce qu’il a pu dire on peut remarquer les points suivants :

Implémentation d’HP ALM 11

HP ALM 11 était présenté comme la plateforme JAZZ d’IBM RATIONAL (slide presque identique que chez IBM) !

Ok, après avoir bien rigolé notons tout de même qu’autour d’HP ALM 11, présenté comme « référentiel unique, plateforme unifiée », sont intégré les applications / Fonctions suivantes :

  • HP Sprinter pour les tests « manuels »
  • Quality Center 11 – Functionnal Test Engineer
  • ALM 11 – Project Manager (étrange ALM 11 est présenté pourtant comme la plateforme…)
  • PC 11 / LoadRunner 11 – Performance Engineer
  • ASC + Fortify – ASC étant l’ex-module tests de sécurité
  • RM 11 + Business Process Management – Biz Analyst

En transverses du tout la tracabilité est présentée comme de bout en bout. A vérifier donc.

En support les “outils” developer MSVS, developer .NET et developer Java.

Intégration et collaboration

En plus de la plateforme ALM 11 les environnements (ou framework) comme Eclipse, MS Visual Studio et Collabnet sont intégrés. Ceci avec des accès direct aux éléments comme ALM / QC depuis l’IDE Eclipse, les exigences, le module defect, etc.

Et le tout avec la traçabilité assurée et une synchronisation bi-directionnelle.

Plus largement, le discours était très orienté « Pensons aux développeurs, à leurs besoins et tentons de les impliquer plus largement dans la qualité ».

Ce qui me semble une démarche saine et pleine de pertinence. Reste à voir le degré d’appropriation des communautés des développeurs dans quelques mois.

Présentation des avant-vente Olivier Jean, Jean-Luc Malvoisin et Mohamed Zouari

Ce fut le clou de la matinée car ils ont su nous expliquer ALM 11 avec des mots de tous les jours et sans le discours corporate classique. Merci à eux.

Quelques chiffres afin d’épater :

  • 1 plateforme unifiée
  • 8 nouvelles versions d’applications

o   HP ALM 11, HP Quality Center 11, HP Performance Center 11, HP Sprinter, HP Loadrunner 11, HP Functional Testing 11, Test Data Management 1.1 et HP Service Test 11

  • 50 dépôts de brevets

o   Sur l’Ajax Truclient et HP Sprinter notamment

  • 100 nouvelles fonctionnalités

De quoi faire saliver ;- )

Avant de rentrer dans les démonstrations, une explication sur les noms a été faite, précision utile :

  • Quality Center Entreprise 10 devient => Quality Center Entreprise 11
  • Quality Center Premier 10 devient => HP Application Lifecycle Management 11
  • Performance Center 9.5 devient => HP Performance Center 11

S’ensuit quatre démonstrations sur les points suivants :

  • Planification, suivi et rapports
  • Processus métier et gestion des exigences
  • Accélération de l’exécution des tests – Intégration développement
  • Validation de la performance sur la plateforme unifiée ALM

Les démonstrations on eu lieu sous forme de jeu de rôle de type « (DSI parle) Mais dis moi, on me signale des soucis dans notre SI ! ». Scène totalement improbable pour un DSI mais qui a eu le mérite de mettre de la vie dans ces démonstrations en nous présentant les nouveautés. Merci les avant-vente !

Pour plus de détails vous pouvez consulter les articles sur les points suivants :





En avant-première : nouvelle version de Quality Center en ALM 11 !

23 03 2011

Credo d’HP cette année « Instant-on » : un terme pour tenter d’exprimer « Agilité + Web 2.0 + plateforme unique »

(Ceci est une synthèse très rapide de la nouvelle version Quality Center vers Application Lifecycle Manager  11 (ALM 11). Prochainement je mettrai en ligne l’article complet)


  • Avis général :

o   L’ergonomie et la navigation ne change presque pas

o   Similitudes étonnantes  à noter par  rapport à la plateforme Jazz d’IBM / Rational

o   Planification des tests via un module « façon Outlook »

  • Requirement :

o   Ouverture direct dans ALM des fichiers Word contenant des uses cases pour utilisation dans l’onglet requirement

o   Création des requirements via des templates, import de business modèle

  • Plus grande intégration et communication entre tous les acteurs des projets :

o   Gestionnaire de tâches « tasktop » :  Exemple :  un développeur peux consulter les anomalies de QC directement depuis son framework Eclipse

o   Focus important sur les projets Agile et la technologie Ajax

  • Tests « manuels » plus facile :

o   Arrivée de la « fonction » nommée HP Sprinter (à noter que le terme est directement extrait des projets en mode agile !)

o   Il s’agit d’un mélange de macro et de fonctions (définition non éclairci côté HP) intégré dans un navigateur et permettant d’aider les tests manuels :

§  Permet d’enregistrer très rapidement et facilement des scénarios de test

§  Enregistre également les jeux de données

§  Exécutions des tests par Sprinter

§  Remontées des anomalies via le navigateur

  • Performance Center :

o   Prise en compte effective d’Ajax – Ajax compliant

o   Lancement des tests via l’IDE du client (par le plugin intégré au butineur)

o   Interface et ergonomie sexy pour la création des scénarios de tirs

o   La tendance est à moins de codage pour plus de facilité – Adieu les « mains dans le cambouis » ou presque…

  • Le futur selon les trois utilisateurs témoignant :

o   « Il faut se concentrer sur l’intelligence des activités de tests : la stratégie, les ROI, la gestion des exigences, l’industrialisation, les jeux de données »

o   « Assurer un bon compromis entre agilité et industrialisation »

Peu ou pas d’informations sur le modeling…

A bientôt dans le futur du testing !





Say Uncle … how to script with an automated testing tools and also if you could give me some good practices pleaaaaaase?

5 02 2009

Hum … and you do not want to 100 dollars and a chocolate? In short, I feel you are impatient  when listening so…

I will try to explain how to automate the functional test. I will talk about QuickTest Pro (QTP) and other selenium. Robots used for functional testing, test scenarios and test users.

There are two ways to script in QTP, it is good … and good!
Let me explain, as you might think that I do make a quick and sterile wink sketch of the “inconnu” (to our English friends: group of French comic of 90 years).

But before reviewing the ways of scripting ask what we can serve these famous robots that could be the miracle solution to testing (or not …).

Automata theory tests:
On a website (for example) QTP records your actions (recording of mouse movement, mouse clicks, etc.). And plays and replay at will. You can execute an infinite number of scenarios to test all the evening and the morning after your coffee in peace consult performance reports.
This definition is an urban myth spread by the publishers a few years ago when the automated tests were not known to clients. Since then and until now, unfortunately, it is always the thought that most customers…

Other important principles of automated tests:

  • Automatic test function by recognition of GUI objects (buttons, dropdowns, etc.). It stores in a directory called sometimes « repository »
  • During registration, they capture the interactions carried out on items needed during the course of the test. It generates a VB script (for QTP)
  • During implementation, they replay the test from the script

Automatic testing in real life:
The only true part in the theory definition is « QTP records your actions and will play it!
The rest is only possible with very little customer with a significant level of maturity in the automation of tests. In short, there are two ways to script:

The scripting for recording and reworking:
– The tester has the GUI and script directly
– It runs the script identifies and corrects errors
– Once the script is complete it must be validated by a tester and make a cross-checking (very important to finalize the scripts)

Scripting mode programming descriptive and reworking:
– The tester has no GUI and must work from technical and functional specifications. But this is very rare among customers. Furthermore this means that the specifications are complete, validated and stable… (it is good to laugh sometimes)
– It runs the script identifies and corrects errors
– Cross-checking

Important points to consider:
Principle: We automate the testing for application on a MATURE and STABLE application! Otherwise, the loss of time and masturbate to Mammoth (sorry but this is the central idea)!

– Principle: 100% of manual tests are not automatable:

  • You should know prioritize, make smart choices, use of the law of Paretto (80 / 20)
  • Explore the benefits of automation, etc.

– Principle: a feasibility study to determine the value of automated tests and technical feasibility (see another article in this subject)
– Return on investment (ROI): the automated test campaigns are profitable from only three or four iterations of automatic test campaign (from a curve ROI over three years)
– Creating scripts:

  • the burden of creating scripts is more important than the creation of manual tests
  • The difficulty is not in the capture of the script but in the choice of criteria and means of control of outcome
  • there must be synchronization points or between two actions to avoid times out on the occurrence of outcome
  • Good practice for a single scenario (better robustness of the scenario = recover under the same conditions as when you save the script):

– Preparation and application environments
– Generation of tests data
– Testing the application
– Cleaning and application environments
– Test data:

  • think about generating tests data by the automate before the execution scenarios

– Execution of scripts: load auto run is less important than manual execution
– Maintenance script: good methodology and good practices are to be applied before the start of automation to minimize the burden of maintenance scripts (standards for the organization, naming, version management scripts, etc.).
– Maintenance of scripts: it is necessary to maintain competence of automation to make the adaptations and changes in scripts if developments in the application

I finish by asking you to ALWAYS coupler and where possible automate your repository (tests management tool) with your test! This will:
– Store the description of scenarios to automate
– Store the QTP scripts in QC and associated repository
– Planning for the implementation of automated test campaigns
– Store the results of test campaigns





Preview: new versions of Quality Center and QuickTest Pro V 10.00!

5 02 2009

I attended the presentations of new versions of Quality Center (QC) and QuickTest Pro (QTP) in the version 10.00. This HP in Issy les Moulineaux (Near to Paris – France) a rainy morning. And so, in the TGV (a very fast railway for the English) brings me back, I type this article to share with you the information provided by HP in their basement …
The celebration program was:

  • New QC 10.00
  • New BPT 10.00
  • New QTP 10.00
  • Method of pricing (on the licensing policy – a subject not treated here)
  • Demos

(Does the use of figures 10.00 warns that there will be many patch and it is expected to version 10.94 Only time will tell).
HP has reported that all the information and risk are subject to because not included in versions 10.00 in February. Yet I take the bet that if. This warning of HP is probably the only legal title.
I need not address in this article from Business Process T. (BPT) for the moment because it’s uncommon among French customers and above all a desire / wishes for HP to sell full containers (first desire of any software publisher after all).

Quality Center (QC) 10.00:
Regarding what Quality Center is, I refer you to my articles on tools for testing repositories / management as well as those on QC. The release date is scheduled for 31 January 09 and three packs will be distributed:

  • QC Starter Edition: Designed for a team of 5 single-project
  • Enterprise Edition QC: QC 9.2 equivalent current (TD for Quality Center)
  • First Edition: Designed for a team with needs such as advanced multi-project, high availability platform supporting QC, etc.

I will detail here only the Enterprise Edition / First of QC because it is where the real changes / new features.
QC Enterprise Edition / First, the modules present:

  • Requirements management
  • Test plan
  • Lab Tests
  • Risk based testing
  • Release management
  • Defect management
  • QA Lab Manager

The sentence shock input presentation by HP was « Mastering the chaos version requirements, tests and components”! Rather ambitious and shock, but see news (grouped by topic below).

Reporting:
Centralizing these unlike the current dashboard (9.2)

  • New module replacing the dashboard
  • Centralized reporting
  • All panels are centralized in the module
  • Creation of public view and private
  • Report possible multi-project
  • Take this version of reporting as the V1 from the old … Finalized dashboard module so.

Possibility to define a more complete test:

  • Risks and technical occupations ==> assigned to a functional complex – calculation of risk

Versioning: this module is not useful for a small project
Version Management requirements, tests (test sheets for example) and components:

  • Check-in and check-out
  • Comparison between the
  • Ability to return to a previous version
  • Can be activated at a project through the hotel (the new business administrator, therefore)
  • The versioning is of course to be taken into account before the project starts (part of best practices dear to CMMi and other ITIL)
  • Establishment of baselines (creating a picture of a set of project components), to mark / identify the milestones of the project. Example: requirements validated V1: establishing a baseline. It also allows you to freeze a configuration of testing association with a test campaign.
  • Guarantees to run the correct version vis-à-vis a test campaign
  • Comparison of baseline possible ==> identifying the elements that have changed

QC Requirements Management:

  • It would be a direct competitor tools like Doors, Req Pro and other Caliber
  • HP cites a 2008 report issued by Forrester and noting that the new management module requirements of HP is the first before all others. Hmm … I just think this kind of premature conclusion since the version that comes out in February and that results can be obtained after a few months of intense use in the real customers. A monitor then.

Other: template:

  • It is now (finally?) possible to define a project template and especially to use it and share it between many projects. The major fact is the possibility to update the template and distribute the update on the entire project implementing it. You should know that the current version 9.2 is only possible through internal development of each client.
  • Ability to setup and maintenance of centralized template
  • Broadcast « automatic » updates
  • Maintenance of template by administrators
  • Please note that this feature also joined the concepts of best practices advocated by CMMI and ITIL

Functional testing:

  • Output January 31
  • WinRunner is no longer included in this pack

Contained in the pack Functional testing:

  • Resource Management QTP:
  • Versioning
  • Tools Comparison

QuickTest Pro (QTP) 10.00:
Better reporting

  • Monitoring local system: this module allows RUN when scripts to monitor the implementation and some points. Specifically we can identify at what point and following the action script a problem occurs. For example, a peak CPU load generated by the action of a QTP script. This will help to strengthen links and interactions between the teams test and those in charge of performance tests. It should be noted that this function has been implemented by many customers through internal development. They will appreciate.
  • Improvement of the various GUI:
  • Tools management tasks (TODO)
  • Support for scripting
  • Export to DOC format and PDF reporting
  • Ability to attach screenshots
  • Direct access to the script from QTP reporting
  • Ability to compare two versions of scripts easily

My final impression is that QTP is transformed into CASE (Computer Aided Software Environment or AGL (Atelier de Genie Logiciel for French people)) but oriented tests. What I mean is that HP has incorporated many features to better script and more to help developers fully QTP scripts. I find it beneficial for all writers. Do not draw hasty conclusions and wait till the first returns of experience other than HP. Finally, synergy, linkages between QTP and QC seem also strengthened.

What about migration?
To migrate your versions to 10.00 you must already have version 9.0 (patch 26) and QC 9.2 (patch 12). Unable to migrate with older versions as these.
An upgrade tool is available on the HP site to help you with migration. But be careful if this works as the previous times you need to go through testing experts to help you because the migration tool from HP does not expect miracles and calls for the intervention of humans.
One last thing about the migration, if you go to QC 10.00 you should necessarily go to the 10.00 version of QTP.

WinRunner:
Do we collect on the body of this bloodless automation testing tool that was a forerunner in our industry. He well-deserved retirement. Rest In Peace WinRunner and thank you for everything.

  • It is no longer distributed with the pack functional testing
  • End 2009: End of the developments and patch
  • End 2011: The end

Goodies and “petits fours” (little cakes for corporate party in France):
And the goodies offered by HP for us to reward our time and attention? Well we had a pink plastic pen, a few blank sheets to the header of HP … and a book in English on the tests!
His name is « Optimize Quality for Business Outcomes – a practical approach to software testing » and this in its third edition. This is the first time I have heard of this book dealing with the tests. Below I list the main chapters:
1. What is the big deal about testing?
2. Testing the business requirements: start at the root of the problem
3. Test rules: build the backbone for effective testing
4. Test cases: let’s get down to the real stuff
5. Test optimization: balancing risk and effort
6. Why bother with non-functional testing?
7. Application security testing: the next frontier
8. Test sourcing: how outsourcing improves cost effective testing
9. Successful goal-driven approach KPI
10. Getting started: putting it all together
11. Appendix A – Common test techniques
12. Appendix B – HP application quality management solutions introduction and overview
13. Appendix C – Verification
14. Appendix D – Naming conventions

I try to read this book quickly and I will make my opinion, soon.

And then?
Ultimately, HP’s strategy is to play together in the editing software to expand its functional and its turnover. What is a healthy and able to provide end users with better service and services companies expanding their services (with a contribution of value added greater than today).
However, HP blithely tramples the toes of many competitors / software editor. So publishers with tools for managing requirements and configuration management / version will inevitably their market shares reduced inexorably by HP. As inexorable as desertification in Africa? Not so on this because, take for example publishers management software requirements, their products will not be dedicated more complete than that of HP. It remains to be seen more fully the choice of HP doing in this area and the effort to test them in real life!





En avant-première : nouvelles versions de Quality Center et Quicktest Pro en V 10.00 !

23 01 2009

J’ai assisté aux présentations des nouvelles versions de Quality Center (QC) et Quicktest Pro (QTP) dans leur version 10.00. Ceci chez HP à Issy les Moulineaux par un matin pluvieux. Et ainsi, dans le TGV qui me ramène, je tape cet article pour partager avec vous les informations données par HP dans leur sous-sol…
Le programme des réjouissances fut :
–    Nouveautés QC 10.00
–    Nouveautés BPT 10.00
–    Nouveautés QTP 10.00
–    Mode de pricing (politique concernant les licences – sujet non traité ici)
–    Démos

(Est-ce que le fait d’utiliser les chiffres 10.00 nous prévient qu’il y aura de nombreux patch et qu’il faut s’attendre à une version 10.94 ? Seul l’avenir nous le dira).

HP nous a signalé que toutes les informations présentées et exposées sont à prendre sous réserve car pas forcément inclus dans les versions 10.00 en février. Je prends pourtant le pari que si. Cet avertissement de HP n’est surement là qu’à titre juridique.

Je ne traiterai pas dans cet article de Business Process T. (BPT) car pour le moment c’est un produit peu répandu chez les clients français et surtout un désir / vœux de HP d’en vendre des containers entier (premier désir de tout éditeur de logiciel après tout).

Quality Center (QC) 10.00 :
Concernant ce qu’est Quality Center je vous renvoi vers mes articles concernant les outils de référentiels de tests ainsi que ceux sur QC. La date de sortie est prévue au 31 janvier 09 et trois packs seront distribués :

  • Edition QC starter : Prévu pour une équipe de 5 personnes mono-projet
  • Edition QC Entreprise : Equivalent de QC 9.2 actuel (TD for Quality center)
  • Edition Premier : Prévu pour une équipe avec des besoins avancés comme les multi-projet, la haute disponibilité des plateformes supportant QC, etc.

Je détaillerai ici uniquement l’édition Entreprise / Premier de QC car c’est là ou se situe les vrais changements / nouveautés.

Edition QC Entreprise / Premier, les modules présent :

  • Requirements management
  • Tests plan
  • Tests Lab
  • Risk based testing
  • Release management
  • Defect management
  • QA Lab management

La phrase choc d’entrée de la présentation assénée par HP fut « Maitrisez le chaos en versionnant les exigences, les tests et les composants ! ». Plutôt ambitieux et choc, mais voyons voir les nouveautés (regroupé par thème ci-dessous).

Reporting :
Centralisation de ceux-ci au contraire du dashboard actuel (9.2)

  • Nouveau module remplaçant le dashboard
  • Centralisation du reporting
  • Tous les tableaux de bords sont centralisés dans ce module
  • Création de vue publique et privé
  • Rapport multi-projet possible
  • Il faut prendre cette version de reporting comme la V1 de l’ancien module dashboard… Finalisé donc.

Possibilité de définir une stratégie de test plus complète :

  • Risques métiers et techniques ==> affecté à une complexité fonctionnelle – calcul des risques

Versionning : ce module n’est pas utile pour un petit projet
Gestion des versions des exigences, des tests (fiches de tests par exemple) et des composants :

  • Check-in et check-out
  • Comparaison entre les versions
  • Possibilité de retour à une version antérieure
  • Peut être activé à un projet via la partie administration (nouvelle activité de l’administrateur donc)
  • Le versionning est bien entendu à prendre en compte avant les démarrages des projets (fais partie des best practices cher à CMMi et autre ITIL)
  • Création des baselines (création d’une photo d’un ensemble d’éléments projet), pour marquer / identifier les étapes importantes du projet. Exemple : des exigences validées en V1 : création d’une baseline. Cela permet aussi de figer une configuration de tests par l’association à une campagne de tests.
  • Garantit d’exécuter  la bonne version vis-à-vis d’une campagne de tests
  • Comparaison de baseline possible ==> identifier les éléments qui ont changés

QC requirement management :

  • Se veux comme un concurrent direct des outils comme Doors, Req Pro et autres Caliber
  • HP cite un rapport 2008 émis par le Forrester et signalant que le nouveau module de gestion des exigences de HP est le premier devant tout les autres. Hum… je pense un peu prématuré ce genre de conclusion sachant la version ne sort qu’en février et que des résultats probants ne pourront être obtenus qu’après quelques mois d’intense utilisation chez des vrais clients. A surveiller donc.

Autres : les template :

  • Il est désormais (enfin ?) possible de définir un projet template et surtout de l’utiliser et le partager entre de nombreux projet. LE fait majeur étant la possibilité de mettre à jour le template et de diffuser la mise à jour sur l’intégralité des projets le mettant en œuvre. Il faut savoir que sur la version 9.2 actuelle cela n’est possible que via des développements internes propres à chaque client.
  • Possibilité de configuration et de maintenance centralisées des template
  • Diffusion « automatiques » des mises à jour
  • Maintenance des template par les administrateurs
  • A signaler que cette fonctionnalité aussi rejoint les concepts de best-practices prônés par CMMi et ITIL

Fonctional testing :

  • Sortie le 31 janvier
  • Winrunner n’est plus inclus dans ce pack

Contenu dans le « pack » Fonctional testing :

  • Gestion des ressources QTP :
  • Versionning
  • Outils de comparaison

Quicktest Pro 10.00 (QTP) :

  • Meilleur reporting
  • Monitoring système local : ce module permet lors du RUN des scripts de surveiller l’exécution et certains points. Concrètement on pourra déceler à quel moment et suite à quelle action du script un problème survient. Par exemple un pic de charge d’un CPU généré par une action d’un script QTP. Cela devrai permettre de renforcer les liens et interactions entre les équipes de tests et ceux en charge des tests de performance. Il faut signaler que cette fonction a été implémentée par de nombreux clients à l’aide de développements internes. Ils apprécieront.
  • Amélioration diverses de l’IHM :
  • Outils de gestion des tâches (TODO)
  • Aides aux scripting
  • Export au format DOC et PDF du reporting
  • Possibilité de joindre des captures d’écrans
  • Accès direct à la ligne de script QTP depuis le reporting
  • Possibilité de comparer deux versions de scripts facilement

Mon impression finale est que QTP se transforme en AGL (Atelier de Génie Logiciel) mais orienté tests. Je veux dire par là que HP a intégré de nombreuses fonctions permettant de mieux scripter et d’aider plus complètement les développeurs de scripts QTP. Je trouve cela bénéfique pour tous les scripteurs. Ne tirons pas de conclusion hâtives et attendons les premiers retours d’expériences autres que ceux de HP. Enfin, la synergie, les liens entre QTP et QC semblent renforcés également.

Quid des migrations ?
Pour pouvoir migrer vos versions vers la 10.00 il vous faut avoir déjà les versions 9.0 (patch 26) et 9.2 de QC (patch 12). Impossible de migrer avec des versions plus vieilles que celles-ci.
Un outil d’upgrade sera disponible sur le site support de HP pour vous aider dans les migrations. Mais attention si cela se déroule comme les précédentes fois il vous faudra passer obligatoirement par des experts testing pour vous aider dans la manœuvre car l’outil de migration de HP ne fait pas de miracle et demande l’intervention d’humains.
Une dernière chose sur la migration, si vous passez à QC 10.00 il vous faut obligatoirement passez à la version 10.00 de QTP.

Winrunner :
Recueillons-nous sur la dépouille exsangue de cet automate qui fut un des précurseurs dans notre métier. Il a, ma foi, bien mérité sa retraite. RIP Winrunner et merci pour tout.

  • Il n’est plus distribué avec le pack fonctional testing
  • Fin 2009 : fin des développements et patch
  • Fin 2011 : fin de l’automate

Goodies and petits fours :
Et les goodies offert par HP pour nous récompenser de notre temps et notre attention ? Et bien nous avons eu droit à un stylo en plastique rose, quelques feuilles vierges à l’entête de HP et… à un livre en anglais sur les tests !
Son nom est « Optimize Quality for Business Outcomes – a practical approach to software testing» et ceci dans sa troisième édition. C’est la première fois que j’entends parler de ce livre traitant des tests. Ci-dessous je liste les chapitres principaux :
1.    What is the big deal about testing ?
2.    Testing the business requirements: start at the root of the problem
3.    Test rules: build the backbone for effective testing
4.    Test cases: let’s get down to the real stuff
5.    Test optimization: balancing risk and effort
6.    Why bother with non-fonctional testing?
7.    Application security testing: the next frontier
8.    Test sourcing: how outsourcing improves cost effective testing
9.    Successful goal-driven KPI approach
10.    Getting started: putting it all together
11.    Appendix A – Common test techniques
12.    Appendix B – HP application quality management solutions introduction and overview
13.    Appendix C – Verification
14.    Appendix D – Naming conventions

Je tente de lire ce livre rapidement et je vous en ferai une « critique ».

Et alors ?
Au final, la stratégie de HP est de jouer des coudes dans l’édition logiciels pour agrandir son périmètre fonctionnel et ainsi son chiffre d’affaire. Ce qui est une démarche saine et pouvant apporter aux utilisateurs finaux un meilleur service et aux sociétés de services / conseils un élargissement de leurs prestations (avec un apport de valeur ajouté plus important qu’à ce jour).
Cependant, en « jouant des coudes » HP piétine allégrement les orteils de nombreux concurrents. Ainsi les éditeurs avec des outils gérant les exigences ou les gestions de configurations / versions verront immanquablement leurs parts de marché grignotées inexorablement par HP. Aussi inexorable que la désertification en Afrique ? Pas si sur que cela, car, pour prendre l’exemple des éditeurs de solutions de gestion des exigences, leurs produits dédiés seront forcément plus complet que celui de HP. Reste à savoir plus complètement les choix fais par HP en la matière et les mettre en œuvre pour les tester dans la vrai vie !





Dis tonton… comment on script avec un automate de tests et si tu pouvais aussi me donner quelques bonnes pratiques steuplé ?

1 12 2008

Hum… et tu ne veux pas non plus 100 euros et un Mars ? Bref, je te sens piaffer d’impatience alors écoute donc…

Je vais tenter de vous exposer comment les automates de tests fonctionnent. Je vais parler des QuickTests Pro (QTP) et autre Sélénium. Des automates utilisés pour les tests fonctionnels, les scénarios de tests utilisateurs, etc.

Il y a deux façons de scripter dans QTP, il y a la bonne et… la bonne !

Je m’explique car vous pourriez penser que je ne veuille faire qu’un rapide et stérile clin d’œil au sketch des Inconnus (à l’attention de nos amis anglophone : Inconnus = groupe de comique français des années 90).

Mais avant de passer en revue les façons de scripter demandons nous à quoi peuvent servir ces fameux automates qui pourraient être la solution miracle aux tests (ou pas…).

Théorie des automates de tests :

Sur un site Web (par exemple) QTP enregistre vos actions (enregistrement du mouvement de la souris, des clics de souris, etc.) et les rejoue à volonté. Vous pourrez ainsi exécuter à l’infini les scénarios de tests tout les soirs et, au matin, après votre café, compulser dans la tranquillité les rapports d’exécution.

Cette définition est un mythe urbain répandu par les éditeurs il y a quelques années lorsque les automates de tests étaient peu connus des clients. Depuis et jusqu’à ce jour, hélas, c’est toujours ce que pensent la plupart des clients…

Autres grands principes des automates de tests :

  • Les automates de tests fonctionnent par reconnaissance des objets des IHM (boutons, listes déroulantes, etc.) qu’il stocke dans un répertoire nommé parfois « repository »
  • En mode enregistrement, ils capturent les interactions réalisées sur des objets nécessaires lors du déroulement du scénario de test. Il génère un script en VB (pour QTP)
  • En mode exécution, ils rejouent le scénario de test à partir du script


Les automates de tests dans la vraie vie :

La seule partie vraie dans la définition théorique est « QTP enregistre vos actions et les rejoue à volonté » !

Le reste n’est possible que chez très peu de client ayant un niveau de maturité important dans l’automatisation des tests. Bref, il y a deux manières de scripter :

Le scripting par enregistrement et reworking :
– Le testeur dispose des IHM et scripte directement
– Il lance le script, relève les erreurs et les corrige
– Une fois son script terminée il doit le faire valider par un autre testeur et ainsi procéder à un cross-checking (notion très importante pour finaliser les scripts)

Le scripting en mode « programmation descriptive » et reworking :
– Le testeur ne dispose pas des IHM et doit donc travailler à partir de spécifications techniques et fonctionnelles. Mais cela est très rare chez les clients. De plus cela impliquerai que les spécifications sont déjà exhaustives, validées et stables… (il est bon de rire parfois ;- )
– Il lance le script, relève les erreurs et les corrige
– Cross-checking

Points importants à prendre en compte :
Principe : On automatise que sur une application STABLE et MATURE ! Sinon, c’est de la perte de temps et de l’onanisme pour Mammouth !
– Principe : 100% des tests manuels ne pas automatisable :

  • Il faut savoir prioriser, faire des choix intelligents, utilisation de la loi de Paretto
  • Étudier l’intérêt d’automatiser, etc.

– Principe : mener une étude de faisabilité pour déterminer l’intérêt d’automatiser les tests et la faisabilité technique (voir article sur le sujet)
– Retour sur investissement : des campagnes de tests automatisées ne sont rentables qu’à partir de trois, voir quatre itérations de campagne de tests automatiques (à partir d’une courbe de ROI sur trois ans)
– Création des scripts :

  • la charge de création des scripts est plus importante que la création des tests manuels
  • la difficulté n’est pas dans la capture du script mais dans le choix du critère et du moyen de contrôle du résultat attendu
  • il faut mettre des points de synchronisation ou d’attente entre deux actions pour éviter les times out sur l’apparition de résultat attendu
  • bonne pratique pour un scénario isolé (meilleure robustesse du scénario = se remettre dans les mêmes conditions que lors de l’enregistrement du script) :

– Préparation des environnements et application
– Génération des JDDT
– Tests de l’application
– Nettoyage des environnements et application

– Jeux De Données de Tests (JDDT) :

  • penser à générer les JDDT par l’automate avant l’exécution des scénarios

– Exécution des scripts : la charge d’exécution automatique est moins importante qu’une exécution manuelle
– Maintenance des scripts: la bonne méthodologie et les bonnes pratiques sont à appliquer avant le début de l’automatisation afin de minimiser les charges de maintenance des scripts (normes pour l’organisation, le nommage, la gestion des versions des scripts, etc.).
– Maintenance des scripts: il faut maintenir une compétence d’automatisation pour réaliser les adaptations, évolution des scripts en cas d’évolution de l’application

Je finirai en vous demandant de coupler TOUJOURS et autant que possible votre automate avec votre référentiel de tests ! Ce qui permettra, entre autre, de :
– Stocker la description des scénarios à automatiser
– Stocker les scripts QTP dans QC et les repository associés
– Planifier l’exécution des campagnes de tests automatiques
– Stocker les résultats des campagnes de tests