Valtech et les testeurs

14 04 2011

Je fais rarement des liens vers d’autres sites mais j’avoue que le blog de la société VALTECH édite parfois des articles intéressants.

Par exemple celui concernant les tests fonctionnels et les développements d’App pour Iphone.

Ce pourrait être un bon début pour étudier les activités de tests dans le milieu des interfaces nomades.

Vers le blog de Valtech

Publicités




En avant-première : nouvelle version de Quality Center en ALM 11 !

23 03 2011

Credo d’HP cette année « Instant-on » : un terme pour tenter d’exprimer « Agilité + Web 2.0 + plateforme unique »

(Ceci est une synthèse très rapide de la nouvelle version Quality Center vers Application Lifecycle Manager  11 (ALM 11). Prochainement je mettrai en ligne l’article complet)


  • Avis général :

o   L’ergonomie et la navigation ne change presque pas

o   Similitudes étonnantes  à noter par  rapport à la plateforme Jazz d’IBM / Rational

o   Planification des tests via un module « façon Outlook »

  • Requirement :

o   Ouverture direct dans ALM des fichiers Word contenant des uses cases pour utilisation dans l’onglet requirement

o   Création des requirements via des templates, import de business modèle

  • Plus grande intégration et communication entre tous les acteurs des projets :

o   Gestionnaire de tâches « tasktop » :  Exemple :  un développeur peux consulter les anomalies de QC directement depuis son framework Eclipse

o   Focus important sur les projets Agile et la technologie Ajax

  • Tests « manuels » plus facile :

o   Arrivée de la « fonction » nommée HP Sprinter (à noter que le terme est directement extrait des projets en mode agile !)

o   Il s’agit d’un mélange de macro et de fonctions (définition non éclairci côté HP) intégré dans un navigateur et permettant d’aider les tests manuels :

§  Permet d’enregistrer très rapidement et facilement des scénarios de test

§  Enregistre également les jeux de données

§  Exécutions des tests par Sprinter

§  Remontées des anomalies via le navigateur

  • Performance Center :

o   Prise en compte effective d’Ajax – Ajax compliant

o   Lancement des tests via l’IDE du client (par le plugin intégré au butineur)

o   Interface et ergonomie sexy pour la création des scénarios de tirs

o   La tendance est à moins de codage pour plus de facilité – Adieu les « mains dans le cambouis » ou presque…

  • Le futur selon les trois utilisateurs témoignant :

o   « Il faut se concentrer sur l’intelligence des activités de tests : la stratégie, les ROI, la gestion des exigences, l’industrialisation, les jeux de données »

o   « Assurer un bon compromis entre agilité et industrialisation »

Peu ou pas d’informations sur le modeling…

A bientôt dans le futur du testing !





Testing application security

25 05 2009

The safety of IT is an important topic for all CIO for many years. The tests are part. Therefore a lot of company provides safety testing and intrusion audits or to know the vulnerabilities of an enterprise in order to « correct ».

But in this little world I know nobody really dealing, effectively and operationally tested for safety applications!

That is why I begin the new articles on the topic so you can benefit. If you have comments or suggestions I am listening to you.

My first article deals with one of my visits to HP or to the presentation of major updates to its software designed to help CIOs to reduce the vulnerability of their Web applications. These new offerings are part of HP Application Security Center, a suite of software and services designed to help companies ensure the security of their Web applications by enabling them to discover, correct and prevent vulnerabilities may be exploited by hackers .

What is HP Application Security Center? It helps developers, quality assurance teams and security professionals to detect and correct quickly and efficiently vulnerabilities and defects throughout the lifecycle of the application. These software products test security provide definitions of common security strategy, safety testing automated, centralized control permissions and web access to security information.

Innovations 2009:

HP Assessment Management Platform 8.0 – helps companies reduce costs and risks through application testing platform for distributed and scalable web application security. In addition, HP Assessment Management Platform 8.0 enables companies to:

• Prioritize security concerns based on business goals. New analytical functions help companies identify assets that need to be secure and classify data according to their importance to the business. Incorporating a business allows data to effectively focus the attention of competent security

• Securing more applications with fewer resources specialist with a shared services model. The latter is provided by comprehensive reporting functions and a new display function allowing teams to remotely monitor security scan.

HP WebInspect 8.0 – helps companies analyze the complex web applications. This new version brings more speed and reliability in testing and remediation capabilities (term used by HP meaning « a cure » – is not in the dictionary french) the security of web applications, including those developed with Web 2.0 technologies.

HP Software-as-a-Service (SaaS) for Project Services Application Security Center enables companies to rapidly implement their initiatives to secure applications via a complete solution maintained and managed by HP.

The new HP offerings enable CIOs to prioritize the threats based on their business goals. This approach can often concentrate limited resources on protecting assets and the most important. For example, an organization can identify applications associated with processing credit card transactions and focus its efforts to improve security in order to comply with the recommendations of the payment card industry (PCI DSS for example).

Thus, experts supervise the whole process of securing the enterprise and help to analyze the results of safety tests. This model helps companies to enhance the security of their information systems by making the test even within existing process development, quality assurance and operations. Because finding and correcting vulnerabilities early in the design process can reduce costs, this model helps companies to enhance the security of their information systems at lower cost, industrialising safety tests through the entire life cycle of applications.

HP WebInspect software 8.0 and HP Assessment Management Platform 8.0 is based on the same infrastructure scanning and reporting. Both help companies:

• Find and fix vulnerabilities in Web 2.0 applications with the functions of static analysis of applications built on the platform Adobe Flash ® platform and dynamic monitoring for applications JavaScript / Ajax.

• Implement automatic scans that could not hitherto be performed manually. This concerns in particular, in-depth monitoring for Java ™ Model View Control • Save time with many automation functions, allowing a more rapid tests, and functions ready to use reporting

• The new HP offers SaaS for Project Services Application Security Center helps companies to quickly start the operation of HP Application Security Center, on demand.





Tests de sécurité applicatifs

25 05 2009

La sécurité des SI est un sujet important pour toutes les DSI depuis de nombreuses années déjà. Les tests en font partis. Par conséquent une très grande quantité de société propose des tests de sécurité et d’intrusion ou bien des audits permettant de connaitre les vulnérabilités d’une entreprise afin de les « corriger ».

Mais dans ce petit monde je ne connais personne ne traitant réellement, concrètement et opérationnellement des tests de sécurité applicatifs !

C’est pourquoi j’entame des nouveaux articles sur le sujet afin de vous en faire profiter. Si vous avez de remarques ou des suggestions je suis à votre écoute.

Mon premier article traite d’une de mes visites chez HP où assisté à la présentation des mises à jour majeures de ses logiciels conçus pour aider les DSI à réduire la vulnérabilité de leurs applications Web. Ces nouvelles offres font partis de HP Application Security Center, une suite de logiciels et de services conçue pour aider les entreprises à assurer la sécurité de leurs applications Web en leur permettant de découvrir, corriger et prévenir des vulnérabilités susceptibles d’être exploitées par des pirates.

Qu’est-ce que HP Application Security Center ?

Il aide les développeurs, les équipes d’assurance qualité et professionnels de la sécurité à détecter et corriger rapidement et de façon rentable les vulnérabilités et anomalies tout au long du cycle de vie de l’application. Ces produits logiciels de test de la sécurité fournissent des définitions de stratégie sécuritaire communes, des tests de sécurité automatisée, un contrôle centralisé des autorisations et un accès Web aux informations de sécurité.

Les nouveautés 2009 :

HP Assessment Management Platform 8.0 – aide les entreprises à réduire les coûts et les risques applicatifs via une plateforme de test distribuée et évolutive de sécurisation des applications web.

De plus, HP Assessment Management Platform 8.0 permet aux entreprises de :

  • Prioriser les problèmes de sécurité en fonction des objectifs métiers. De nouvelles fonctions analytiques aident les entreprises à identifier les actifs qui ont besoin d’être sécurisés et à classifier les données suivant leur importance pour l’activité de l’entreprise. L’intégration d’un contexte métier aux données permet de concentrer efficacement l’attention des ressources compétentes en sécurité
  • Sécuriser plus d’applications avec moins de ressources spécialisées à l’aide d’un modèle des services partagés. Ce dernier est apporté par des fonctions de reporting globales ainsi que par une nouvelle fonction de visualisation permettant à des équipes de superviser à distance un scan de sécurité

HP WebInspect 8.0 – aide les entreprises à analyser en profondeur les applications web complexes. Cette nouvelle version apporte plus de rapidité et de fiabilité dans les tests et les capacités de remédiation (terme employé par HP signifiant « trouver un remède » – n’existe pas dans le dictionnaire français) de la sécurité des applications web, y compris celles développées avec des technologies Web 2.0.

HP Software-as-a-Service (SaaS) Project Services for Application Security Center permet aux entreprises de mettre rapidement en œuvre leurs initiatives de sécurisation des applications via une solution complète, maintenue et administrée par HP.

Les nouvelles offres de HP permettent aux DSI de prioriser les menaces en fonction de leurs objectifs métiers. Cette approche permet de concentrer des ressources souvent limitées sur la protection des actifs et des données les plus importants. Par exemple, une organisation peut identifier les applications associées au traitement de transactions par carte bancaire et y concentrer ses efforts de sécurisation afin de se conformer aux recommandations de l’industrie des cartes de paiement (PCI DSS par exemple).

Ainsi, les experts supervisent l’ensemble des processus de sécurisation de l’entreprise et aident à analyser les résultats de tests de sécurité. Ce modèle aide les entreprises à renforcer la sécurité de leurs systèmes d’information en les mettant à l’épreuve au sein même des processus existant de développement, d’assurance qualité et d’exploitation.

Puisque trouver et corriger les vulnérabilités très tôt dans le processus de conception permet de réduire les coûts, ce modèle aide les entreprises à renforcer la sécurité de leurs systèmes d’information à moindre coût, en industrialisant les tests de sécurité au travers de l’intégralité du cycle de vie des applications.

Les logiciels HP WebInspect 8.0 et HP Assessment Management Platform 8.0 sont basés sur la même infrastructure de scanning et de reporting. Tous deux aident les entreprises à :

  • Trouver et corriger les vulnérabilités dans les applications Web 2.0 avec les fonctions d’analyse statique des applications conçues pour la plateforme Adobe® Flash platform et de suivi dynamique pour les applications JavaScript/Ajax.
  • Mettre en œuvre des scans automatiques qui ne pouvaient, jusqu’ici, être réalisés que manuellement. Ceci concerne notamment, le suivi en profondeur pour les applications Java™ Model View Control
  • Gagner du temps grâce à de nombreuses fonctions d’automatisation, permettant une configuration plus rapide des tests, et à des fonctions prêtes à l’emploi de reporting
  • La nouvelle offre HP SaaS Project Services for Application Security Center aide les entreprises à commencer rapidement l’exploitation de HP Application Security Center, à la demande.




Comment tester en « mode agile » ?

18 05 2009

Comme promis aux nombreux lecteurs m’ayant fais la demande, je vous présente cet article traitant des tests en mode agile. Il s’agit d’une vulgarisation et je tente de vous présenter les principes et points importants à prendre en compte.

SCRUM, XT programming et autres acronymes du même acabit sont légions depuis quelques années et sont très en vogue parmi les développeurs. En fait il s’agit de développer le plus rapidement possible quelques fonctionnalités et de mettre tout aussi rapidement en production (d’où le terme de sprint que nous verrons plus tard) !

Et le test me direz-vous ?

Les activités de tests sont bien entendu réduits à au maximum… mais… il faut savoir qu’il y a une méthodologie spécifique concernant les activités de tests et qui s’insère naturellement et simplement en mode agile.

En premier lieu je passe en revue les deux méthodes de développements les plus connues dans le mode agile. En effet, elles représentent la majorité des projets de ce type (nos chers développeurs les préfèrent aussi). Il s’agit du SCRUM et de l’eXtreme Programing.

Méthode SCRUM :
La définition du mode agile est en partie basée sur la remarque suivante : « … L’approche course de relais pour le développement de produits…peut être en conflit avec les objectifs de vitesse et de flexibilité maximum. A l’inverse, une approche holistique comme au rugby— quand une équipe essaie d’avancer en restant unie, en se passant le ballon de main en main— peut mieux servir les exigences de compétitivité d’aujourd’hui ». Hirotaka Takeuchi et Ikujiro Nonaka, “The New New Product Development Game”, Harvard Business Review, Janvier 1986.

Ainsi le SCRUM est un processus agile qui permet de produire la plus « grande valeur métier » dans la durée la plus courte. Du code est produit à chaque sprint (toutes les 2 à 4 semaines).

Le métier (les utilisateurs par exemple) définit les priorités. L’équipe de développeur s’organise elle-même pour déterminer la meilleure façon de produire les exigences (ou backlog) les plus prioritaires.

Et à chaque fin de sprint, tout le monde peut voir fonctionner le produit courant et décider soit de le livrer dans l’état, soit de continuer à l’améliorer pendant un sprint supplémentaire.

Les grands principes du SCRUM :

  • Equipe responsable, en auto-organisation
  • Avancement du produit / code par une série de « sprints » de 5 jours maximum
  • Exigences définies comme des éléments d’une liste appelée « backlog du produit »
  • Pas de prescription de pratiques d’ingénierie
  • Utilisation de règles génériques permettant de créer un environnement agile pour un projet

eXtreme programming :
En 2001, aux États-Unis, dix-sept acteurs clés du développement logiciel se sont réunies pour débattre de leurs méthodes respectives, dites méthodes agiles. Les plus connus d’entre eux étaient :

  • Ward Cunningham l’inventeur du Wiki via WikiWikiWeb
  • Kent Beck, père de l’extreme programming et cofondateur de JUnit
  • Ken Schwaber et Jeff Sutherland, fondateurs de SCRUM
  • Jim Highsmith, prônant l’ASD
  • Alistair Cockburn pour la méthode Crystal clear
  • Martin Fowler et Dave Thomas
  • Arie van Bennekum pour DSDM (Dynamic System Development Method) la version anglaise du RAD (Développement rapide d’applications).

Ces nombreux experts réussirent à extraire de leur méthodes respectives des critères pour définir une nouvelle façon des développer des logiciels. De cette réunion devait émerger le Manifeste Agile, considéré comme la définition du développement agile et de ses principes.

Ainsi leurs conclusions furent :

Principales causes identifiées de l’échec des projets :

  • Mauvaise compréhension du besoin : 51%
  • Estimation et planification déficiente : 48%
  • Technologies mal maîtrisées : 45%

Méthodes classiques trop lourdes :

  • Manque de réactivité
  • Excès de documentation

But : produire un logiciel de qualité en respectant les délais et le budget grâce à un ensemble de pratiques efficaces poussées à l’extrême.

Dans la pratique les choses sont bien différentes… En effet, les délais et budgets sont à peine respectés (comme dans les projets en mode classique – processus en V et autres) et la qualité est inconnue de la plupart des développeurs.

En fin de compte les problèmes concernant les tests sont les mêmes sur tout les projets. Le principal étant la non connaissance des bonnes pratiques de tests par les chefs de projets (ou scrumMaster) et les développeurs (ou CoWboyZ).

Ainsi le mode agile possède aussi quelques bonnes pratiques à mettre en œuvre et faire respecter par les ScrumMaster et autres chefs de projet. Voici celles que j’ai apprises et optimisées lors de mes missions.

Ci-dessous le processus de développement logiciel en mode agile :

image1_agile

On constate que le processus fonctionne un peu comme un sous-marin, avec des compartiments devant rester étanches, sous peine de ne plus respecter le processus…

  • Ainsi, les métiers définissent leurs besoins et exigences, ils les communiquent au chef de produit
  • Le chef de produit en fais une synthèse et en propose une priorisation au chef de projet (ou ScrumMaster)
  • Ensuite, le chef de projet les prends en compte et détermine les exigences (ou backlogs) qui seront développés par son / ses équipes « agiles ».
  • Sachant que les users métiers ne doivent parler qu’uniquement au chef de produit et que celui-ci est le seul à parler avec le chef de projet
  • Enfin, les développeurs et testeurs ne peuvent pas parler avec les users ni les chefs de produit

Ce mode de « communication en mode étanche » a été préconisé à l’époque afin d’assurer la tranquillité de l’équipe de développement et s’assurer que ceux-ci ne seraient pas dérangés. Ainsi, les créateurs du mode agile crurent assurer en partie par ce biais le respect des délais et des budgets.

Mais, les effets pervers de ce mode étanche sont :

  • Pas ou peu de cahier des charges / spécifications en entrée des développements
  • Les besoins et exigences des utilisateurs sont filtrés et surtout réinterprétés par trois personnes différentes ayant chacun des priorités et objectifs différents
  • Pas de traçabilité des exigences
  • Des effets de ralentissements ou « d’à peu près » car quand un développeur a une question sur une fonctionnalité à coder, il ne peut la poser qu’au chef de projet qui demandera au chef de produit qui demander aux utilisateurs. La réponse (si la question a bien été posée) prendra le chemin en sens inverse…
  • Les testeurs non presque pas de documentation et doivent souvent attendre la fin du  deuxième sprint pour avoir une certaine visibilité sur ce qu’il y aura à tester

Finissons cette description du processus logiciel en mode agile par la communication au sein de l’équipe agile.

  • En début de chaque sprint (tous les lundis donc car un sprint = 5 jours) il y a une réunion de démarrage qui doit aborder le planning, les outils, etc.
  • Pendant les sprints il y a une réunion quotidienne ne devant pas avoir lieu dans une salle (ceci reste un mystère pour moi j’avoue) mais plutôt dans un lieu incongru et très bruyant comme la salle à café ou équivalent. Cette réunion ne doit pas dépasser 15 minutes (avec des questions comme : les problèmes rencontrés, etc.)
  • Le reste de la communication est assurée par les « Instant Messenger » comme MSN et équivalent (même si les développeurs et testeurs sont dans le même bureau, ce qui est hallucinant à vivre je vous l’avoue !)

Synthèse des fondamentaux de l’agile :

  • Sprint et itérations très courts
  • Une équipe ne communiquant que par son scrumMaster
  • Spécifications « rédigées » pendant les sprints
  • Pas de plan de tests – scripts « one shot »

Ci-dessous le séquencement d’un projet agile :

image2_agile

Au sein d’un projet il y a plusieurs releases. Chaque release est composé de plusieurs sprint. Tous les 3 ou 4 sprints une release / package est construite par les développeurs (en 1 journée grand maximum). Puis, le package doit-être mis en production. Si vous avez lus mes articles précédents vous constaterez bien vite qu’il manque une étape importante avant la mise en production… (Roulement de tambour… suspens…), il s’agit des tests avant la mise en production. Comme :

  • Les tests de performance
  • Les tests d’exploitabilité
  • Les tests d’installations
  • Les tests de MEP à blanc, etc.

Bonnes pratiques :

  • Mettre en place une machine d’intégration continue qui assurera la « récolte » des développements, leurs sauvegardes et leurs versions
  • Prévoir, définir et mettre en œuvre les tests devant valider les packages :
  • Souvent cette étape se résume à un combat pour l’imposer auprès des chefs de projet qui trouve que les tests ne font pas partie du mode agile et ralentissent le processus. Ces mêmes chefs de projet qui subitement changent d’avis après des mises en production sans tests préalable… C’est ce que l’on appel l’expérience par l’échec.

image3_agile
Détaillons les activités de tests dans le mode agile en prenant un exemple concret :

Dans le schéma ci-dessus j’ai modélisé une release comportant uniquement deux sprints, une étape de packaging et la mise en production (MEP).

Itération 1 – Planning du sprint 1 (ou S1) :

  • Lundi 2 février au matin : réunion de démarrage (1 heure maximum – A). Le scrumMaster explique aux 3 développeurs et au testeur unique les backlogs (B) devant être développés et testés
  • Lundi 2 au vendredi 6 février matin les développeurs on les tâches suivantes :
  • Prise de connaissance des backlogs fourni par le scrumMaster
  • Développements (codage en Java – C) des backlogs (et des classes de tests bien entendu) :
  • + Tests unitaires (D) en utilisant Junit et Javadoc au sein du framework Eclipse
  • Chaque les développeurs « commit » leurs bouts de code. Ce code est pris en charge dans le processus d’intégration continue (E)
  • Lundi 2 au vendredi 6 février matin le testeur a les tâches suivantes :
  • Prise de connaissance des backlogs
  • Lecture des rapports de tests générés par Junit
  • Création des scripts de tests (sous Selenium – F)
  • Vendredi 6 février après-midi :
  • Le scrumMaster décide lors de la réunion matinale quotidienne de mettre fin au sprint 1 (S1) ce vendredi en fin de journée car il estime que les objectifs ont été atteints. Il envoi un mail pour en prévenir le chef de produit.

Planning du sprint 2 (S2) :

  • Lundi 9 au 13 février matin : réunion de démarrage (1 heure maximum). Le scrumMaster explique aux 3 développeurs et au testeur unique les backlogs devant être développés et testés
  • Lundi 9 au 13 février matin les développeurs on les tâches suivantes :
  • Prise de connaissance des backlogs fourni par le scrumMaster
    Développements (codage en Java) des backlogs (et des classes de tests bien entendu) :
    + Tests unitaires en utilisant Junit et Javadoc au sein du framework Eclipse
    Chaque les développeurs « commit » leurs bouts de code. Ce code est pris en charge dans le processus d’intégration continue
  • Lundi 9 au vendredi 13 février matin le testeur a les tâches suivantes :
    Prise de connaissance des backlogs S2
    Lecture des rapports de tests générés par Junit du S2
    Création des scripts de tests (sous Selenium) pour le S2
    + Le testeur doit aussi faire en parallèle (dès le lundi après la réunion) :
    Lancement et surveillance des scripts du S1 (H)
    Remontée des anomalies sur les backlog du S1 au scrumMaster (uniquement à lui – qui est juge et partie sur la décision de corriger ou pas les anomalies remontées par le testeur – G)
  • Vendredi 13 février après-midi :
    Le scrumMaster décide lors de la réunion matinale quotidienne de mettre fin au sprint 2 (S2) ce vendredi en fin de journée car il estime que les objectifs ont été atteints. Il envoi un mail pour en prévenir le chef de produit et indique qu’une mise en production est possible sans problème
    La MEP est effectué par un des développeurs. Juste avant de partir en week-end il lance l’installation en étant sur à 100% que tout se déroulera bien (I)

Fin de l’itération 1

J

Voici donc le fonctionnement typique d’une équipe agile classique. Suivant vos expériences, vous vous apercevrez qu’il y a de nombreuses erreurs de jugement et de très importants manques aux niveaux des tests !

Je vais lister ci-dessous les bonnes pratiques pouvant être mises en œuvre dans un projet agile. Sachant que ces bonnes pratiques devront être présentées et défendues auprès du scrumMaster, par le testeur.

L’intervention des bonnes pratiques est signalées par une lettre dans le planning ci-dessus et expliquées en détails ci-dessous :

image4_agile

Lien vers l’article traitant des tests unitaires.





How to make unit test?

18 05 2009

The unit test :

Definition:

“Test Unit (TU) (development test): A unit test is a test conducted by the developer in development environment; it is intended to demonstrate a unit complies with the criteria defined in the technical specifications.”

In the case of a procedural language unit is « the process », and in the case of an object-oriented unit is represented by « The Class. »

Unit testing is testing the first white box-type to be charged by profile type developers.

In the case of this kind of test the important question is « What is the quality of the units developed and how to measure it?

Thus, it is for the developer to test a module, independently of the rest of the program in order to ensure that it meets the requirements (functional / technical) and it works correctly. This audit is currently an audit of code coverage, which is to ensure that the test leads to perform all (or a portion) of the instructions in the code to test.

Thus, it should be understood that the unit must conduct (or the piece of code):

  • Check the functions and roles of the Unity
  • Test the boundaries of the unit (bounds: zero, one, complete. Search an empty collection, for example)

This results in a simple way by creating a test class per class developed.

Example of basic unit tests and represented by a class of test:

  1. Invoke the method with the values passed as parameters
  2. Observe the results
  3. Check if the results are those expected

Thus we must select values for which we can determine the outcome.

As we see it may take time to perform these tests manually. Similarly, if classes are complex and that we must carry out regression tests…

To help the developer tools exist and JUnit is the most effective (see details in the section on tools).

Examples of other types of unit tests:

  • Audit code: verification step of lines of code against a standard development
  • Bound checking tool to check any entries in the memory areas
  • Documentation: reading source code automatically generating descriptions of the code
  • Memory leak detectors: these tools tests memory allocation applications
  • Static code (path) analyzer: it is identifying paths / code structure as measured McCabe, etc.

Unit testing tools:

Tools integration:

  • MAVEN: free software tool for the management and automation of production of Java software projects. It provided a way to synchronize independent projects: publication Standardized information vending module jar. In basic version, Maven can dynamically download material on storage software known. It offers the transparent synchronization of modules required.
  • ANT : idem que MAVEN
  • Continuum
  • CVS Subversion
  • JIRA

The testing Framework:

The best approach to undertake unit testing is to establish a « prepared environment » (or Framework) that is dedicated. In the case of development of Java type, the combination is the perfect synergy of tools below:

  • Java development environment integrated with Eclipse in it:
  • unit testing tools: JUnit (Tools written by the creator of the programming Xtrem Kent Beck), it allows to test the development of Java type
  • Generating doc. : JavadocC# / .Net : NUnit
  • C++ : CPPUnit / CUnit
  • Fortran : fUnit
  • Delphi : DUnit

The three basic concepts of JUnit are:

  1. Verdict: Each test can go GREEN (OK or pass) or red (fail or NOK)
  2. Test case: determining if a method produces good results for a given set of values passed as parameters:
    • Represented by a method in a class test
    • There have as many methods as you want in a class of tests
    • There is often a test class for each class to test (one to one)
  3. Test suite: it contains a set of test cases for one class

The analytical coverage tests:

  • Cobertura. It can produce:
    • The number of classes per package
    • The percentage of lines tested
    • The percentage of tested expressions
    • The list of components with the test unit is in error (list of anomalies by component / access services concerned)
  • EMMA
  • Clover

Tools Control code:

Checkstyle: This control ensures a well-defined level of quality of source code.

The reporting tools

Weekly reporting is generated and provided through the tool MAVEN.

Reports to generate 1: Unit Testing in error

This report presents a summary of all the tests and highlights the following:

  • Number of tests
  • Number of errors
  • Percentage of success

Reports to generate 2: Coverage of unit tests

Tools defects:

Each anomaly must be met up through a management tool defects. Thus, the anomalies are included in the tool as tests.

The analysis should lead to:

  • Changing the unit test to incorporate a change in the code. The change was made to replay developer testing
  • The amendment of the Code, if a regression is found. The corrected source code is up for re-replay testing and closure of the defect if the test is validated

Some tools:

  • Mantis
  • BugZilla
  • The module of Quality Center Defects (ed. HP Mercury)

Reminder of good practice in unit tests:

  • Use a framework absolutely
  • Interface with the framework tools
  • Write tests before code
  • A class = test
  • To test the classes in the same package (same directory) that the classes related
  • Code unit tests must change with the application and must be maintained
  • The name of the classes of tests must necessarily include the word TEST (to distinguish them easily and Junit 3 and found her classes)
  • As for automated functional testing make sure to put the system in the same condition as before the tests (this « rehabilitation » may be part of the actions of your Selenium test scripts for example)
  • How to reduce test time:
  • Isolate the unit tests identified as greedy time (DB access, competition …) and run less frequently than every compilation, for example: before each filing of source code in the common code base
  • Do the unit tests on the assembly that has been modified and not the entire

To write this article I helped my experiences but also the return of developer and sites such as (whom I thank for their very informative articles):

I advise you to report for more details on the subject.





Comment mettre en oeuvre des tests unitaires ?

18 05 2009

Définition :

« Test Unitaire (TU) (ou test de développement) : un test unitaire est un test mené par le développeur en environnement de développement, il a pour but de démontrer qu’une unité respecte bien les critères définis dans les spécifications techniques ».

Dans le cas d’un langage procédural l’unité est « la procédure », et dans le cas d’un contexte orienté objet l’unité est représentée par « La classe ».

Les tests unitaires sont les premiers tests de type boite blanche devant être pratiqués par des profils de type développeurs.

Dans le cas de ce type de tests la question importante est « Quel est la qualité des unités développés et comment le mesurer ? ».

Ainsi, il s’agit pour le développeur de tester un module, indépendamment du reste du programme, ceci afin de s’assurer qu’il répond aux spécifications (fonctionnelles / techniques) et qu’il fonctionne correctement. Cette vérification s’accompagne couramment d’une vérification de la couverture de code, qui consiste à s’assurer que le test conduit à exécuter l’ensemble (ou une fraction déterminée) des instructions présentes dans le code à tester. ».

Ainsi, il faut comprendre ce que l’unité doit effectuer (ou la parcelle de code) :

  • Vérifier les tâches et rôles de l’unité
  • Tester les frontières de l’unité (bornes : zéro, un, complet. Chercher une collection vide par exemple)

Cela se traduit de manière simple par la création d’une classe de test par classe développée.

Exemple de tests unitaires de base et représenté par une classe de test :

  1. Invoquer la méthode avec des valeurs passées en paramètres
  2. Observer les résultats
  3. Vérifier si les résultats sont ceux attendus

Ainsi il faut sélectionner des valeurs pour lesquelles on peut déterminer les résultats attendus.

Comme on le voit cela peut prendre du temps d’effectuer ces tests de manière manuelle. De même si les classes sont complexes et que l’on doit procéder à tests de non régressions…

Pour aider le développeur des outils existent et Junit est le plus efficace (voir détails dans le paragraphe sur les outils).

Exemples d’autres types de tests unitaires :

  • Audit de code : vérification pas à pas des lignes de codes vis-à-vis d’un standard de développement
  • Bound checking : Outil permettant de vérifier d’éventuelles écritures dans les zones mémoires
  • Documentation : lecture de code source générant automatiquement les descriptions du code
  • Memory leak detectors : ces outils tests l’allocation en mémoire des applications
  • Static code (path) analyzer : il s’agit d’identifier les chemins / structure de code selon les mesures McCabe, etc.


Outillages des tests unitaires :

Outils d’intégration continue :

  • MAVEN : outil logiciel libre pour la gestion et l’automatisation de production des projets logiciels Java. Il fourni un moyen de synchroniser des projets indépendants : publication standardisée d’information, distribution automatique de modules jar. En version de base, MAVEN peut dynamiquement télécharger du matériel sur des entrepôts logiciels connus. Il propose ainsi la synchronisation transparente des modules nécessaires.
  • ANT : idem que MAVEN
  • Continuum
  • CVS Subversion
  • JIRA

Les Framework de tests :

La démarche optimale pour entreprendre les tests unitaires est de mettre en place un « environnement préparé » (ou Framework) qui soit dédié. Dans le cas de développement de type Java, la combinaison parfaite est la synergie des outils ci-dessous :

  • Java : Environnement de développement intégré : Eclipse avec en son sein :
    • Outils de tests unitaires : Junit (Outils écris par le créateur de l’Xtrem programming Kent Beck), il permet de tester les développements de type Java
    • Génération de doc. : Javadoc
  • C# / .Net : NUnit
  • C++ : CPPUnit / CUnit
  • Fortran : fUnit
  • Delphi : DUnit

Les trois concepts de bases de Junit sont :

  1. Verdict : chaque test peut passer en VERT (pass ou OK) ou en ROUGE (fail ou NOK)
  2. Cas de test : détermine si une méthode produit les bons résultats pour un ensemble donné de valeurs passées en paramètres :
    1. Représenté par une méthode dans une classe de test
    2. Il y avoir autant de méthodes que voulu dans une classe de tests
    3. Il existe souvent une class de test correspondant à chaque class à tester (one to one)
  3. Tests suite : elle contient un ensemble de cas de test pour une classe

Les outils d’analyse de couverture des tests :

· Cobertura. Il peut produire :

o Le nombre de classes par paquetage

o Le pourcentage de lignes testées

o Le pourcentage d’expressions testées

o La liste des composants dont le test unitaire est en erreur (liste des anomalies par composant / services d’accès concernés)

· EMMA

· Clover

Outils de contrôle de code :

Checkstyle : Ce contrôle permet d’assurer un niveau bien défini de qualité de code source.

Les outils de reporting

Un reporting hebdomadaire est prévu et généré au travers de l’outil MAVEN.

Rapports à générer 1 : Tests unitaires en erreur

Ce rapport présente une synthèse de l’ensemble des tests et fait ressortir les éléments suivants :

Nombre de tests effectués

Nombres d’erreurs

Pourcentage de réussite

Rapports à générer 2 : Couverture des tests unitaires :

Outils de gestion des anomalies

Chaque anomalie rencontrée doit être remonté au travers d’un outil de gestion des anomalies. Ainsi, les anomalies sont intégrées dans l’outil au fur et à mesure des tests. L’analyse doit conduire à :

· La modification du test unitaire afin d’intégrer une évolution du code. La modification est réalisée développeur pour rejeu des tests

· La modification du code, si une régression est constatée. Le code source corrigé est re-livré pour rejeu des tests et clôture de l’anomalie si le test est validé

Quelques outils :

  • Mantis
  • BugZilla
  • Le module Defects de Quality Center (éditeur HP Mercury)

Rappel des bonnes pratiques dans les tests unitaires :

  • Utiliser absolument un framework
  • Interfacer le framework avec les outils
  • Ecrire les tests avant le code
  • Une classe = un test
  • Mettre les classes de tests dans le même package (et même répertoire) que les classes s’y rapportant
  • Le code des tests unitaires doit évoluer avec l’application et doit donc être maintenu
  • Le nom des classes de tests doivent comporter obligatoirement le mot TEST (pour les différencier facilement et Junit 3 retrouve ses classes ainsi)
  • Comme pour les tests fonctionnels automatisés pensez bien à remettre le système dans le même état que celui d’avant les tests (cette « remise en état » peut faire partie des actions de vos scripts de tests Selenium par exemple)
  • Comment réduire les temps de test :
    • Isoler les tests unitaires identifiés comme gourmand en temps (accès DB, concurrence…) et les exécuter moins souvent qu’à chaque compilation, exemple : avant chaque archivage du code source dans la base de code commune
    • N’exécuter que les tests unitaires concernant l’assemblage qui a été modifié et non pas l’intégralité

Pour rédiger cet article je me suis aidé de mes expériences mais aussi du retour de développeur et de certains sites comme (que je remercie pour leurs articles fort instructifs) :

Je vous conseil de vous y rapporter pour plus de détails sur le sujet.