tests

Meetup : l'enfer des tests autos / 23 octobre à Grenoble

Soumis par francoistonic le

Des tests automatiques, on sait qu'il faut en faire. Mais trop souvent c'est une véritable corvée : c'est lent, pas fiable, compliqué à lancer, compliqué à maintenir, voire compliqué à écrire tout court.

Pourquoi c'est si dur ? Et comment reprendre le contrôle ?

Il va falloir reprendre depuis le début :

Pourquoi on teste ?
Et on teste quoi ?
Et on teste comment ?

Ensuite, il est nécessaire de revoir un peu les bases du test : un brin de vocabulaire, et surtout de la méthodologie (dépendances, interfaces, contrat, mock, simulateur, fixture, inversion, ...). On fera un petit détour par l'architecture, parce que la testabilité est une propriété à prendre en compte dès le design, ou bien il faudra jouer du scalpel ou du pied-de-biche par la suite pour les faire rentrer. Enfin, on passera à l'implémentation, et avec quelques bonnes pratiques et le bon outillage (framework de test, TestContainers, CI, ...), ça se passera plutôt bien.

A travers des cas concrets tirés de nos expériences, suivez-nous sur le chemin pour quitter l'enfer des tests.

Quand : 23 octobre à 19h

Où : La turbine.coop à Grenoble

Inscription : https://www.meetup.com/groupe-dutilisateurs-python-grenoble/events/310950946/

Microsoft a amélioré ses outils de couverture de code

Soumis par fredericmazue le

Pour mémoire, la couverture de code est une mesure utilisée pour décrire le taux de code source exécuté d'un programme quand une suite de tests est lancée. Plus la couverture de code d'un programme est élevée, plus grande est sa quantité de code exécuté et donc à priori moindre est le risque que des bugs y subsistent. Microsoft a annoncé avoir amélioré ses deux outils de couverture de code Microsoft.CodeCoverage et dotnet-coverage avec des 'fonctionnalités fantastiques'. Le terme est de Microsoft.

Plus raisonnablement, nous remarquons tout d'abord que les deux outils peuvent fonctionner sur n'importe quelle plateforme prise en charge par .NET, grâce à l'ajout d'une instrumentation statique.

Nous remarquons aussi la réorganisation des formats de rapport de couverture de code pour les intégrer facilement à des outils tels que ReportGenerator. Deux formats de rapports à base de XML ont été ajoutés.

Nous remarquons encore que dotnet-coverage est désormais capable de fusionner des rapports de couverture.

Enfin Microsoft a résolu un problème de performances dans Microsoft.CodeCoverage qui bénéficie ainsi d'un gain de 80% de rapidité, selon Redmond.

Google publie Chrome pour les tests

Soumis par fredericmazue le
Web

Google a présenté une nouvelle version de Chrome qui cible spécifiquement les cas d'utilisation des tests et de l'automatisation des applications Web. Google explique que les tests de navigateur sont un élément essentiel de la création d'une expérience Web de haute qualité, qu'ils soient effectués manuellement ou automatiquement. Dans le même temps, la mise en place d'un environnement de test de navigateur adéquat est notoirement difficile, à tel point que cette difficulté est systématiquement signalée comme l'un des principaux problèmes des développeurs Web.

Le fond du problème est la capacité que le navigateur Chrome a de se mettre à jour automatiquement. En tant que développeur exécutant une suite de tests de bout en bout, vous pouvez avoir une perspective totalement différente :

  • Vous voulez des résultats cohérents et reproductibles à travers des exécutions de test répétées, mais cela peut ne pas se produire si l'exécutable ou le binaire du navigateur décide de se mettre à jour entre deux exécutions.
  • Vous souhaitez épingler une version de navigateur spécifique et vérifier ce numéro de version dans votre référentiel de code source, afin de pouvoir vérifier les anciens commits et branches et réexécuter les tests sur le binaire du navigateur à partir de ce moment.

Rien de tout cela n'est possible avec un binaire de navigateur à mise à jour automatique.

Conçu pour résoudre ces problèmes, Chrome for Testing est une version dédiée de Chrome ciblant le cas d'utilisation de test, sans mise à jour automatique.

Le moyen le plus simple pour télécharger Chrome for Testing est d'utiliser l'outil en ligne de commande puppeteer/browsers disponible via rpm. Par exemple :

# Download the latest available Chrome for Testing binary corresponding to the Stable channel.
npx @ puppeteer/browsers install chrome@ stable

# Download a specific Chrome for Testing version.
npx @ puppeteer/browsers install chrome@116.0.5793.0

# Download the latest available ChromeDriver version corresponding to the Canary channel.
npx @ puppeteer/browsers install chromedriver@ canary

# Download a specific ChromeDriver version.
npx @ puppeteer/browsers install chromedriver@116.0.5793.0

Live Unit Testing est en préversion dans Visual Studio

Soumis par fredericmazue le
IDE

Live Unit Testing est une fonctionnalité d'exécution automatique des tests dans Visual Studio Enterprise. Lorsque vous apportez des modifications au code, Live Unit Testing détecte les tests impactés et les exécute en arrière-plan. De cette façon, vous savez toujours si les tests couvrant une certaine ligne de code réussissent ou échouent.

Dans Visual Studio Enterprise 2022 version 17.2 Preview 2 et versions ultérieures, vous pouvez activer la nouvelle expérience Live Unit Testing dans Tools > Options > Preview Features. Activez l'option 'Nouvelle expérience de build pour Live Unit Testing'. cetet activation nécessitera un redémarrage de l'IDE. 

Commentaire actu

Veracode lance un nouvel outil de test DevSecOps : le « Pipeline Scan »

Soumis par admin le

Spécialement conçu pour évoluer dans un environnement DevSecOps, le Pipeline Scan s’intègre dans le pipeline CI/CD. Le pipeline CI/CD garantit une automatisation et une surveillance continues tout au long du cycle de vie des applications, des phases d'intégration et de test jusqu'au build et au déploiement. Ainsi, combiné au Pipeline Scan, l’approche CI/CD bénéficie systématiquement des résultats de tests à chaque fois que le code est modifié.

Le Scan Pipeline vient en soutien des développeurs, leur permettant de résoudre rapidement les problèmes de sécurité dans le pipeline, avec un délai moyen d’analyse de seulement 90 secondes, souligne Veracode.

Introduction au plug-in KotlinTest pour IntelliJ IDEA

Soumis par francoistonic le
Image
Image
Image
Image
Image
Image
Image
Image

Il existe deux frameworks de tests populaires dans la communauté Kotlin : KotlinTest et Spek. KotlinTest est utilisé par de gros projets open source tels que Arrow, et de par mon expérience, je sais qu’il est utilisé dans de grandes entreprises comme la Deutshe Bank et Barclays. Mais, de nombreux projets et développeurs continuent à utiliser JUnit ou les classes basiques telles que kotlin.test, livrées dans la librairie standard. Faisons un focus sur KotlinTest.

Par Stephen Samuel (1)

Les frameworks de tests, tels que ScalaTest, Specs2, Spocks, sont supportés par les IDE de JetBrains. Jusqu’à présent, KotlinTest était peu utilisé. Mais la situation change et un plug-in dédié est désormais disponible. Ce module s’installe facilement depuis le référentiel de plug-in JetBrains.

Attention : ce plug-in nécessite KotlinTest 3.3.1 (minimum).

Premier contact

Une fois installé et IDEA redémarré, vous allez voir un nouvel pictogramme sur votre éditeur.

En cliquant sur l’icône d’exécution, une fenêtre contextuelle d’exécution / debug apparaîtra. Les tests se lanceront et tous les tests définis pour ce contexte le seront aussi. Ainsi, vous pouvez exécuter un test ou une batterie de tests. Si vous utilisez JUnit, vous êtes en terrain connu.

Ces icônes sont générées pour tous les types de spécifications.

Créer d’un test

Peut-être connaissez-vous déjà les fonctions de création de tests (Create new test). Cette fonction est directement accessible via ctrl+shift+T, sur le nom d’une classe. Puis vous sélectionnez Create new test dans la fenêtre contextuelle.

A partir de là, nous aurons à l’écran l’ensemble des options disponibles pour préparer votre test. Vous pouvez décider si vous voulez insérer automatiquement les fonctions setup ou teardown. Dans KotlinTest, elles sont nommées beforeTest et afterTest.

Voici un petit exemple d’un fichier de tests créé automatiquement :

Le plugin rajoute aussi l’import shouldbe. Il s’agit de la fonction d’assertion la plus couramment utilisée.

Lorsque vous utilisez la fenêtre de dialogue Create Test, vous avez la possibilité de générer des tests stubs pour les fonctions présentes dans la classe que vous testez.

Si vous utilisez certaines de ces fonctions puis cliquez sur OK, le fichier de test aura des tests vierges prêts à l’emploi. Par exemple :

Notez que les tests générés reprennent le style de tests que vous aurez choisi. Si vous avez sélectionné FeatureSpec, les tests seront générés de manière compatible avec ce style.

Aller aux sources

Une fois le test exécuté, il est possible de passer directement aux sources d’un test, qu’il ait réussi ou échoué.

Pour cela, il suffit de sélectionner l’option Jump to source.

Intentions

Les intentions sont des suggestions contextuelles que l’éditeur fait aux développeurs. Elles incluent la possibilité d’encercler les instructions avec assertSoftly, d’ajouter des assertions de gestion des exceptions, d’activer un test, etc.

Mettez en surbrillance un code et ouvrez la fenêtre des suggestions : alt+entrée. L’éditeur affiche alors l’ensemble des intentions disponibles.

Si vous sélectionnez une intention, les instructions surlignées seront placées à l’intérieur d’un lambda.

Vous pouvez aussi très rapidement activer ou désactiver un test en plaçant la souris sur le nom du test et afficher les intentions.

Si vous ne le savez pas, les tests avec le préfixe ! sont automatiquement ignorés. Pour en savoir plus sur cette particularité : https://proandroiddev.com/kotlintest-pro-tips-54ce19c32c68

Bref, avec ce plug-in, le développeur Kotlin devient encore plus productif avec l’insertion rapide de tests. Et encore, nous n’avons pas évoqué l’ensemble des possibilités !

Pour en savoir plus :

https://kotlinlang.org/api/latest/kotlin.test/index.html

(1) Traduit et adapté de l’Anglais par François Tonic / Programmez!

Atelier STAMP : l’état de l’art des tests automatiques Java

Soumis par francoistonic le

Destiné aux chercheurs, développeurs et testeurs java, cet atelier offre l'occasion unique d’interagir avec les concepteurs d’outils du projet H2020 STAMP !

Venez avec votre suite de tests java sur votre ordinateur portable. Démonstrations et tutoriels permettront d’échanger concrètement autour des meilleures pratiques.

Les participants ont la possibilité de s’inscrire à la campagne de beta test et de contribuer aux outils STAMP conçus pour réduire les erreurs et éliminer des pannes d’applications Java. En particulier :

• DSpot aide les développeurs et testeurs à amplifier leurs tests en place.

• Descartes est un plugin Pitest qui fournit plus rapidement des résultats d’analyse de tests par mutation et des pistes d’action.

• CAMP épaule les développeurs en amplifiant leurs tests de configuration en environnement docker.

• Botsing procure au développeur le moyen de reproduire les crashes à l’exécution.

Enregistrement gratuit mais obligatoire en ligne : https://www.stamp-project.eu/view/Blog/STAMP_Workshop_Sophia_Antipolis

Date : mercredi 30 janvier 2019, de 13:30 à 18:30 

Lieu :
Inria
2004 Route des Lucioles
06902 Sophia-Antipolis 

François Tonic

Soirée Mutation Testing au ParisJUG le 24 octobre 2018

Soumis par fredericmazue le

Cette soirée se déroulera le mardi 9 octobre dans les locaux de Henix. Les inscriptions sont ouvertes ici.

Voici l'agenda complet de la soirée :

9h15 à 19h30 : Accueil

19h30 - Making Mutants work for you

par Henry Coles

Mutation testing is a once obscure development technique that dates back to the 1970s. It deliberately introduces bugs into your code, then sees if your tests can find them.

Thanks to the open source tool pitest mutation testing has recently become much more widely used in the Java community. When people talk about mutation testing they often talk about "100% code coverage" but is this what it is really about? This session will cover the theory behind mutation testing and how to use it, but most importantly it will look at what it's really for and how it can make your life easier.


20h30 à 21h00 : Buffet offert par le ssponsors de l'événement.

21h00 - New types of tests for Java projects

par Vincent Massol

This talk will demonstrate advanced testing practices coming from the STAMP research project and applied to the XWiki open source project:


22h00 à ... : 3ème mi-temps des juggers dans un lieu sélectionné par votre Crew ;-)

Des tests plus intelligents avec la nouvelle version de LabVIEW NXG

Soumis par fredericmazue le

NI lance une nouvelle version de LabVIEW NXG, la nouvelle version du logiciel de conception de système LabVIEW. Grâce à LabVIEW NXG, les ingénieurs peuvent maintenant effectuer des tests plus intelligents : installation rapide de des instruments, personnalisation de des tests aux spécifications de votre matériel, et visualisation facile des résultats à partir de n'importe quel navigateur Web, et de n'importe quel matériel.

Cette version de LabVIEW NXG introduit de nouvelles fonctionnalités clés et réinvente des capacités qui depuis longtemps apportent un avantage aux ingénieurs qui développent, déploient et gèrent des systèmes de test et de mesure automatiques, souligne l'éditeur. Avec le WebVI, cette nouvelle version fournit désormais un type de VI qui permet de construire des interfaces utilisateurs (IU) Web déployables sur tous les navigateurs Web (sur PC, tablette ou smartphone) et qui ne requiert pas de plugin ou d'installeur. De plus, la nouvelle fonction SystemDesigner permet d'écourter le temps de configuration du matériel du fait de la reconnaissance automatique du matériel connecté, de l'affichage des drivers installés et des liens redirigeant vers les drivers d'instruments NI et de tiers s'ils ne sont pas encore installés.

D'autre part, cette toute dernière version étend le support matériel à des milliers d'instruments ainsi qu'à l'instrumentation modulaire NI haute performance au format PXI. LabVIEW NXG fournit également des capacités de programmation, notamment la programmation et l'intégration orientées objets avec TestStand, le logiciel de gestion de tests à la pointe de l'industrie.

Plusieurs fonctionnalités de LabVIEW NXG telles que le WebVI sont conçues pour fonctionner avec les applications LabVIEW existantes sans besoin de refactorisation importante du code. Les ingénieurs peuvent réutiliser le code de test, notamment du code écrit avec LabVIEW NXG ou LabVEW, à l'aide d'une nouvelle interface de gestion de packages reposant sur des formats de package standards de l'industrie.

« En construisant des systèmes de test à l'aide de LabVIEW et LabVIEW NXG, je peux utiliser les deux versions et tirer parti des forces propres à chacune, » explique Brian Hoover, architecte de logiciels de tests chez Samsung SDI. « Avec les tout derniers développements de LabVIEW NXG, je peux intégrer de nouveaux modes de visualisation des données dans mes applications LabVIEW existantes, à savoir une interface utilisateur graphique vectorielle sur le bureau ou alors l'affichage dans un navigateur pour bénéficier d'un hébergement sécurisé, et ainsi simplifier la création de rapports de résultats de tests. »

Pour évaluer LabVIEW NXG, rendez-vous sur www.ni.com/fr-fr/shop/labview/labview-nxg.html

PragmaDev met à disposition des exécutables pour tester la conformité au SIP de l’ETSI

Soumis par fredericmazue le

Les outils de modélisation et de test PragmaDev Studio sont basés sur des technologies pour décrire les interactions entre différentes entités génériques. La technologie utilisée dans le module PragmaDev Tester est celle retenue par l’ETSI (Institut Européen de Standardisation des Télécommunications) pour publier les tests de conformité à ses protocoles.

Le Session Initiation Protocol (SIP) est un protocole pour les communications multimédia sur Internet. SIP est un protocole basé sur du texte et le standard définit le format des messages échangés aussi bien que la séquence de ces messages.

L’ETSI a publié les test de conformité au format TTCN-3 (Testing and Test Control Notation Version 3). Les cas de test contiennent quelques erreurs mineures qui ont été corrigées par l’équipe de PragmaDev. Le code C++ a été généré avec l’outil PragmaDev Tester et compilé avec GCC (GNU C Compiler). L’exécutable comprend une interface en ligne de commande pour sélectionner le cas de test à exécuter. Un fichier journal est généré qui indique quels sont les cas de test qui sont bien passés ou pas. L’interface avec le système sous test (SUT) est basé sur des socket ce qui permet l’exécution des cas de test sur pratiquement n’importe quel ordinateur. Les paramètres de test sont définis dans un fichier qui peut être édité avec la version gratuite de PragmaDev Studio.

L’exécutable généré est en libre téléchargement et libre d’utilisation sur le site de PragmaDev.