A l’occasion de la sortie d’Intel Parallel Studio et des nombreuses avancées que les éditeurs préparent pour 2009 et 2010, Programmez ! vous propose de mieux comprendre la programmation adaptée aux processeurs à plusieurs coeurs. C’est ce que l’on appelle la programmation parallèle. C’est- à-dire capable d’exécuter plusieurs opérations, instructions, parallèlement sur plusieurs processeurs ou plusieurs coeurs. Complexe à maîtriser, le parallélisme est le mont Everest du développement. Nous vous proposons de l’aborder méthodiquement en posant les fondamentaux pour bien l’assimiler et éviter les erreurs les plus classiques. Vous verrez alors que l’on peut faire exploser les performances de certaines portions de son code ! Bonne découverte !

En 1965, Gordon Moore (cofondateur d’Intel) observait que le nombre de transistors contenus dans un semi-conducteur disponible sur le marché, doublait tous les 18 à 24 mois. C'est de ce constat empirique qu'est née la loi de Moore. En d’autres termes, les capacités techniques des ordinateurs s’amélioraient régulièrement, permettant aux programmes informatiques d'en tirer parti sur le plan de la rapidité d’exécution sans grandes modifications (souvent aucune). Ce constat a fait le bonheur de plusieurs générations d'informaticiens, au point que certains appelaient ce phénomène le " free lunch ". A cette époque, les fondeurs basaient le plus gros de leur discours marketing sur une course au Giga- Hertz, chacun se vantant d’aller plus vite que l’autre Depuis quelque temps, vous avez sans doute remarqué l'apparition de processeurs multi-coeurs allant de deux à quatre coeurs dans les offres constructeurs grand public. Cependant, vos applications ne tournent sans doute pas plus vite sur ce type de matériel. En effet les systèmes d'exploitation, les applications d'aujourd'hui ne sont pas adaptés pour tirer parti efficacement d'une archi tecture multi-coeur. Autrement dit, cette évolution matérielle n'est pas forcément vécue comme un gain important par les utilisateurs.

Pourquoi les fondeurs ont-ils changé de paradigme ?

Depuis quelques années les constructeursont été confrontés à des contraintes physiques fortes (chaleur & consommation) qui ne permettaient plus d'améliorer leurs offres en restant sur les mêmes bases techniques. Par exemple, Intel avait prédit dès 2006 que la température de ses puces reposant sur la microarchitecture Netburst (Pentium IV) atteindrait environ 6000 degrés en 2015, soit environ la température à la surface du soleil. Ne pouvant plus croître sur le plan des Hertz, les constructeurs ont choisi de répartir la puissance sur plusieurs coeurs au sein d'un même processeur (architecture multi-coeur). La course aux Hertz est donc terminée, place à la course au nombre de coeurs ! Dès aujourd'hui, les constructeurs de microprocesseurs disposent de nouvelles plates-formes sachant grandir facilement en nombre de coeurs tout en améliorant les performances de l'infrastructure interne du processeur lui-même. Le tout dernier processeur Intel Core i7 (Nehalem) rencontre déjà un franc succès auprès de constructeurs d'or-

1re partie

dinateurs. Les ordinateurs de demain seront donc massivement multicoeurs (supérieur à 8 coeurs), les américains parlent du passage du Multi-core au Many-core, ce qui peut sembler une bonne nouvelle.

Les systèmes d'exploitation sont déjà en cours d'adaptation

De leur côté, les éditeurs de systèmes d'exploitation sont conscients que leurs produits ne sont plus adaptés pour exploiter correctement ces nouvelles architectures matérielles. Les prochains systèmes profiteront de ces nouvelles offres qui aujourd'hui peuvent sembler exagérées au regard des besoins actuels, mais n'oublions pas que le monde change et que les progrès techniques ont toujours été porteurs d'innovations qui aujourd'hui nous apparaissent normales. A titre d’exemple, dans sa version 64 bits, le prochain système Windows sera capable de gérer pleinement 256 coeurs. Nous comprenons mieux avec cet exemple la nouvelle appellation Many-core pour qualifier des matériels regorgeant de coeurs.

The free lunch is over

Dès 2005, Herb Sutter, célèbre architecte C++ de Microsoft, annonçait "The free lunch is over". Autrement dit, les gains de performances de vos applications constatés sur les nouveaux matériels sont terminés. C'est donc aux développeurs de réviser leurs codes pour retrouver de la puissance. Dans ce contexte, pouvons- nous affirmer que le " free lunch " est définitivement révolu ? Pour enrayer cette catastrophe, devons nous engager une révision radicale dans nos pratiques de développement ?

Conséquences pour les développeurs

Pourquoi peu de développeurs connaissent la programmation parallèle ? Pour les développeurs, la prise en compte effective de ce changement technologique peut se révéler très compliquée. Rappelons qu'il y a déjà une petite vingtaine d’années que les techniques de multithreading se sont intégrées dans un écosystème fortement séquentiel. Néanmoins, les détracteurs du parallélisme peuvent trouver de nombreuses raisons pour ne pas s'adapter à cette nouvelle donne. La culture séquentielle à l’origine de l’informatique peut être considérée comme la plus légitime. Nous sommes aussi certains que le cerveau humain éprouve des difficultés à raisonner en multitâche ce qui peut être vu comme un frein pour le passage en mode parallèle. Aujourd’hui, nous pouvons reconnaître que les environnements de programmation comme les outils, les librairies, offrent peu d’adhérence avec ces concepts. Alors, comment s’assurer que la mise en parallèle de certaines parties du système est à la fois fiable et pertinente vis-à-vis du langage de programmation et de l’infrastructure matérielle ? Définir avec certitude que les notions d’isolation, d’immuabilité ou de synchronisation sont correctement exprimées vis-à-vis du problème posé au regard des environnements, des langages, des outils, sont des préoccupations essentielles que nous abordons difficilement, faute d’un outillage adapté. Dans le cas des langages C et C++ où l’héritage d’une culture séquentielle se comprend facilement (le langage C est issu d’une philosophie très système inspirée par la plate-forme UNIX AT&T originelle où la notion de multithreads n’existait pas) mais dont l’adaptation au multithreading est venue se superposer à un existant séquentiel donnant lieu à un jeu d’API rudimentaires difficilement compréhensibles pour le développeur non système. Initialement, la notion de thread à été introduite pour offrir aux développeurs un moyen de paralléliser du code sans avoir à créer plusieurs processus systèmes (très coûteux sur le plan des ressources du système d'exploitation). On constate avec le recul que de nombreux environnements se sont inspirés des interfaces vétustes originelles, plaçant le multithreading au rang des technologies réservées aux experts.

Les principaux écueils de la programmation parallèle ?

Après 20 ans de multithreading, nous pouvons reconnaître que les modèles parallèles sont à la fois peu répandus, peu connus, et difficiles à implémenter. Pour un novice en développement parallèle, Il est très facile de provoquer de nombreux problèmes potentiels sans forcément les constater. En effet, l'exécution parallèle ne nous offre pas de certitude sur l'ordre d'exécution des instructions associées aux threads courants : le principe d'incertitude énoncé par Heisenberg défini en physique quantique à été renommé Heisenbug pour qualifier ce principe en informatique. En d'autres termes, toute ressource partagée par plusieurs threads doit faire l'objet d'une protection, sinon gare aux incohérences des résultats. Pour illustrer la dimension des difficultés rencontrées, nous pouvons citer les erreurs les plus courantes en programmation parallèle :

Race condition
Le code C# ci-dessous, pourtant très simple est tout de même faux dans le cas où la propriété Status est plongée dans plusieurs threads parallèles.

Si de nombreux threads appellent simultanément cette propriété, l'exécution se déroulera souvent correctement mais parfois l'incrémentation sera fausse lorsque les threads se chevaucheront sur l'instruction d'incrémentation. De nombreux développeurs imaginent que l'opérateur d'incrémentation est atomique alors qu'il n’en est rien comme le montre le code assembleur.

Le danger est que cette erreur est silencieuse et il est possible que personne ne la relève avant longtemps. Imaginez le cas où notre valeur représente le prix d'un produit financier, les conséquences pourraient être graves. La race condition, est sans doute l'erreur la plus populaire dans la programmation parallèle. Pour corriger notre code il nous suffit de remplacer notre opérateur d'incrémentation par une méthode InterLocked. Increment(ref _status) qui nous assure une exécution atomique. Cependant, les ressources à protéger ne sont pas toujours des entiers, mais sont souvent des types complexes. Dans ce cas, nous ferons appel à un outillage de synchronisation plus polyvalent. En contrepartie, ces outils peuvent occasionner de nombreux problèmes qui aboutissent parfois à des codes parallèles plus lents que leurs équivalents séquentiels. Voici d'autres exemples souvent rencontrés dans le cadre la programmation parallèle.

Bruno Boucard

IntelliJ IDEA 12.1

Intel : vers de meilleurs expériences mobiles

Arrêtez le chasse-neige, programmez parallèle avec TBB
Threading Building Block est une librairie qui a pour but d'offrir une interface agréable pour les développeurs en C++ qui souhaitent paralléliser leur code. Agréable, car vous avez la liberté de rester à un haut niveau d'abstraction, garder une formulation objet fonctionnelle et de ne pas vous intéresser aux détails d'implémentation. Le croirez-vous, modélisation objet et performance ne sont cette fois-ci pas incompatibles, bien au contraire. Le fait de définir avec précision les données du problème en mode objet sans entrer dans les détails techniques donne à la librairie tout ce dont...

Pourquoi passer à la programmation parallèle ? (2ème partie)
Nous poursuivons ce mois-ci les raisons pour passer à la programmation parallèle et surtout les pièges à éviter et à maîtriser. Et ils sont nombreux ! Deadlock Parfois nommé étreinte fatale, le deadlock est provoqué par des threads mutuellement verrouillés. Cette situation peut être comparée à deux personnes dessinant des diagrammes tout en se partageant un crayon et une règle. Si une personne prend le crayon et l'autre prend la règle, un blocage se produit lorsque la personne avec le crayon a besoin de la règle pour terminer son travail alors que la personne avec la règle a besoin...

Pourquoi passer à la programmation parallèle
A l’occasion de la sortie d’Intel Parallel Studio et des nombreuses avancées que les éditeurs préparent pour 2009 et 2010, Programmez ! vous propose de mieux comprendre la programmation adaptée aux processeurs à plusieurs coeurs. C’est ce que l’on appelle la programmation parallèle. C’est- à-dire capable d’exécuter plusieurs opérations, instructions, parallèlement sur plusieurs processeurs ou plusieurs coeurs. Complexe à maîtriser, le parallélisme est le mont Everest du développement. Nous vous proposons de l’aborder méthodiquement en posant les fondamentaux pour bien l’assimiler et éviter...

Version finale : Intel Parallel Studiodébarque
La programmation est l’art de schématiser et simplifier un processus pour l’automatiser. Nous aboutissons donc le plus souvent à un code sériel. Avec l’arrivée de puces multi-core, et bientôt massivement multi-core cette approche atteint ses limites : Il vous faut passer à la programmation parallèle. N’ayez crainte, Intel est là pour vous aider avec un ensemble logiciel aussi convivial que complet : Intel Parallel Studio. Le parallélisme se conçoit à plusieurs niveaux, mais celui qui nous intéresse ici est le " thread ". Intel Parallel Studio est un ensemble de logiciels pour vous aider à...

Intel Parallel Studio : Vous ne reconnaîtrez plus votre C++
Dans les deux précédents articles sur Intel Parallel Studio, nous nous sommes intéressés aux outils Inspector et Amplifier qui permettent respectivement de corriger et accélérer vos logiciels parallèles. Mais nous n'avons pas encore abordé Composer, qui est le compilateur associé à diverses librairies comme Intel Threading Building Blocks et Intel Performance Primitives (TBB et IPP). De nos jours, un compilateur ne peut se contenter de produire un binaire minimaliste, même optimisé. Il doit vous aider à adopter une syntaxe plus claire, apporter un éclairage nouveau sur votre code et...

Plus de coeurs, plus rapide, plus scalable : du multi-core au " many-core ”
Ecrire des applications parallèles se simplifie, et nous avons vu précédemment que chasser les bugs parallèles était rapide et intuitif avec Intel Parallel Inspector. Reste maintenant le principal problème : utiliser pleinement tous les coeurs simultanément. Une station de travail multi-core a typiquement 8 coeurs, 16 vus par l’OS avec la nouvelle technologie SMT (Simultaneous Multi Threading) et dans l’avenir beaucoup plus. Le consensus actuel dans l’industrie des processeurs est que les gains de performance viendront essentiellement par l’ajout de coeurs : nous sommes à l’orée de l’ère...

La chasse aux bogues parallèles avec Intel Parallel Inspector
Nous avons été formés à programmer en mode sériel et passer à la programmation parallèle n'a rien d'évident, mais plusieurs technologies existent pour vous faciliter la vie : Intel Threading Building Blocks ou le standard OpenMP par exemple. Une fois les concepts de base assimilés, implémenter un programme parallèle qui utilise à peu près efficacement un processeur à deux ou quatre coeurs va assez vite si votre algorithme s'y prête. Mais il est surtout très facile de transformer un logiciel sériel sans bogue en un logiciel multithreadé fortement bogué sans que ce soit évident, ni à...

Intel Parallel Studio: simplifier le développement parallèle !
Alors que les processeurs multi-cores (multi-coeurs) prolifèrent, améliorer les performances logicielles, et mieux utiliser la puissance processeur, demeure un enjeu important pour rester compétitif, surtout pour les applications développées en C ou C++. Mais jusqu’à présent le développement parallèle restait complexe à aborder pour le développeur. Programmez ! vous invite à découvrir en avant-première la nouvelle solution Intel, avec un tout nouveau plug-in Visual Studio, qui va radicalement changer votre vision du développement parallèle. L’année 2009 sera non seulement l’année de la...