intelligence artificielle

Hallucinations de ChatGPT : deux avocats condamnés à 5000 dollars d'amende

Soumis par fredericmazue le

Fin mai nous vous rapportions que ChatGPT, qui a de lourdes tendances aux hallucinations, avait inventé de toutes pièces des cas de jurisprudences, bernant ainsi deux avocats américains qui étaient de bonne foi, mais pas assez méfiants.

Le juge qui avait découvert que les jurisprudences exposées par les deux avocats étaient totalement bidon avait promis de sévir. C'est chose faite selon The Guardian.

Le juge a déclaré que les progrès technologiques sont monnaie courante et il n'y a rien de fondamentalement inapproprié à utiliser un outil d'intelligence artificielle fiable pour l'assistance. Mais les règles existantes imposent un rôle de contrôle aux avocats pour garantir l'exactitude de leurs documents. Pour ce juge les avocats et leur cabinet ont abandonné leurs responsabilités lorsqu'ils ont soumis des avis judiciaires inexistants avec de fausses citations et citations créées par l'outil d'intelligence artificielle ChatGPT, puis ont continué à respecter les faux avis après que des ordonnances judiciaires ont remis leur existence en question.

En conséquence de quoi les avocats ont été condamnés à 5000 dollars d'amende.

OpenAI poursuivie en diffamation en raison des hallucinations de ChatGPT

Soumis par fredericmazue le

Car oui ChatGPT a des hallucinations. Qui peuvent servir de vecteurs pour des cyberattaques, ou dans le cas présent peuvent amener la société créatrice OpenAI devant les tribunaux.

A lire sur Gizmodo. Mark Walters, un animateur radio américain, a porté plainte contre OpenAI car ChatGPT a fourni à un journaliste, qui avait demandé un résumé de l'affaire The Second Amendment Foundation contre Robert Ferguson, une réponse déclarant que Walters détournait des fonds de The Second Amendment Foundation (SAF), une association de défense du port d’armes.

ChatGPT a identifié Walters comme le trésorier et directeur financier de SAF. Walters, selon ChatGPT, "a détourné des fonds pour des dépenses personnelles sans autorisation ni remboursement, a manipulé des dossiers financiers et des relevés bancaires pour dissimuler ses activités et n'a pas fourni de rapports financiers précis et opportuns".

Mais Walters prétend qu'il n'aurait pas pu détourner ces fonds parce qu'il n'est pas et n'a jamais été le trésorier ou le directeur financier de SAF. En fait, il ne travaille pas du tout pour la fondation. Une lecture attentive de la plainte SAF contre Ferguson ne montre aucun signe du nom de Walters dans ses 30 pages. Cette plainte n'a rien à voir avec les revendications comptables financières du tout. ChatGPT a halluciné le nom de Walters dans son récit d'un véritable document juridique, rapporte Gizmodo.

L'avocat de Walters a déposé une plainte en diffamation devant la Cour supérieure du comté de Gwinnett. la plainte dit en substance : "Chaque déclaration de fait dans le résumé concernant Walters est fausse".

Gizmodo s'est entretenu avec un expert juridique au sujet de cette plainte en diffamation contre OpenAI. Selon cet expert, la plainte de Walters représente probablement la première de ce qui pourrait être une litanie de poursuites judiciaires visant à poursuivre les sociétés d'intelligence artificielle en justice.

Hallucinant... ChatGPT vecteur de cyberattaque

Soumis par fredericmazue le

L'intelligence artificiellle en général et ChatGPT en particulier sont à la mode en ce moment, c'est le moins que l'on puisse dire. Beaucoup y voient un outil génial, mais d'autres sont moins optimistes et sentent arriver les problèmes. Il est souvent mis en avant que l'intelligence articielle et ChatGPT peuvent aider les développeurs et le monde de l'informatique. Mais si ChatGPT était aussi un vecteur de cyberattaque ?

C'est ce que l'on apprend à la lecture d'un long billet écrit par l'équipe de recherche Voyager18 de Vulcan Cyber qui nous fait découvrir une attaque d'un nouveau genre : l'attaque par hallucination :-)

Le billet plante le décor ainsi : "ChatGPT peut offrir des solutions de codage, mais sa tendance à l'hallucination offre une opportunité aux attaquants. [...] Dans nos recherches, nous avons découvert que les attaquants peuvent facilement utiliser ChatGPT pour les aider à diffuser des packages malveillants dans les environnements des développeurs.“

Les chercheurs expliquent avoir vu ChatGPT générer des URL, des références et même des bibliothèques de code et des fonctions qui n'existent pas réellement. Si ChatGPT fabrique des bibliothèques de code (paquets), les attaquants pourraient utiliser ces hallucinations pour diffuser des paquets malveillants sans utiliser de techniques familières comme le typosquattage ou le masquage.

Ces techniques sont suspectes et déjà détectables. Mais si un attaquant peut créer un package pour remplacer les « faux » packages recommandés par ChatGPT, il peut être en mesure d'amener une victime à le télécharger et à l'utiliser.

L'impact de ce problème devient clair si l'on considère que, alors qu'auparavant les développeurs recherchaient des solutions de codage en ligne (par exemple, sur Stack Overflow), beaucoup se sont maintenant tournés vers ChatGPT pour obtenir des réponses, créant une opportunité majeure pour les attaquants.

Les chercheurs précisent : La technique repose sur le fait que ChatGPT, et probablement d'autres plates-formes d'IA générative, répond parfois aux questions avec des sources, des liens, des blogs et des statistiques hallucinés. Il générera même des correctifs douteux pour les CVE et, dans ce cas précis, proposera des liens vers des bibliothèques de codage qui n'existent pas réellement.

En utilisant cette technique, un attaquant commence par formuler une question demandant à ChatGPT un package qui résoudra un problème de codage. ChatGPT répond alors avec plusieurs packages, dont certains peuvent ne pas exister. C'est là que les choses deviennent dangereuses : lorsque ChatGPT recommande des packages qui ne sont pas publiés dans un référentiel de packages légitime (par exemple, npmjs, Pypi, etc.).

Lorsque l'attaquant trouve une recommandation pour un package non publié, il peut publier son propre package malveillant à sa place. La prochaine fois qu'un utilisateur pose une question similaire, il peut recevoir une recommandation de ChatGPT pour utiliser le package malveillant désormais existant. Nous avons recréé ce scénario dans la preuve de concept ci-dessous en utilisant ChatGPT 3.5.

Le billet, très intessant, détaille ensuite le modus operandi qu'un cyberattaquant pourrait suivre pour duper ses victimes.

[video:https://www.youtube.com/watch?v=AviiU5Ng62k autoplay:0]

Microsoft propose une CLI d'importation de données Azure ML

Soumis par fredericmazue le

Microsoft a annoncé la préversion publique de l'interface de ligne de commande et du SDK d'importation de données Azure Machine Learning (Azure ML), qui est conçue pour importer facilement des données à partir de référentiels de données qui ne font pas partie de la plateforme Azure pour la formation à Azure ML. Cela inclut des bases de données comme Snowflake et des services de stockage en nuage comme AWS S3.

Cette intégration permet aux scientifiques des données d'importer directement des données depuis Snowflake, éliminant ainsi le besoin d'une communication constante avec les équipes d'ingénierie des données. Chaque importation crée une version unique de l'ensemble de données qui est à son tour utilisée dans les tâches de formation, offrant aux data scientists la traçabilité requise dans les scénarios nécessitant une nouvelle formation ou pour les audits de modèles.

Ce billet de Microsoft explique comment mettre en oeuvre cette CLi d'importation de données.

Quand ChatGPT invente des cas de jurisprudence...

Soumis par fredericmazue le

Lu sur The Verge qui s'appuie sur un article du New York Times. Des avocats devaient étayer la plainte de leur client après qu'un chariot en métal a heurté le genou de ce dernier dans un aéroport. Ils ont donc recherché des affaires similaires dans lesquels les plaignants auraient eu gain de cause, pour faire jouer la jurisprudence.

Un des collaborateurs du cabinet d'avocats a facilement trouvé de telles affaires en interrogeant ChatGPT. Seulement voilà, le juge new-yorkais chargé du dossier, P. Kevin Castel, n'a pas du tout apprécié... et écrit aux avocats du plaignant pour leur demander des explications : "six des arrêts invoqués renvoient à de fausses décisions de justice et mentionnent de fausses citations".

Le collaborateur fautif a exprimé d'immenses regrets auprès du tribunal lorsqu'il a compris son erreur. Il a expliqué n'avoir jamais utilisé ChatGPT auparavant, et ignorait qu'une partie des réponses fournies pouvaient être inventées.

Le collaborateur avait pourtant tenté de vérifier les réponses de ChatGPT, mais malheureseument en utilisant ChatGPT pour ce faire. Ainsi il a montré au tribunal des captures d'écran montrant des confirmations de ChatGPT quant à l'existence de ces arrêts totalement fantaisistes. ChatGPT mentionnant même deux sources : LexisNexis et Westlaw - deux bases de données référençant des décisions de justice. Mais les bases de données en question sont totalement vides des cas de jurisprudence cités.

Les avocats encourent une procédure disciplinaire de la part du tribunal de New York. Leur cas sera statué le 8 juin prochain.

IONOS intègre un générateur de texte par intelligence artificielle à son éditeur de site

Soumis par fredericmazue le

IONOS a ajouté une nouvelle fonctionnalité à sa solution de création de site MyWebsite Now, permettant ainsi à ses clients de profiter de l’intelligence artificielle (IA) pour générer du texte et des titres.

« Pour une entreprise technologique comme IONOS, l’intelligence artificielle n’est pas un outil nouveau. Cependant, nous sommes fiers d’intégrer cette technologie à nos produits, afin d’aider nos clients à proposer du contenu adapté à leur activité et à enrichir leur site Internet. L’IA permettra d’approfondir et d’accélérer la digitalisation des PME », déclare le PDG de IONOS, Achim Weiss.

Pour utiliser le générateur de texte par IA, les utilisateurs doivent simplement sélectionner la zone de texte qu’ils souhaitent modifier dans l’éditeur de site. Un menu      avec plusieurs icônes, dont  le générateur de texte par IA, apparaît alors. Il suffit de renseigner les informations sur le secteur d’activité et le sujet pour obtenir un résultat en quelques instants.

Quelques indications comme le thème et la longueur souhaitée suffisent également pour obtenir en quelques secondes un titre, qu’il est bien sûr possible d’ajuster à sa guise ensuite.

Une version bêta de cette nouvelle fonctionnalité, alimentée par l’API GPT-3.5-turbo d’OpenAI, est désormais disponible avec les packs MyWebsite Now Plus et Pro.

IONOS assure que la protection des données est une priorité pour l'entreprise. Ainsi, aucune donnée personnelle ne sera partagée avec Open AI et l’API utilisée ne sera pas programmée grâce aux informations et aux requêtes des clients IONOS.

Site : ionos.fr/site-internet/creer-un-site-internet

Dell Technologies et NVIDIA dévoilent le Project Helix

Soumis par fredericmazue le

Dell Technologies et NVIDIA annoncent une initiative commune visant à permettre aux entreprises de déployer et d’exploiter plus facilement l’IA générative avec modèles de langage sur site afin d’offrir rapidement et en toute sécurité un meilleur service client, des analyses stratégiques, un système de recherche à l’échelle de l’entreprise et de nombreuses autres fonctionnalités.

Project Helix offre un ensemble de solutions complètes basé sur l’infrastructure et les logiciels de Dell et de NVIDIA, avec une expertise technique et des outils prédéfinis. Il intègre un schéma directeur complet pour aider les entreprises à exploiter leurs données et à déployer plus facilement une IA générative de manière responsable et pertinente. 

« Project Helix offre aux entreprises des modèles d’intelligence artificielle spécialement conçus pour tirer parti plus rapidement et en toute sécurité, d’immenses quantités de données actuellement sous-utilisées », déclare Jeff Clarke, vice-président et co-chief operating officer de Dell Technologies. « Avec une infrastructure hautement évolutive et performante, les entreprises peuvent créer une nouvelle génération de solutions d’IA générative capables de réinventer leurs secteurs d’activités. » 

« Nous sommes à un moment historique, où les progrès incroyables de l’IA générative convergent avec la demande des entreprises qui souhaitent obtenir plus de résultats avec moins de moyens », affirme Jensen Huang, fondateur et CEO de NVIDIA. « Avec Dell Technologies, nous avons conçu une infrastructure extrêmement évolutive et très performante qui permet aux entreprises de transformer leur activité en utilisant leurs propres données de manière sécurisée pour la création et l’exploitation d’applications d’IA générative. » 

Project Helix simplifie les déploiements d’IA générative en entreprise grâce à une combinaison testée de matériels et de logiciels optimisés, tous disponibles auprès de Dell. Cela permet de convertir les données de l’entreprise en résultats pertinents et à forte valeur ajoutée, tout en préservant la confidentialité des données. Ces solutions permettront aux entreprises de déployer rapidement des applications d’IA personnalisées et de prendre des décisions éclairées issues de leurs propres données, pour développer et faire évoluer leurs activités. 

Schéma directeur pour l’IA générative sur site

Project Helix prendra en charge l’ensemble du cycle de vie de l’IA générative, depuis le provisionnement de l’infrastructure, la modélisation, l’apprentissage, le réglage fin, le développement et le déploiement d’applications jusqu’au déploiement de l’inférence et la rationalisation des résultats. Les modèles validés permettent aux entreprises de concevoir rapidement une infrastructure d’IA générative sur site à grande échelle. Les modèles validés permettent aux entreprises de concevoir rapidement une infrastructure d'IA générative sur site et à grande échelle.

Project Helix, assurent les deux partenaires, intègre la sécurité et la confidentialité dans les composants fondamentaux, tels que la vérification sécurisée des composants (Secured Component Verification). La protection des données sur site réduit les risques inhérents et aide les entreprises à répondre aux exigences réglementaires.

Disponibilité 

Les designs validés par Dell basés sur l’initiative Project Helix seront disponibles via les canaux de distribution habituels et via APEX à partir du mois de juillet 2023. 

Google va ajouter des fonctionnalités de codage IA à Colab

Soumis par fredericmazue le

Google a lancé Colab en 2017. Google Colab, ou Colaboratory, est un service cloud gratuit, basé sur Jupyter Notebook et permettant d'écrire du code Python dans un navigateur. Colab est un outil pour l'apprentissage automatique, l'analyse de données et, selon Mountain View, le moyen le plus simple de commencer à programmer en Python.

Google vient d'annoncer que Colab ajoutera bientôt des fonctionnalités de codage IA telles que l'achèvement de code, le langage naturel pour la génération de code et même un chatbot d'assistance au code. Colab utilisera Codey, une famille de modèles de code construits sur PaLM 2, qui a été annoncé lors de Google I/O 2023. Google précise que Codey a été affiné sur un grand ensemble de données de code de haute qualité sous licence permissive provenant de sources externes pour améliorer les performances des tâches de codage. De plus, les versions de Codey utilisées pour alimenter Colab ont été personnalisées spécialement pour Python et pour des utilisations spécifiques à Colab.

Plus d'informations ici.

Studio Bot, un compagnon de codage pour le développement Android

Soumis par fredericmazue le

Lors de Google I/O 2023, Google a présenté en avant-première Studio Bot, un outil alimenté par l'IA, qui comprend le langage naturel et qui est intégré Android Studio Hedgehog. Studio Bot est un compagnon de codage pour le développement Android. Il apporte une expérience conversationnelle dans Android Studio qui veut aider les développeurs à être plus productif en répondant aux requêtes de développement Android.

Selon Google, Studio Bot peut aider les développeurs Android à générer du code, à trouver des ressources pertinentes, à apprendre les meilleures pratiques et à gagner du temps.

Prudent, Google souligne Studio Bot est encore une expérience précoce et peut parfois fournir des informations inexactes, trompeuses ou fausses tout en les présentant avec confiance. Studio Bot peut vous fournir un code de travail qui ne produit pas la sortie attendue, ou vous fournir un code qui n'est pas optimal ou incomplet. Vérifiez toujours les réponses de Studio Bot et testez et examinez soigneusement le code pour détecter les erreurs, les bogues et les vulnérabilités avant de vous y fier.

Pour utiliser cet outil, il faut que le partage de données soit activé dans Android Studio. Ensuite Studio Bot se lance simplement ainsi : View > Tool Windows > Studio Bot.

[video:https://www.youtube.com/watch?v=kfbXQbt7TBg autoplay:0]

OpenAI propose un système de plugins pour ChatGPT

Soumis par fredericmazue le

OpenAI a récemment annoncé la prise en charge de plugins pour ChatGPT. Ces plugins connectent ChatGPT à des applications tierces, ce qui permet à ChatGPT d'interagir avec les API définies par les développeurs, améliorant ainsi les capacités de ChatGPT et lui permettant d'effectuer un large éventail d'actions. Grâce à ce système de plugins, il est possible de faire des choses comme :

  • Récupérer des informations en temps réel ; par exemple, les résultats sportifs, les cours boursiers, les dernières nouvelles, etc.
  • Récupérer les informations de la base de connaissances ; par exemple, documents d'entreprise, notes personnelles, etc.
  • Effectuer des actions au nom de l'utilisateur ; par exemple, réserver un vol, commander de la nourriture, etc.

Les développeurs de plugins exposent un ou plusieurs points de terminaison d'API, accompagnés d'un fichier manifeste standardisé et d'une spécification OpenAPI. Ceux-ci définissent la fonctionnalité du plugin, permettant à ChatGPT de consommer les fichiers et d'appeler les API définies par le développeur.

Ce système de plugins est pour l'instant au stade Alpha avec accès limité. Pour y accéder il est nécessaire de s'inscrire sur une file d'attente à partir de cette page du site d'OpenAI.