SprayOpoivre/project_codeNet_translation_go_cpp

1# 📂 Translation_go_into_cpp2 3Bienvenue sur la base de données `Translation_go_into_cpp`.4 5Ce dataset regroupe des traductions de code en trois langages de programmation : Go, Python et C++.  6Chaque ligne contient un script go, et une traduction de celui ci, soit en python, soit en C++.7 8L'objectif principal de ce dataset est de fournir une base propre et nettoyée pour l'entraînement 9de modèles de type LLM (Large Language Models) dans des tâches de traduction **Go ↔ C++**.10 11---12 13## 📊 Source de données14 15Le dataset a été construit à partir de la base de données originale **Project CodeNet** mise à disposition par IBM :  16🔗 [Project CodeNet - DAX](https://dax-cdn.cdn.appdomain.cloud/dax-project-codenet/1.0.0/readme.html)17 18---19 20## 🧹 Prétraitements appliqués21 22- Élimination des lignes avec plus de 2 champs vides.23- Limitation de la taille des codes à **1000 tokens maximum** (sur base de tokenisation simple par espaces).24- Vérification syntaxique des codes Python (`ast.parse()`).25- Élimination des doublons exacts sur l'ensemble des lignes.26 27---28 29## 🧱 Structure des données30 31Le dataset contient les champs suivants :32 33| Field name | Type   | Description |34|------------|--------|-------------|35| id         | string | Identifiant unique de l'exemple |36| name       | string | Thème ou nom de l'algorithme |37| Go         | string | Code source en langage Go |38| C++        | string | Code source en langage C++ |39| Python     | string | Code source en langage Python |40 41---42 43## 💻 Exemple de ligne44 45```json46{47  "id": "abc123",48  "name": "fibonacci",49  "Go": "func fibonacci(n int) int { ... }",50  "C++": "int fibonacci(int n) { ... }",51  "Python": ""52} 53```54 55 56 57## 💻 Auteurs58 59Git : Nicolaevitch