FerasM10/AI-labeling-framework

AI Model Evaluation Framework

Ein interaktives Web-Framework zur Bewertung von KI-Modellen mit automatischer Label-Generierung.

Übersicht

Das AI Model Evaluation Framework ist eine umfassende Lösung zur Bewertung von KI-Modellen basierend auf verschiedenen Metriken wie Qualität, Ressourcenverbrauch, Robustheit und Komplexität. Das Framework generiert automatisch AI Labels im Stil von Energieeffizienz-Labels, die eine schnelle visuelle Bewertung der Modellleistung ermöglichen.

Features

Funktionale Anforderungen

1. 1.Task-Auswahl: Dropdown mit allen verfügbaren KI-Tasks (Image Classification, Robustness Evaluation, etc.)
2. 2.Dataset-Auswahl: Dynamisch gefiltert nach gewähltem Task mit Metadaten
3. 3.Modell-Auswahl: Alle für das Dataset verfügbaren Modelle mit Informationen
4. 4.Metriken-Auswahl: Gruppierte Metriken (Quality, Resources, Robustness, Complexity)
5. 5.Gewichtung: Slider für Metrik-Gewichtung mit automatischer Normalisierung
6. 6.Label-Generierung: Automatische Erstellung von AI Labels als PNG
7. 7.Backend-API: Vollständige REST API mit FastAPI
8. 8.Responsive Frontend: Moderne, benutzerfreundliche Oberfläche

Technische Features

• —Modulare Architektur: Erweiterbar für neue Tasks, Datasets und Metriken
• —Clean Code: Lesbarer, wartbarer Code mit umfassender Dokumentation
• —Docker Support: Einfache Deployment-Optionen

Verwendung

Schritt-für-Schritt Anleitung

1. 1.Datenbank auswählen: Wählen Sie den Datenbank aus
2. 2.Dataset auswählen: Wählen Sie ein Dataset für den ausgewählten Datenbank
3. 3.Task auswählen: Wählen Sie einen Task für den ausgewählten Dataset
4. 4.Umgebung auswählen: Wählen Sie einen Umgebung für das ausgewählte Task
5. 5.Modell auswählen: Wählen Sie ein Modell aus der Liste der verfügbaren Modelle
6. 6.Metriken auswählen: Wählen Sie die Metriken aus, die bewertet werden sollen
7. 7.Gewichtung anpassen: Passen Sie die Gewichtung der Metriken an (Summe muss 1.0 ergeben)
8. 8.AI Label generieren: Klicken Sie auf "AI Label generieren" um das Ergebnis zu erstellen

Metrik-Gruppen

• —Quality: Qualitätsmetriken wie Accuracy, Precision, etc.
• —Resources: Ressourcenverbrauch wie Energie, Laufzeit, etc.
• —Robustness: Robustheitsmetriken gegen Adversarial Attacks
• —Complexity: Komplexitätsmetriken wie Parameteranzahl, FLOPs, etc.

Gewichtung

Die Gewichtung bestimmt, wie wichtig jede Metrik für den Gesamtscore ist. Die Summe aller Gewichte muss 1.0 ergeben. Höhere Gewichte bedeuten, dass die entsprechende Metrik stärker in den Gesamtscore einfließt.