Logiciels développés
Dans le cadre de mes travaux de recherche, j'ai participé au développement et ou développés plusieurs logiciels :
- WikiBridge, un wiki sémantique basé sur MediaWiki, cette plateforme à été utilisée pour développer :
- SNFreezer une plateforme robuste pour la collecte de tweets à grande échelle, utilisée pour plusieurs collectes dans des projets interdisciplinaires.
SNFreezer support un fonctionnement en mode cluster et propose un mécanisme de reprise sur panne. Ces propriétés ont été testées lors de collectes de durées
de 1 à 6 mois avec ces volumes allant de 50 Go à de plus de 5 To de données. SNFreezer a été développé avec un étudiant de Master 2 en stage et avec
la collaboration d'un doctorant - durée de développement 80 jours
- La version 1.0 supporte le stockage dans PostgreSQL (schéma normalisé ou non), MySQL (cache) et Neo4j
- La version 2.0a permet le stockage sur cluster Hadoop/HDFS dans le format JSON et ajoute le support du modèle intermédiaire TDM.
Cette version est en test sur un cluster Hadoop, 224 coeurs, 1,2To RAM, 96To de stockage hébergé au Data Center de l'Université de Bourgogne. Les analyses de données sont réalisées avec Spark et R.
