Le deuxième jour du séminaire sur la reproductibilité dans la science va bientôt commencer
http://www.recherche-reproductible.fr/rr-days/
Notes disponibles ici: https://notes.inria.fr/aFHpbyS0RaWaLPvg6qf6Gg
Résumé de la journée d'hier: https://social.sciences.re/@NRoelandt/109988076596972183
Actuellement en train de suivre un séminaire sur la reproductibilité dans la science.http://www.recherche-reproductible.fr/rr-days/
Je live pouete pas, je prends des notes dans le pad.
Mais @rcarto est dedans.
(Et coucou @RGrunblatt dans le chat 👋)
Notes disponibles ici: https://notes.inria.fr/aFHpbyS0RaWaLPvg6qf6Gg
Recherche Reproductible
Un réseau national de chercheurs pour la promotion de la recherche reproductible.Recherche Reproductible
Nicolas Roelandt :osgeo:
in reply to Nicolas Roelandt :osgeo: • • •11. **Fay Betsou**
"TBA"
12. **Florian Naudet**
"Reproducibility of experiments"
13. **François Ric**
"Reproductibilité en psychologie"
14. **Yoann Lafon**
"Reproductibilité expérimentale"
Nicolas Roelandt :osgeo:
in reply to Nicolas Roelandt :osgeo: • • •évoque les causes empêchant de reproduire des analyses biologiques
Nicolas Roelandt :osgeo:
in reply to Nicolas Roelandt :osgeo: • • •"Reproducibility of experiments in therapeutic research"
Problèmes à tous les étapes d'une étude:
manque de contrôle de la qualité des données, manque de puissance statistiques, p-hacking, biais de publication, problème de conflits d'intérêts, refus de permettre la réutilisation des données (Parasit award, prix des hôtes)
Complexité de partager les données de santé (sensibles)
Partagé <> réutilisé
Nicolas Roelandt :osgeo:
in reply to Nicolas Roelandt :osgeo: • • •Problème de réplicabilité en psycho : 1/3 à 1/2 résultats reproduits
Pb de reproductibilité directe: indicateurs et populations changent
Causes évoquées : liberté du chercheur (p-hacking), manque transparence, Harking, manque de puissance statistique
Solutions: pré-enregistement des études (évoqué hier), taille des échantillons a priori, transparence de la procédure,
partage matériel et données
Nicolas Roelandt :osgeo:
in reply to Nicolas Roelandt :osgeo: • • •Yoann Lafon: "Reproductibilité expérimentale"
DR Univ. Gustave Eiffel/LBMC: modélisation des chocs sur tissus biologiques
Comment croire les données/modèles ?
Base de données de tissus (Yamada) ?
Propriétés physiques des tissus humains => mesures des déformations
Promotion de la simulation : challenge C4BIO académique et industriel
Grande variabilité des protocoles !
équipes ne comprenaient pas les guidelines et les respectaient pas (pensaient faire mieux)
Nicolas Roelandt :osgeo:
in reply to Nicolas Roelandt :osgeo: • • •Réponse F. Ric : harking : c'est dire après coup qu'on avait prévu le résultat.
Il faut dire que c'est exploratoire dès le départ
@NaudetFlorian : pas d'incitation à reproduire les résultats des autres ou les siens, et encore moins les études exploratoires
Nicolas Roelandt :osgeo:
in reply to Nicolas Roelandt :osgeo: • • •15. **Frederic Lemoine**
"Promoting reproducibility in bioinformatics with Reprohackathons"
16. **Eduarda Centeno** & **Fjola Hysseni**
"ReproducibiliTea"
17. **Laurent Oudre**
"Le nouveau Track « Recherche Reproductible » du Master MVA"
18. **Arnaud Legrand**
"Le(s) MOOC Recherche Reproductible"
Nicolas Roelandt :osgeo:
in reply to Nicolas Roelandt :osgeo: • • •"Promoting reproducibility in bioinformatics with Reprohackathons"
Mise en place d'un module de reproductibilité computationnelle dans un master AMI2B
ça va vite.... mais problèmes évoqués dans les présentations précédentes.
Termes pas toujours les mêmes mais proches: Repeat, Replicate, reproduce
Mise en place d'une architecture utilisant des outils récents (- de 10 ans):
- données
- workflow
- environnement logiciel
- hardware
+ versionnement
Nicolas Roelandt :osgeo:
in reply to Nicolas Roelandt :osgeo: • • •Développement d'un module de master dédié: container, workflow, versionnement, projet intense (reproHackaton)
Théorie + pratique
projet : comprendre et implémenter l'article
Evaluation: lisibilité du code, reproduction du workflow reproduit
Nicolas Roelandt :osgeo:
in reply to Nicolas Roelandt :osgeo: • • •Uk initiative to discuss research pratices, first a podcast then journal clubs in universities
3 steps : send a mail to inform, decide on format, gather people ! And that's it.
- Started in Feb 2021, 1h session
- CNS collaboration
- Guest speakers
- 13 students per session
- format : 1 hour, article presentation and discussion
- Doctoral school accreditation
Nicolas Roelandt :osgeo:
in reply to Nicolas Roelandt :osgeo: • • •Second year:
8 sessions with 2 special guests from UNESCO and FORRT
A session with Chris Chambers respondig question with live tweet !
Very large list of topics
Challenges:
- most participants have a computational backgrounds
Link to the initiative: https://reproducibilitea.org/
3rd year: organise a workshop
ReproducibiliTea
ReproducibiliTeaNicolas Roelandt :osgeo:
in reply to Nicolas Roelandt :osgeo: • • •grand appel à projet au printemps 2022: massification enseignement AI sur le plateau de Saclay
- Projet SaclAI school
- création d'un parcours dédié au sein du master MVA pour accueillir plus d'étudiants
- 200 étudiants
- 55 modules (à la carte)
- domaines variés
2 modules RR
- fondamentaux (logiciels libres, licences, définitions)
- projet tutoré et publication
+ séminaires
Nicolas Roelandt :osgeo:
in reply to Nicolas Roelandt :osgeo: • • •Package global peut être un peu trop imposant
- 15 participants pour module 1, retour positifs
- 10 participants pour module 2, 4 à 5 soumissions IPOL
- Popularité séminaire à revoir
Nicolas Roelandt :osgeo:
in reply to Nicolas Roelandt :osgeo: • • •"Le(s) MOOC Recherche Reproductible"
Réflexions en 2017
1ère session 2018 : 3000 participants, 300 attestations
2ème en 2019: logiciel libre, traduction en anglais
3ème édition en mars 2020 en régime continue
Public jeune: doctorants et étudiants
Logistique et pédagogie pas évidentes à intégrer
Pas d'équivalent à l'étranger (ou dans des moocs plus larges)
Pas d'adhésion forte des écoles doctorales
https://www.fun-mooc.fr/fr/cours/recherche-reproductible-principes-methodologiques-pour-une-science-transparente/
Recherche reproductible : principes méthodologiques pour une sci…
FUN MOOCNicolas Roelandt :osgeo:
in reply to Nicolas Roelandt :osgeo: • • •- gestion des données
- contrôle des environnements logiciels
- workflow scientifique
Nicolas Roelandt :osgeo:
in reply to Nicolas Roelandt :osgeo: • • •Réseaux- 13h00 - 14h00
19. Etienne Roesch
"UKRN & the UKRN Open Research Programme"
20. Vittorio Iacovella**
"TBA"
21. Isabelle Blanc
"Comité pour la Scence Ouverte"