Proposition d'ajout : comment est traitée la reproductibilité en histoire des sciences

[AlexandreHocquet]

Bonjour,

J'ai découvert cette idée de booksprint et j'aimerais y ajouter un comm, encouragé par @alegrand .
Je suis historien des sciences et je travaille sur une thématique qui n'est pas éloignée des questions qui sont soulevées ici.

En deux mots, les historiens des sciences s'intéressent depuis longtemps aux questions de reproductibilité en sciences et ont des choses à dire sur le sujet.

En parcourant le chapitre 1, puis les références citées, puis le thread #28 ouvert par @khinsen , j'ai découvert pas mal de littérature, originaire de beaucoup de domaines différents, et avec une diversité de définitions à la fois problématique pour savoir de quoi on parle mais intéressante pour l'historien pour essayer de comprendre cette diversité.

Mais le plus étonnant est que les historiens ou sociologues ou anthropologues ou philosophes des sciences sont étonnamment très peu cités dans ces publications qui se veulent réflexives sur la "crise de la reproductibilité".

Plus généralement, je milite pour que les historiens des sciences ne soient pas oubliés dans les débats sur ce qui est open science.

Pour plus de détails sur ce quoi je travaille :
une case study de gestion compliquée de reproductibilité :
Only the initiates will have the secrets revealed
un article grand public sur l'open science et les historiens
Open Science : une expression floue et ambigüe

J'étais au départ intéressé par faire un bref topo sur ce qui a été publié depuis une quarantaine d'années dans mon domaine sur le sujet, mais en lisant le thread #28 , peut être faudrait il que je restreigne à la question de la reproductibilité dans le numérique?.

[ppernot]

@AlexandreHocquet : Merci Alexandre pour ce complément. Tu as raison, c'est une partie de la littérature que nous avons manquée (par ignorance, pour ma part), et je pense que ta vision serait un excellent complément. Travaillant moi-même dans un groupe de chimie théorique, je vais m'empresser de lire la première référence...

A ce stade, il est vrai que le livre est biaisé vers le numérique, mais il me paraît souhaitable que nous puissions couvrir un champ plus large. Ce biais m'a d'ailleurs plusieurs fois été pointé lors d'interventions devant des auditoires de chimistes, par exemple.

N'hésite donc pas à proposer un complément qui sera le bienvenu !

[sabrinagranger]

qqs citations tirées de Leonelli, pour une approche moins computationnelle :
Leonelli, Sabina. 2018. ‘Re-Thinking Reproducibility as a Criterion for Research Quality’. History of Economic Thought and Methodology, January, 19.

nécessité de discuter publiquement des méthodes, mais aussi des résultats non attendus : « […] to explicitly discuss not only their methods, but also the ways in which they learn from unexpected and incongruent findings ». (Leonelli, 2018, p. 16)
sur l'importance de placer la question de la variabilité au cœur de la réflexion
« […] the importance of reproducibility as a strategy to interrogate variation across results, rather than to validate the outcomes of research ». (Leonelli, 2018, p. 15)
« A contrasting and more productive attitude is to repeat experiments not as a way to reproduce results, but rather as a way to uncover sources of variation and explore their significance (what I already discussed under the label of ‘scoping reproducibility’ ». (Leonelli, 2018, p. 13)
"scoping reproducibility" « Some run exprimental reproductions to spot sources of variation that may prove significant when interpreting the data at hand – for instance, in the case of results obtained on model organisms, when establihsing the extent to which a given outcome can be reliably imputed to organisms beyond those originally used in the study. » (Leonelli, 2018, p. 9)

Dans les disciplines où il y a peu de contrôle des données observées en raison de leur rareté, de leur nature, l’attention se porte davantage sur la reproductibilité de l’expertise selon S. Leonelli = « specific skills and interpretive abilities » (Leonelli, 2018, p. 10) : « […] the expectation that any skilled experimenter working with the same methods and the same type of materials at that particular time and place would produce similar results ».

Le problème est qu’en mettant trop l’accent sur la reproductibilité, les chercheurs risquent de moins documenter les aspects les plus idiosyncrasiques de leur recherche au profit de protocoles généraux qui ne s’attardent pas sur les spécificités de leur contexte. (Leonelli, 2018, p. 13) ; on retrouve une idée similaire chez Casadevall et Fang « Every variable contains a certain degree of error. Since error propagates linearly or nonlinearly depending on the system, one may conclude that the more variables involved, the more errors can be expected, thus reducing the replicability of an experiment. Scientists may attempt to control variables in order to achieve greater reproducibility but must remember that as they do so, they may progressively depart from the heterogeneity of real life. » Casadevall, A., and F. C. Fang. 2010. ‘Reproducible Science’. Infection and Immunity 78 (12): 4972–75. https://doi.org/10.1128/IAI.00908-10.

[sabrinagranger]

sur l'impact des biais cognitifs sur les questions de reproductibilité ; on cherche à conforter son horizon d’attente : « widespread cognitive bias among researchers, who end up reinforcing each other ’s preexisting beliefs and setting up research plans and validation procedures accordingly (Bem, Utts and Johnson 2011)
Bem, Daryl J., Jessica Utts, and Wesley O. Johnson. 2011. ‘Must Psychologists Change the Way They Analyze Their Data?’ Journal of Personality and Social Psychology 101 (4): 716–19. https://doi.org/10.1037/a0024777.

« Groupthink inhibits attemps to reproduce results that provide evidence for what scientists want to believe, since replication studies can undermine congenial conclusions. When a result appears to confirm its professional audience’s preconceptions, no one wants to go back and double-check whether it’s correct. » (Randall & Welser, 2018, p. 35)
Randall, David, and Christopher Welser. 2018. The Irreproducibility Crisis of Modern Science. Causes, Consequences, and the Road to Reform. New York: National Association of Scholars. https://www.nas.org/reports/the-irreproducibility-crisis-of-modern-science.
Dans une veine similaire (le poids de l'"horizon d'attente") : G. Gigerenzer (Gigerenzer 2018) considère que la dynamique « Publish or perish » et les pratiques qu’elle engendre sont à tort présentées comme la source de la crise de la reproductibilité : selon cet auteur, il faut plutôt incriminer l’usage des statistiques en recherche. G. Gigerenzer évoque ainsi des « rituels statistiques » et un système de croyances collectives à l’œuvre depuis plusieurs dizaines d’années.
Gigerenzer, Gerd. 2018. ‘Statistical Rituals: The Replication Delusion and How We Got There. Statistical Rituals: The Replication Delusion and How We Got There’. Advances in Methods and Practices in Psychological Science 1 (2): 198–218. https://doi.org/10.1177/2515245918771329.

[AlexandreHocquet]

Je crois que je vais faire comme @sabrinagranger . Je vais rajouter quelques références dans les prochains jours, post par post, quitte à en faire une compilation ensuite. (mais en tous cas, Sabina Leonelli, c'est pertinent du point de vue de notre communauté!)

[sabrinagranger]

Si vous pouvez/souhaitez svp, un paragraphe rédigé serait le bienvenu en plus des références complémentaires.

[AlexandreHocquet]

Je commence déjà par un bref aperçu de la première vague d'intérêt pour la question :

Tout d'abord, dès les années 70, 80 différents sociologues et historiens des sciences se sont intéressés à la reproduction d'expériences :

soit la reproduction d'expériences historiques, comme Otto Sibum et l'expérience de Joule :
https://etherwave.wordpress.com/2011/12/17/tacit-knowledge-and-tactile-history-otto-sibum-and-gestural-knowledge/ qui introduit le concept de "tacit knowledge" (ce qu'on sait ou sait faire mais qu'on en sait pas expliquer comment/pourquoi) et celui de "gestural knowledge" (c'est seulement en essayant de reproduire l'expérience quon peut approcher ce qui est non-dit)

soit l'observation sociologique de controverses scientifiques comme Harry Collins qui suit les péripéties du "TEA Laser" dans plusieurs labos qui n'arrivent pas à en reproduire les résultats malgré les instructions de l'équipe initiale. Le "tacit knowledge" y est explicité
https://etherwave.wordpress.com/2011/12/26/collins-and-tacit-knowledge/

S'en est suivie dans les années 80 une critique d'une vision de la science "relativiste" (c'est à dire dans laquelle les explications sont sociales plutôt que rationnelles) et une contre critique d'une vision de la sicence "positiviste" (pour laquelle des explications "rationnelles" a posteriori est une vision de l'histoire écrite par un vainqueur qui efface tous les problèmes de la "science en train de se faire")
https://poincare.univ-lorraine.fr/sites/poincare.univ-lorraine.fr/files/users/pratisciens/fiche_collins84-when-vary-experiment-notice-ls-oct08.pdf

[borishejblum]

Bonjour @AlexandreHocquet,

Tout d'abord je m'excuse du temps de réaction un peu long de notre côté en ce début d'été.

Merci pour votre retour et votre proposition initiale ci-dessus. C'est en effet un aspect très intéressant qui manque dans le livre à l'heure actuelle.
Néanmoins, il semble délicat d'insérer ce paragraphe très dense tel quel dans le livre. Beaucoup de nouvelles notions sont introduites, et cela mériterait plus de d'explications et de contexte pour les lecteurs néophytes (dont je fais partie), afin de pouvoir s'insérer naturellement dans l'ouvrage.

Seriez-vous prêt à retravailler ce paragraphe et à l'augmenter afin qu'il soit plus accessible et que nous puissions l'inclure dans le livre dans la section "Compléments" prévue à cet effet ?

Merci,
Boris

[AlexandreHocquet]

Bonjour @borishejblum c'est moi qui m'excuse d'avoir laissé en plan cette tâche que je m'étais moi même assignée. J'ai voulu faire un "release early , release often" mais je me suis laissé débordé par l'ampleur de la tâche et ses ramifications. Comme je l'ai écrit (par mail) à @alegrand :

j'ai finalement à peine esquissé un début de thread dans github et me suis laissé débordé par le fait qu'il y a avait en fait tant de choses à dire et du coup... je n'ai finalement presque rien
fait. Mais j'espère bien tenir ma promesse un jour, ne serait ce que pour moi même car je trouve l'exercice (un bilan de ce qui existe sur le sujet chez les istoriens des sciences) intéressant et
toujours inédit.

Donc pour répondre, je serais prêt à le retravailler pour le rendre intelligible et pertinent, mais la question de la deadline se pose : ce que j'ai fait ressemble plus à un marathon commencé à vitesse de tortue qu'à un sprint.
Quelles sont les échéances pour vous ?

[borishejblum]

De notre côté il n'y a pas d'échéance particulière pour l'instant.

[AlexandreHocquet]

D'accord @borishejblum , je pense alors m'y atteler durant le mois de septembre (après avoir fait une revue de biblio sur la plage au mois d'août). J'updaterai dans ce thread

[AlexandreHocquet]

Avec mon collègue Frédéric Wieber, nous avons essayé de résumer question de la reproductibilité en histoire/sociologie/philosophie des sciences telle que nous la comprenons, à la lumière de ce qui s'est écrit récemment (et le preprint de Sabina Leonelli cité par @sabrinagranger en est l'exemple le plus intéressant) et ce qui devait être une revue de biblio (amorcée par ailleurs dans mes posts précédents) se transforme en question de recherche. Je vais essayer de la résumer en quelques points. Dans le futur (proche?) j'esaierai de donner corps à ces quelques points en complétant avce des références biblio, mais aussi des exemples pour essayer d'être le moins vague possible.

[AlexandreHocquet]

0. Notre domaine est l'histoire des sciences ; en ce sens nous sommes plus compétents sur ce que disent les historiens/sociologues/philosophes sur la reproductibilié dans les sciences en général que sur la reproductibilité en SHS, vue par les acteurs de SHS.

[AlexandreHocquet]

1. La reproductibilité est une question complexe : La diversité de termes (replicability? repeatability?, checking? robustness?) et la polysémie la caractérisent. Par qui (soi même, un collègue, un concurrent, un reviewer, une instance de vérification?) ? Pour quoi (pour valider?, pour contredire? pour interpréter?) Comment ? (même instrumentation ? même protocole ? même conclusion par d'autres moyens ?) qu'est ce qui est "pareil" ? (strictes mesures, patterns, généralisations ?) quand a t on besoin d'être "pareil" ? (pour démontrer, pour infirmer ou contredire, pour généraliser?). D'une manière générale, la littérature en histoire des sciences montre que si la reproductibilité conduit à plus de fiabilité en science, c'en est un moyen parmi d'autres, pas toujours suffisant, pas toujours nécessaire.

[AlexandreHocquet]

1bis. Des notions en histoire des sciences proviennent d'études de cas classiques interrogeant la reproductibilité : par exemple la "connaissance tacite" est ce qui ne peut pas être explicité dans une expérience. Voir le Laser TEA par Collins, ou la calorimétrie de Joule et le savoir faire des brasseurs par Sibbum, etc...

[AlexandreHocquet]

2. La reproductibilité est multiiforme et dépendante du contexte mais aussi elle est différente selon les domaines scientifiques. Différente sur comment elle est perçue et est mise en place mais aussi différente sur son importance et sa normativité.

[AlexandreHocquet]

3. L'exigence de reproductibilité (en tant que moyen d'obtenir la fiabilité) pose problème (et encore plus si elle est définie dans un sens étroit, correspondant à un seul domaine scientifique) pour la vitalité de domaines scientifiques différents pour lesquels cette exigence peut être sans objet, voire contre-productive.

[AlexandreHocquet]

4. La narration de la reproductibilité en tant que crise pose question : Pourquoi est on en crise maintenant (=depuis les années 2000/2010?) et ce dans des domaines distincts (psychologie, épidémiologie, sciences computationnelles...) Quel est le lien avec la narration de la science ouverte ? de la crise de la publication (l'ouverture des données en est une des clés) ? Quelles sont les enjeux ? Comment et pourquoi ces éléments de discours sont ils repris/amorcés/amplifiés par des institutions (sociétés savantes, institutions nationales...) ? Quelle vision normative de ce que devrait être la bonne science cela traduit il?

[AlexandreHocquet]

5. La reproductibilité en milieu computationnel est différente de celle en milieu expérimental : à la fois d'autres problèmes se posent (vers lesquels ce booksprint pointe) mais aussi le numérique représente une sorte de modèle à suivre lié à une promesse de l'apparence de la reproductibilité parfaite. (d'où une crise liée à une frustration?). Notre étude de cas est une communauté de scientifiques computationnels des années 70/80/90 et la comparaison avec les propositions actuelles du booksprint est intéressante pour nous pour tenter d'éclaircir toutes ces questions

[sabrinagranger]

@AlexandreHocquet @borishejblum
le point 4 m'évoque cette réf de Fanelli
Fanelli, Daniele. 2018. ‘Is Science Really Facing a Reproducibility Crisis, and Do We Need It To?’ Proceedings of the National Academy of Sciences 115 (11): 2628–31. https://doi.org/10.1073/pnas.1708272114.

« Put simply, this new “science in crisis” narrative postulates that a large and growing proportion of studies published across disciplines are unreliable due to the declining quality and integrity of research and publication practices, largely because of growing pressures to publish and other ills affecting the contemporary scientific profession.
I argue that this crisis narrative is at least partially misguided. Recent evidence from metaresearch studies suggests that issues with research integrity and reproducibility, while certainly important phenomena that need to be addressed, are: (i) not distorting the majority of the literature, in science as a whole as well as within any given discipline; (ii) heterogeneously distributed across subfields in any given area, which suggests that generalizations are unjustified; and (iii) not growing, as the crisis narrative would presuppose. Alternative narratives, therefore, might represent a better fit for empirical data as well as for the reproducibility agenda. » (Fanelli, 2018)

je comprends aussi que L. Barba nuance également cette notion de crise : « Funding agencies and journals, professional societies and even mass media are paying attention, often focusing on the so-called “crisis” of reproducibility. » (Barba, 2018)
Barba, Lorena A. 2018. ‘Terminologies for Reproducible Research’. ArXiv:1802.03311 [Cs], February. http://arxiv.org/abs/1802.03311.

Ce rapport récent
(Committee on Reproducibility and Replicability in Science, Committee on National Statistics, Board on Behavioral, Cognitive, and Sensory Sciences, Division of Behavioral and Social Sciences and Education, Nuclear and Radiation Studies Board, Division on Earth and Life Studies, Committee on Applied and Theoretical Statistics, et al. 2019. Reproducibility and Replicability in Science. Washington, D.C.: National Academies Press. https://doi.org/10.17226/25303.)

invite quant à lui à ne pas surestimer la portée des discours sur la crise de la reproductibilité auprès du public non académique :
« Scientists also bear some responsibility for misrepresentation in the public’s eye, with many believing that scientists overstate the implications of their research. The purported existence of a replication “crisis” has been reported in several high-profile articles in the mainstream media, however, overall coverage remains low and it is unclear whether this issue has reached the ears of the general population. » (Committee on Reproducibility and Replicability in Science et al., 2019, p. 129)

[AlexandreHocquet]

Merci @sabrinagranger . J'allais justement ajouter que je compte rédiger ces points dans les jours qui viennent (sans faire long, juste étayer les affirmations avec au moins un exemple pour fiixer les idées et des références biblio), et qu'en attendant, je suis preneur de retours, que ce soit pour ajouter des refs ou discuter ou critiquer les points ou demander à ce qui'ls soient éclaircis pour éventuellement les affiner ou modifier.

[AlexandreHocquet]

Pour la question du point 4 (la "crise"), merci @sabrinagranger pour les nouvelles refs, je vais regarder ça) mon but n'est pas de déligitimer la crise (de dire, "mais non, ya pas de crise, ça a toujours été comme ça") mais c'est au contraire intéressant d'essayer de comprendre d'où, comment et pourquoi cette narration apparait. Par exemple, ce talk au congrès de la 4S avait l'air intéressant pour cartographier la crise

[sabrinagranger]

@AlexandreHocquet ça me va aussi que la notion même de crise soit interrogée puisque les spécialistes du sujet eux-mêmes apportent cet éclairage ; hâte de lire votre analyse sur la genèse de ces narrations ! merci pour la ref

[rougier]

De même (hâte de lire l'analyse)

[AlexandreHocquet]

Merci @sabrinagranger et @rougier pour vos comms encourageants. Ceci dit, j'ai peur de vous décevoir: mon point 4 a pour but de poser la question plus que d'apporter une réponse (ça serait l'objet d'un vrai projet de recherche). Tout de même en aiguillant vers les gens qui écrivent des choses sur ce sujet, on peut en avoir une esquisse. Je vais entre autres tenter de joindre Nicole Nelson.

[borishejblum]

Bonjour Alexandre, merci pour tout ça ça commence à prendre forme. Ça me semble tout à fait pertinent, et une fois rédigés, l'ensemble de ces points pourraient constituer une belle annexe ! N'hésite pas à nous(me) solliciter si tu as besoin d'un petit coup de main sur la rédaction en Markdown.

[AlexandreHocquet]

Merci @borishejblum , mes compétences en Markdown ne vont pas jusqu'à savoir gérer les citations / références, donc il est possible que j'ai besoin d'aide sur ce point, merci !

[AlexandreHocquet]

Bonjour @sabrinagranger @borishejblum et @rougier : cette fois, je pense être presque prêt. Le texte est quasiment fini (@khinsen en a vu une version préliminaire). La mise en forme en markdown ne pose pas de problème (sauf pour les citations biblio). Je peux, selon ce qui est plus facile pour vous :

• écrire les paragraphes petit à petit dans le thread de cette issue.
• mettre en ligne sur mon site une version brouillon commentable par vous.
• faire directement une pull-request

[rougier]

Merci. Je pense qu'un PR serait le plus pratique pour pouvoir commenter.

[borishejblum]

Merci @AlexandreHocquet. En effet, une pull-request serait le plus simple à traiter :-)

[AlexandreHocquet]

D'accord, merci pour vos réponses. Mon "oeuvre" se décompose en cinq chapitres, comme annoncé plus haut : il serait probablement plus digeste de vous soumettre les chapitres un à un à quelques jours d'intervalle pour éviter le pavé. Dans ma vision de n00b du verisoning, ça serait logique de créer une branch, copier-coller tout et ensuite demander la ppull-request. Est ce faisable/souhaitable de commencer à créer ma branch et faire une pull request à chaque chapitre ajouté ? Alternativement, je peux ajouter un chapitre à ma branch, l'annoncer ici et ne demander le pull-request qu'à la fin ?

[AlexandreHocquet]

Bonjour @rougier @ppernot @borishejblum @sabrinagranger @alegrand . Après une tentative infructueuse de PR, j'ai de nouveau modifié mon texte, pour le rendre compatible avec le MOOC recherche reproductible. Vosu pouvez le trouver en markdown sur mon gitlab . Il n'y a plus que quattre chapitres pour être moins bavard, mais ils sont rassemblés dans un seul fichier. Par ailleurs, une version courte vient de sortir dans "The Conversation", et j'ai fait une conférence sur le sujet aux étudiants de M2 d'histoire des sciences dans mon université. Tout ça est grâce au départ à votre initiative, donc merci pour ça, et n"hésitez pas à commenter.

[rougier]

J'avais lu l'article dans "The Conversation" sans avoir vu que c'est toi qui l'avait écrit. Je trouve qu'il est plutôt bien écrit et bien construit (dans un format aussi court) notament fait parce qu'il évite quelques écueils que je redoutais (pour faire court, s'il y a une crise de la reproducibilité cela veut dire que la science n'est pas fiable, etc). Dans des temps où la science est systématiquement remise en question, je trouvais l'exercice périlleux mais ton article me montre que c'était possible.

J'ai lu aussi le gitlab et là aussi je trouve que c'est diablement intéressant (et que ça pourrait être développé encore un peu plus) mais je doute dans le même de la pertinence de le fusionner dans le guide pratique (c'est surtout ce côté pratique qui me gène). Je serais plutôt pour essayer de trouver une nouvelle forme (livre? numéro spécial dans un journal ? autre?) sur ces côtés un peu plus historiques/épistémologique/théoriques. Pendant le booksprint, on avait laissé de côté pas mal d'idées et ce pourrait être l'occasion d'en faire quelque chose en collaborant (si tu es partant évidemment).

[AlexandreHocquet]

Bonjour @rougier : pour moi pas de problème du tout, si le texte est considéré comme pas adapté pour le booksprint. Je suis déjà content d'avoir rencontré cette initiative (et celle du MOOC rercherche reproductible) par ce qu'elle m'a permis plusieurs choses

• avoir fait une recherche bibliographique dans mon domaine sur cette question qui était un thème important (mais pas central) de mon propre sujet de recherche
• avoir pu grâce à ça articuler la question de la "crise" dans ce même sujet de recherche
• avoir pu rencontrer des gens qui s'intéressent à la "reproductibilité computationnelle" de divers horizons et écanger avec eux . j'ai progressé.
• du coup, grâce à tout ça, je me sens plus légitime dans mon propre domaine pour avancer que les questions de "reproductibilité computationnelle" y sont mal comprises. Le buzzword "crise de la reproductibilité" est en train d'atteindre les CfP des colloques et publications. On verra ce que ça donnera mais écrire ça m'a permis de me lancer. (et le texte n'est pas perdu prce qu'il va se retrouver dans le MOOC "recherche reproductible".
  Donc merci à tou.te.s pour ça

[rougier]

Mais je maintiens que les 4 chapitres que tu as déjà écrit pourrait être une base pour un nouveau projet. Je laisse les autres intervenir pour voir ce qu'ils en pensent.

[ppernot]

Bonjour,

après avoir lu les 2 versions, je pense que le format de l'article dans "The Conversation" serait mieux adapté à notre document (esprit booksprint). Comme Nicolas, je pense que la version longue mérite d'être développée et mieux mise en valeur que dans une annexe.

[AlexandreHocquet]

D'accord, merci pour vos comms @rougier et @ppernot : pour moi pas de pb d'insérer le texte de "the conversation" en annexe du booksprint. Par défaut, les articles dans The Conversation sont je crois en CC-BY-ND donc ça ne devrait pas poser de problème.