Nicht mehr lange, dann geht meine Wissenschafts-Tour los! Im März besuche ich euch alle Essen, Köln, Hamburg, Berlin, Stuttgart, München, Wien und Zürich. Schaut mal in eure Kalender und holt euch hier Tickets: doktorwhatson.shop/ Wenn dir die Videos gefallen, dann wird dir auch die Show gefallen.
@@DoktorWhatson jetzt geht es 🙂 allerdings am Handy. Es ging vorher nicht am PC (Chrome, Win10). Freue mich sehr, dass der Berliner Auftritt in der Urania sein wird.
Bei meiner Diplomarbeit (Physik, Dauer 1 Jahr) wollte mein Professor auch, dass ich einen seiner Artikel zitiere. Als ich meinte, dass dieser inzwischen veraltet war und es bessere Modelle gab, drohte er mich durchfallen zu lassen. Ich bestand daraufhin auf einen Zweitprüfer und habe den Prüfungsvorsitzenden (der nicht benotet) vorher eingeweiht. Nach einer seeeehr langen und lauten Diskussion nach meiner Verteidigung, kamen dann der Zweitprüfer und der Vorsitzende raus und gratulierten mir. Mein Prof saß schmollend im Prüfungsraum. An alle Studenten da draußen: wehrt euch, sucht euch Unterstützung, lasst euch nicht einschüchtern. Die Professoren haben weniger Macht, als sie denken.
Das ist sehr interessant. In meinem Medizinstudium wurde eine Frage gestellt die ich "angeblich" falsch beantwortet habe und ich bin durchgefallen. Beim anfechten dieser Prüfungsfrage wurden keine Argumente und Studienergebnisse anerkannt und der Prof blieb bei seiner Entscheidung mich durchfallen zu lassen, obwohl ich eindeutlig, mit mehreren Quellen und nach Rücksprache bzw. Bewertung durch Fachleute anderer Fachbereiche belegen konnte, dass die Antwort so nicht richtig zu bewerten ist. Dennoch wurde keine einzige Quelle anerkannt und das Ergebnis nicht korrigiert. Leider ist der falsche Stolz und "Irrglaube" alter Professoren manchmal doch mächtiger als die Vernunft neuer wissenschaftlicher Erkentnisse und ohne einen Anwalt kommt man dann nicht weiter...
Es ist schon höchst fragwürdig, dass der Prof dich durchfallen lassen wollte, weil du SEINE Artikel nicht zitierst. Das sollte von einer Ethik-Kommission geprüft werden.
@@Sakrosankt-Bierstube soweit ich weiß, ist eine Ethik-Kommission für die Genehmigung einer Studie zustänndig, also bevor diese erst angelegt wird. So wie er das Beschrieben hat, war er bereits schon beim Rigorosum oder Disputation. Da hilft die Ethik-Kommission nicht viel.
@@viscid09 Das tut mir echt Leid! Konntest du keinen Zweitprüfer bekommen? Das ist ja dein gutes Recht, bei begründeten Zweifeln. Und die waren ja eindeutig gegeben.
FYI: Eine kleine Richtigstellung: Bei 03:25 sagen wir, dass ein p-Wert von 0,05 oder kleiner bedeutet, "dass mit mindestens 95%iger Wahrscheinlichkeit, der Unterschied zwischen den beiden Gruppen, kein Zufall ist." Richtig wäre zu sagen, " dass der gemessene Unterschied nur mit 5%iger Wahrscheinlichkeit auftreten würde, wenn er reiner Zufall wäre". Ein kleiner, aber signifikanter (im umgangssprachlichen Wortsinn) Unterschied. 🤓 Vielen Dank für den Hinweis! Schön, dass wir ein so aufmerksames Publikum haben! - lG, Dennis
Cooles Video. Danke! Generell finde ich, dass du komplexe Sachverhalte auch in deinen anderen Videos zur Wissenschaft so gut darstellst, dass sogar meine Eltern besser verstehen, was Wissenschaft ist. Das koennte ich zum Beispiel nicht. Ganz kleines aber, glaube ich. Du interpretierst die p-werte wie die meisten Wissenschaftler bayesianisch, waehrend p-werte nach dem Frequentist Ansatz interpretiert werden muessten (unnoetige Fachworte, ich weiss). Die falsche Interpretation geht zurueck auf Fischer, dem Godfather der Statistik. Fuer den Kontext des Videos ist das nicht wichtig, aber nur falls das von Interesse fuer euch ist. Neben dem wissenschaftlichen Fetisch von P-Werten und der willkurlich gesetzten Grenze 0.05 ist die falsche Interpretation ein weiteres (wenn auch kleineres) Problem P-Werte richtig interpretiert nach Frequentist Ansatz: Wir behandeln die Parameter (geschaetzte Werte aus dem Experiment) als fix und die Daten als zufällige Draws. Auf lange Sicht wollen wir nun wissen, wie haeufig der erhaltene Wert (als fixer Parameter) innerhalb eines erlaubten Bereichs liegt, wenn wir das Experiment X mal mit verschiedenen Daten durchfuehren. Wir versuchen auf lange Sicht nicht zu oft falsch zu liegen. Das sagt eigentlich nichts über die Gültigkeit des einzelnen Tests (oder der Hypotese in einem Test) aus. Nur, dass wir nicht zu oft falsch liegen, wenn wir das Ergebnis viele Male mit Variation der Daten wiederholen würden. Wir wissen also nicht, ob dieser eine Test (oder diese eine Hypothese) falsch oder richtig ist, aber langfristig gesehen wissen wir, dass ein bestimmter Prozentsatz richtig sein wird, wenn wir den Test viele Male wiederholen
Der wichtige Punkt ist das "wenn"... Also der p-wert ist praktisch eine bedingte Wahrscheinlichkeit (wenn man annimmt das was ok ist über Hypothesen eine Wahrscheinlichkeitsverteilung zu haben...). Also "wie wahrscheinlich ist das Ergebnis _wenn_ die Nullhypothese stimmt" ... Also er sagt nichts über die Wahrscheinlichkeit aus _dass_ die Nullhypothese wahr ist.
@@maximilianschlund4409 Danke für die Mühe, ich stehe immernoch auf dem Schlauch leider - ich mach einen statistischen Test, was weiß ich, student-T oderso (bin leider viele Jahre raus aus der Forschung), nur um festzustellen, ob beide Lose/Ziehungen aus derselben Verteilung stammen könnten oder vermutlich nicht. Ist der p-Wert dann kleiner z.B. kleiner 0,05, darf ich doch sagen, "meine Hypothese, dass beide Lose aus >derselben< Verteilung gezogen wurden, kann ich mit mind. 0,95er Wahrscheinlichkeit ablehnen". Natürlich ist es immer sehr sehr schwer, mit einer Gruppe Menschen dann alle anderen Faktoren gleich zu halten, sodass man zurück schließen kann auf seine Annahme (Networking hier), aber FALLS sich sonst wirklich kein Faktor geändert hätte, dürfte ich doch zurück schließen auf diesen einen Faktor, den ich geändert habe? Ansonsten natürlich nicht, klar, dann darf ich nur sagen: Irgendwas hat sich zu 95% geändert, ich vermute das Networking, könnte aber auch leider sein, dass viele Leute lügen, die Gruppen unterschiedlich alt waren,... Meinst du das? Aber wenn man alles sauber gemacht hätte (Double-Blind, genügend große Stichproben, etc pp), dürfte ich doch zumindest sagen: A) Den Ergebnissen liegt mit 95%+ WK eine andere Verteilung zugrunde und B) Ich vermute stark, es ist der Faktor, den ich geändert habe.
Dieser Skandal hat meiner Meinung nach einen positiven Effekt. Wenn man Studien veröffentlich unabhängig ihrer Ergebnisse ist das doch gut. Auch zu wissen was nicht geht ist hilfreich. Wenn dann auch noch die ganzen Daten aus einer Studie zur Verfügung gestellt wird, kann man auch noch Jahre danach an jeden Punkt ansetzen und weitermachen.
Das ist ein ewiges und bekanntes Thema. Leider ist die Macht der Journale und das "Publish or Perish" zu stark im System verankert. Aber vielleicht wird's ja im Laufe der nächsten Jahrzehnte doch noch was.
Da blutet mir echt das Herz. Wenn man Experimente oder Studien durchführen, dann ist jedes Ergebnis ein Ergebnis. Nur weil es nicht aussieht, wie man es gerne hätte, ist es ja noch lange nicht so.
Überraschende Ergebnisse sind doch ein starker Hinweis, dass sich da spannende Erkenntnisse verstecken. Der toxische Konformismus ist es der verhindert, das solche Schätze gehoben werden.
@@gzoechiwenn in Studien getrickst wird, dann hat das nichts mit überraschenden, erkenntnisreichen Informationen zu tun, sondern mit Kriminalität und Desinformation.
@@Chris-cc8vc Solange das auch so veröffentlich wird, ist ja auch eine relevante Erkenntnis. Es ist ja eigentlich der Sinn der Wissenschaft zu versuchen sowohl die These zu belegen als auch zu widerlegen. Beides hat ja den gleichen Nutzen, deswegen finde ich es schade, dass ein negatives Ergebnis oft nicht wertgeschätzt wird. :(
@@davidmiller3560 Wenn mans ganz genau nimmt falsifiziert die Wissenschaft ausschließlich und das was man nicht widerlegen kann wird dann als Wahr angenommen bis es doch jemand schafft
Ich mag deine tiefgründigen Antworten, die Du trotzdem irgendwie für Jedermann relativ simpel verständlich rüberbringst. Auch wenn Du mal ausholen musst fällt es mir regelmäßig trotzdem leicht Dir folgen zu können und deine Schlussfolgerungen zu verstehen. Gut auch, dass Du deine eigene Meinung trotz akustischer Ankündigung vorab nochmals visuell oben markierst (bleibt dadurch zwar deine MEINUNG, hilft aber trotzdem sich (falls gewollt) von dieser zu distanzieren um eine "Gegenprobe" deiner Schlussfolgerungen selber (EIGENSTÄNDIG) zu hirnen... In der Regel darf man deine Meinung aber doch ziemlich unverändert annehmen :) Danke für deine Videos!
Bin vom Fach. Sehr gutes Video und auch das Thema p-hacking war gut erklärt. Meine einzige Anmerkung: Pre-registration ist nicht dasselbe wie ein registered report. Das was beschrieben wurde (beim Journal anmelden, vor Datenerhebung schon peer review, zugesagte Veröffentlichung vor Ergebnissen) ist ein registered report und sehr im Kommen, aber unter den heutigen Rahmenbedingungen noch eher selten. Pre-Registration ist - zumindest in meiner Bubble - absoluter Standard. Dabei meldet man einfach nur selbst online vor Beginn der Datenerhebung die geplante Studie (inklusive Hypothesen und geplanter Datenanalyse) an, um später z.B. nachweisen zu können, dass man kein p-hacking betrieben hat.
Oh, danke für den Hinweis! Tatsächlich habe ich immer gedacht, das sei dasselbe. Als ich in der Neurowissenschaft aktiv war, war bei uns weder das eine noch das andere üblich. Und ich fürchte, in der Neurobiologie gibt es auch eine Replikationskrise, die aber noch keiner an die große Glocke hängen will. lG, Dennis
@@DoktorWhatson Sehr gern, danke für die Antwort! :) Ich find's auch richtig toll, dass Pre-Registration und Open Science generell in meinem Umfeld so selbstverständlich sind. Die Psychologie musste sich ja viel vorwerfen lassen und hat sich ziemlich blamiert in den letzten 10 bis 15 Jahren, aber seitdem hat sich bei uns auch sehr viel getan. Aus anderen Fachbereichen (z.B. von Freunden, die in Bio promovieren) nehme ich das nicht so stark wahr. Manchmal frage ich mich, ob deren große Replikationskrisen und die awareness dafür erst noch kommen. Großer Fan bin ich übrigens auch von Big Team Science, konkret ManyBabies. Das breitet sich zum Glück auch aus und andere Disziplinen schließen sich mehr und mehr an (siehe z.B. das neue ManyManys).
Sehr interessant! Danke für das Video :) Eigentlich müssten wir nicht nur Text-Referenzen haben für die Wissenschaft, sondern echte Verknüpfungen. Ein Standard, der sicherstellt, dass wenn eine Studie wegen Datenfälschung oder ähnlichem ungültig ist, dass automatisch alle anderen Studien überprüft werden und alle Online-Beiträge (Artikel, TH-cam Videos, etc.) mit einem entsprechenden Hinweis versehen werden. Quasi dass jede referenzierte Studie einen Echtzeitstatus hat: "Gültig", "Muss überprüft werden", "Ungültig".
Und es sollte nicht nur angegeben werden, wie oft eine Studie zitiert wurde, sondern auch warum sie zitiert wurde. Verhindert Bias. Es sollte angegeben werden, wenn eine Studie hätte zitiert werden können, aber nicht wurde. Denn eine Studie mag noch so gut sein, wenn sie keine Beachtung findet, weil sie zb nicht ins Weltbild passt, ist sie halt auch nicht existent.
Das finde ich etwas unreaslistisch, zumindest Stand jetzt + 20 Jahre. Solche Verknüpfungen zu allem möglichen Online-Content können nur automatisiert stattfinden und, nach meinem Wissensstand, ist so etwas absehbar noch nicht technisch möglich. Dafür ähneln sich auch wissenschaftliche Paper zu sehr. Es sind ja auch nicht oftmals die kompletten wissenschaftlichen Paper falsch, sondern nur ein kleines Theorem o.Ä., was benutzt wurde. Weiterhin ist auch der rechtliche Rahmen ziemlich unklar. Werden die Plattformen dazu verpflichtet? Wer zahlt für das Scannen der Inhalte. Ab wieviel "thematischen" Content in einem Online-Beitrag aus einem Paper soll eine Verknüpfung erstellt werden. Wie soll mit transitive Relationen umgegangen werden und und und. Wenn man sich hier mal wirklich kurz Gedanken macht, sollte einem recht schnell klar werden, dass das Thema unendlich komplex werden kann und ggf. auch juristisch problematisch werden kann. Vom öffentlichen Aufschrei der Zensur und Überwachung fangen wir lieber gar nicht erst an zu sprechen. Der Gedanke ist denke ich gut gemeint, aber die Auswirkungen wären einfach zu groß und öffnen Tür und Tor für andere Ungerechtigkeiten / Betrügereien. Was ich mir jedoch vorstellen kann, ist das ganze auf die Paper selbst zu beschränken, wie du ja im ersten Teilsatz schon verlangst. Es wird eine Datenbank aller wissenschaftlichen Arbeiten und deren Quellen erstellt (gibt es quasi partitioniert schon). Die Quellen kann man ja recht simpel automatisch scannen, diese als Relation zu einem Paper abbilden und in einem Stammregister alle Paper mit einem Wert versehen. Das würde das Erstellen der Arbeiten auch erleichtern ,da man mit solch einem Register schon während des Schreiben des Papers überprüfen kann, ob man "safe" ist mit seinen Quellen. Stellt sich nur wieder die Frage, wer bezahlt das, wer überwacht das und wer ist verantwortlich, wenn mal was falsch referenziert / bewertet wird, wie kann man Einspruche dagegen einlegen, wer entscheided in diesem Fall, soll es wirklich nur gültig / ungültig geben etc. Und das natürlich weltweit und nicht nur national.
@silsternensand Und wer soll das alles überprüfen, ob eine Studie hätte angegeben werden können? Das müsste ja begründet seon, also müsste man dad wissenschaftlich einschätzen. Wenn du also morgen irgenwas, sei es eine Bachelor-Arbeit sein, publizierst, soll jemand anderes checken, welche Studien ansonsten noch so hätten zitieert werden können, aber nicht wurden? Also einmal alle nicht zitierten, auch nur irgenwie in Frage kommenden Studien überprüfen, für jede einzelne Studie der Welt immer wieder? Und dazu dann am besten noch regelmäßig für jede Studie überprüfen, ob diese nicht in neu erschienenen anderen Studien hätte erwähnt werden können? Was zur Hölle soll die Menschheit denn dann noch machen, außer dieser Tätogkeit nachzugehen???????!!! Das wäre eine ganz eindeutig nicht durchführbare Aufgabe, selbst wenn wir überall einen riesigen Überschuss an (entsprechend qualifizierter) Arbeitskraft hätten. Dazu müsste ja auch noch von anderen, nicht beteiligten Wissenschaftlern und Wissenschaftlerinnen jede einzelne "Ergänzung" (nennen wir deinen Wunsch so) auf sekne wissenschaftliche Korrektheit überprüft werden. Wenn man jetzt nicht tausende, eigentlich unnötige "ergänzte" Studien haben möchte, müsste man (bei manchen Themen zumindest) eine Liste geordnet nach Relevanz machen. Auch diese müsste man dann wieder von unabhängigen Wissenschaftler*innen überprüfen lassenund ggf. auf einen gemeinsamen Nenner kommen. Wenn dann jemand anderes daran etwas auszusetzen hätte, müsste dieser wieder ekne Bemerkung schreiben und so weiter und so fort... Der Mehrwert wäre auch sehr überschaubar auf die einzelne Studie bezogen, denn am Ende würde sich ganz viel doppelt, nur damit andere Menschen auch etwas Beachtung bekommen... Wenn das das Motiv dahinter sein sollte. Wenn es darum ginge, etwas wissenschaftlich Sinnvolles zu ergänzen, müsste man einen inhaltlichen Mehrwert bieten, also quasi die Studie weiterführen. Man könnte also sagen, man würde die Studie weiter / tiefer / genauer / mit anderer, weiterer Methodik auswerten als zuvor geschehen, man müsste entsprechende Schlussfolgerungen ziehen und diese dann mit anderen Studien verknüpfen, welche dann Erwähnung finden würden. Wenn etwas inhaltlich dazukäme, bspw. lediglich aufgrund weiterer Schlussfolgerungen neue Verknüpfungen mit andreren Studien entstünden (=Erwähnung), hätte man wieder etwas Neues geschaffen, das überprüft werden müsste. Zuerst auf die wissenschaftliche Korrektheit(Qualitätskontrolle), dann auf mögliche "Ergänzungen". Da würde das ganze Spiel wieder von vorne beginnen. Das Ganze würde dabei natürlich bei allen Studien passieren, man möchte ja nichts übersehen, also würde man auch allerlei Dopplungen doppelt "ergänzen" als auch allerlei Studien, deren Ergebnisse einen sehr geringen bis keinen (nachhaltigen) Wissensgewinn oder zumindest nützlichen Wissensgewinn erbringen. Von den in vielen Fällen sicherlich sinnlosen "Ergänzungen" ganz zu schweigen. Man hätte also eine große Arbeitsbeschaffungsmethode (ausschließlich für Akademiker), deren wissenschaftlicher Gewinn zweifelhaft wäre und deren Umfang nicjt bewältigbsr, selbst wenn man alle aktiven Studien nicht weiter verfolgen würde, alsp abgesehen eben diejenigen, die sich mit dieser sinnlosen Aufgabe beschäftigen würden. Man würde seine Zeit und Ressourcen verschwenden, nachhaltig finanzierbar wäre das ebenso nicht, während gleichzeitigbei uns ganz viel Fachkräftemangel besteht, in vielen anderen Ländern ebenso, wir eigentlich riesige Aufgaben zu bewältigen haben, bspw. den Klimaschutz, während wir auf der ganzen Welt viel Armut, Analphabetismus, Bildungsungerechtigkeit, humanitär widrige Bedingungen und vieles mehr schlimmes haben. Eigentlich müsste man für die Bewältigung dieser sinnlosen Aufgabe allerdings zuerst so viele Menschen wie möglich als Alphabeten mit sehr guter Bildung engagieren und entsprechend bildungspolitisch weltweit sehr viel verbessern. Aber selbst dann hätte man keine richtoge Quaöitätskontrolle, weil bei der Menge Wissen und dem Anspruch, alles miteinander zu verknüpfen, ggf. zu korrigieren und ergänzen, einfach keine Übersichtgewährleistet werden könnte und auch über die Einschätzung, ob eine Übersicht besteht und wie gut diese und die Qualitätssicherung funktioniert, mit 8 Mrd. Menschen keine Einigkeit erzielt werden könnte und Objektivität nixht andauernd zweifelsfrei festgestellt werden könnte. Wenn man für diese Aufgabe ausschließlich oder unterstützend KI nutzen würde, könnte auch diese nicht sicher fehlerfrei arbeiten und würde bei großer Beachtung ihren Aussagen gegenüber eine riesige potenzielle Gefahr bilden. Ebenso würden die Ergebnisse für eine noch längst nicht tiefe Überprüfung noch immer viel zu schwer zu überprüfen sein und wenn man sichergehen wollte, müsste man es sowieso tiefer analysieren. Dafür müsste die KI im übrigen alles gut verständlich darlegen können, ihren ganzen Weg zur Erkenntnis (also dem Ergebnis) ... Merkste selber, oder? @@silsternensand
@@MrHerrS Natürlich ist das technisch und administrativ möglich. Es ist sogar simpel. Setzt einfach OpenAI, ChatGPT, von mir aus auch Grok ein. Das scannen der Inhalte ist dann automatisch inkludiert.
@@silsternensand Das klingt nicht vernünftig. Ein Artikel kann über hundert Referenzen haben, zu jeder eine Erklärung anzugeben, wieso man sie zitiert hat, wäre extrem umständlich und Zeitverschwendung. Umgekehrt sollte eigentlich niemals eine passende Referenz ausgelassen werden, so wie die Doktorantin es zuerst getan hat. Stattdessen war ihr zweiter Ansatz, die Studie zu zitieren, aber zu kritisieren, der richtige. Das ihr das verboten wurde war unverschämt.
Während meiner Physikdoktorarbeit erlebte ich, wie ein Kommilitone in seiner Doktorarbeit von einem Postdoc massiv dazu gedrängt wurde, seine Ergebnisse im Sinne des gewünschten Forschungsergebnisses zu manipulieren (durch das Setzen entsprechender Datenschwellenwerte in verschiedenen Auswertegruppen). Der arme Junge war ein sehr lieber Mensch und konnte sich nicht dagegen wehren. Durch die Anwendung eines neuen analytischen Datenmodells auf alte Datenerhebungen fand ich heraus, dass einige statistische Annahmen grob unzutreffend waren. Da jedoch viele renommierte Arbeiten auf diesen nun falschen Annahmen basierten, durfte dieses Ergebnis nicht veröffentlicht werden. Dies war einer der Gründe, warum ich meine Doktorarbeit abgebrochen habe. Ich habe es nie bereut.
So endet die Geschichte ähnlich wie in der Politik. Die Betrüger setzen sich durch und erhöhen somit die Eintritsschwelle für ehrliche Menschen und letztere verbleiben im Dunkeln.
Ein Freund meines Bruders war in einer ähnlichen Situation. In seiner Forschung für die Dissertation (Medizin) waren die Ergebnisse auch nicht die Ergebnisse rausgekommen, die seine Fakultät haben wollte. Er hat sich dann ein anderes Thema gesucht.
Holy Moly, bei jedem neuen Punkt dachte ich erst so "Ne, wie kann man denn DERART BLÖD sein, das macht doch keiner SO dämlich"... und dann is mir eingefallen die haben n p-Wert von 0,001 hingedreht anstatt, idk, zumindest 0,01 zu nehmen. Das heißt, man könnte wenigstens vermuten dass die werte Frau (und Konsorten) schon seehr überzeugt gewesen sein dürfte, NICHT erwischt zu werden, andernfalls hätte man ja vermutlich eher einen p-Wert genommen der statistisch signifikant und immer noch sehr gut is, aber eben nicht super, SUPER gut. Ich mein wenn ich jetzt als Materialprüfer ein Produkt hab dass eine Belastung von sagen wir 10 wasauchimmer aushalten muss, unds stellt sich raus das haut nicht hin, was abern Problem darstellt für die Firma, den Kunden, whatever - dann schreib ich doch meinetwegen hin das Ding packt 10,7 oder meinetwegen vielleicht 11, aber ich muss mir da schon SEEEHR sicher sein dass niemand jemals dahinterkommt, damit ichs mir rausnehm in dne Prüfbericht eine 22 zu schreiben wenn ein üblicher Industriestandard für ein derartiges Produkt bei sagen wir 13 liegt :D
Oder man ist sich (offenbar zu recht) sicher, dass dutzende peer reviewer, elite unis und fachkollegen völlig unreflektiert alles glauben was man postuliert und einen bis zur Lächerlichkeit dafür durchbefördern. Pech hat man offenbar nur, wenn nach Jahren dann doch mal jmd mit Hirn und Eiern kommt...
Kann nur die drei-teilige Videoreihe "The man who almost faked his way to a nobel price" vom englischsprachigen TH-camr "BobbyBroccoli" sowie andere Videos auf seinem Kanal empfehlen. Da geht es viel um exakt diese Thematik, die immer wieder passiert ist und wohl auch immer wieder passieren wird.
Bobby hat mittlerweile einen Dreiteiler über den Cold Fusion Hoax in den 80ern veröffentlicht, der war eigentlich noch besser als dein Beispiel. Klasse Kanal.
Nach dem ich von dem Datenfälschungsskandal aus Stanford gehört hatte, wurde ich so "paranoid" und habe bei jeder Studie genau hingeschaut, ob die Bilder auch so zusammen passen wie sie dort abgebildet waren. Zu der Zeit war ich mitten in der Bachelorarbeit im Biologiestudium und dachte, dass Datenfälschung echt überall vorkommen kann, habe zum Glück aber nichts gefunden und konnte mit der Literatur weiterarbeiten.
Hier treffen auf anschauliche Weise zwei problematische Gegebenheiten unserer heutigen Zeit zusammen. Zum Einen der Wunsch nach Anerkennung, der bei vielen Menschen inzwischen so stark ist, dass sie auch sehr zweifelhafte Wege beschreiten um an ihr Ziel zu kommen. Zum Anderen die vollständige Unfähigkeit erwachsener Menschen Verantwortung für ihr Handeln und der daraus enstehenden Konsequenzen zu übernehmen. Ganz gleich ob Wissenschaft, Medien, WIrtschaft oder Politik. Dieses äußerst problembehaftete Verhalten verbreitet sich gerade in allen Bereichen unserer Gesellschaft.
Reine Gefühlsduselei. Das sind keine Probleme der heutigen Zeit, der Wunsch nach Anerkenung und das Ablehnen von Verantwortung existieren seit dem es Menschen gibt. Schon die alten Griechen haben darüber geschrieben. Es gibt null Belege dafür, dass diese beiden Sachen heute stärker auftreten als früher. Sie schreiben hier bloß was sie fühlen, ohne Belege. Das Problem heutzutage ist vielmehr, dass die Konkurenz in der Wissenschaft so groß geworden ist, dass Wissenschaftler unter Druck stehen, ständig bahnbrechende, signifikante Ergebnisse zu produzieren oder sonnst ihren Job verlieren oder keine weiteren Fördermittel bekommen. Es gibt also einen großen Anreiz, Ergbnisse zu fälschen und zu wenig Systeme Fälschungen zu finden. Der Anreiz zu Fälschen ist evidenterweise heutzutage größer, nicht der Wunsch nach Annerkennung oder das Fehlen von Verantwortungsbewustsein. Die sind heute genauso groß wie es immer war und immer sein wird.
Professoren stehen wohl auch unter dem Druck ständig was neues veröffentlichen zu müssen. Daher sind auch viele Arbeiten darunter die absoluter Schrott sind und teils von den gleichen Leuten wenig später widerlegt werden.
Ich sehe das Problem eher anders gelagert. Hier treffen publication pressure und ein marodes wissenschaftssystem, in dem Ruf "getraded" wird auf die Unfähigkeit kritisch und logisch zu denken.
Ich komme zwar aus einem anderen Fachbereich, aber ein großes Problem bei uns ist, dass Reproduktion von Veröffentlichungen kaum Anerkennung finden. Dementsprechend wird diese eigentlich gerade für Nachwuchswissenschaftler sinnvolle Tätigkeit (lernen durch die Reproduktion erfolgreicher Veröffentlichungen) quasi wertlos und nicht durchgeführt. Es sollte eigentlich auf Konferenzen feste Tracks geben, die Reproduktionen vergangener Veröffentlichungen einen festen Platz geben, damit diese nicht mit neuen Veröffentlichungen konkurrieren müssen. Aktuell würde ich sagen kann man in meinem Fachbereich ziemlich viel Quatsch veröffentlichen, der wird dann einmal einem kleinen Publikum vorgestellt und nicht mehr hinterfragt. Die Reviewer haben ja gar nicht die Möglichkeit zur Reproduktion und können nur das Vorgehen und die Relevanz der Ergebnisse bewerten.
Das wichtigste wäre einfach Open Data. Es ist so nervig, wenn nicht ganz einsichtig ist, wie die Daten bezogen wurden. Danke für das Video Dr. Whatson :D
Das ist tatsächlich ein Problem! Anstatt einen Artikel zu veröffentlichen, dass sich bestimmte Zusammenhänge nicht nachweisen ließen, werden Fragestellungen verändert oder eben mehr oder weniger betrogen. Sehr gut finde ich den Ansatz, die Arbeiten schon im Vorfeld anzumelden und später auch bei unerwarteten Ergebnissen eine Veröffentlichung zu bekommen. Der wissenschaftliche Nachweis, dass es bestimmte Zusammenhänge nicht gibt, kann auch sehr informativ sein. Datenfälschung schadet allen.
Zitat "Sehr gut finde ich den Ansatz, die Arbeiten schon im Vorfeld anzumelden und später auch bei unerwarteten Ergebnissen eine Veröffentlichung zu bekommen." Zitat Ende. Das sollte doch eigentlich Standard sein. Wenn man nur veröffentlicht, wenn eine Studie die erwarteten Ergebnisse bestätigt, hat das herzlich wenig mit Wissenschaft zu tun. Eine Studie sollte immer Ergebnisoffen sein. Und wie Du richtig sagst, auch wenn bestimmte Zusammenhänge nicht bestätig werden, ist das ein wichtiges Ergebnis. Aber immerhin, selbst in diesem schwerwiegenden Fall hat sich letztlich gezeigt, dass Wissenschaft in der Lage ist, sich selbst zu korrigieren. Das ist doch sehr positiv.
12:02 "Tendenz steigend" Was steigt? Die Zahl der zurückgezogenen Paper oder der Anteil derselben? Wollen wir mal ehrlich sein: Die Zahl zurückgezogener Paper ist auch ein gutes Maß für den Publikationsdruck. Der Wissenschaftszirkus steuert leider immer mehr darauf hin Ergebnisse nicht mehr als Erkenntnisgewinn zu betrachten sondern als "brauchbar" oder "wichtig" einzustufen. Wenn die Leute aber auch weniger "positiv" zu bewertende Ergebnisse und Theorien als reine Ergebnisse publizieren würden, wäre der Wissenschaft viel, viel mehr geholfen. Beispiel: Für jede Synthese in der Organik werden wohl hunderte oder tausende Experimente gemacht, bei denen herauskommt, wie man nicht oder nur teilweise das gewünschte Ergebnis erzielt. Diese Ergebnisse sind extrem wichtig für andere, die dann sehen können, was NICHT klappt oder sich überlegen können WARUM etwas bei diesem Schritt nicht geklappt hat. Oder die genau die nicht erwünschten Reaktionsschritte machen wollen, weil sie etwas anderes synthetisieren wollen. Veröffentlicht wird aber nur die Synthese. Schick, aber eben nur ein Bruchteil der sinnvollen Informationen.
Hallo, dickes Lob an Euch! Genial vorgetragen!!! Es ist leider in der Wissenschaft so, dass häufig Daten manipuliert werden. Oft werden auch andere Publikationen falsch interpretiert oder sogar überinterpretiert. Vielen lieben Dank für dieses wundervoll aufschlussreiche Video! Ihr macht das genial. Liebe Grüße aus der Forschung.
Eine solche pauschale Verallgemeinerung ist natürlich nicht wissenschaftlich und daher nicht zu halten. Der Schaden solcher Fälle wie der beschriebene ist immens, denn es wird nicht nur direkt Schaden angerichtet, sondern, wie man an dieser unzulässigen Verallgemeinerung sieht, auch das Vertrauen in die Wissenschaft erschüttert.
@@_TbT_"[...]es wird [...] das Vertrauen in die Wissenschaft erschüttert." M.E. im Gegenteil: es ist ein Praxisbeispiel des in der Wissenschaft "eingebauten Vertrauens-System" der Falsifizierbarkeit.
@@patr1ckbenz Da geb ich Dir Recht, der Kommentar davor spricht jedoch davon, „dass in der Wissenschaft häufig Daten manipuliert werden“. Wenn das nach einem solchen Video hängen bleibt, ist das nicht gut.
@@_TbT_ @patr1ckbenz vielen Dank für Euren Kommentar. Ich kann Euch verstehen , möchte aber hierzu kurz nur anmerken: Ich arbeite momentan selbst als Vollzeitwissenschaftlerin im akademischen Bereich und wollte hier nochmals einige Punkte anmerken, welche im Video nicht wirklich explizit aufgeführt wurden. Mir ist es wichtig, dass die Allgemeinheit erfährt was genau bei uns in der Wissenschaft schief läuft und das hat Doktor Whatson schon sehr gut dargestellt. Mich erschüttert es tagtäglich immer wieder, wie einige Dinge gehandhabt werden. Fakt ist, es muss ein Wandel her.
Das passt ein bisschen zu dem, was ich im letzten Live-Stream gefragt habe, ob und wie betrogen wird (verkürzt). Da ging es mir auch eher darum, ob Arbeiten schlechter bewertet würden, weil sie von bestimmten Leuten sind.
Es sollte die Norm werden, dass Journals Statistiker einstellen, die kompletten Zugriff auf die Daten bekommen und rein nach Fehlern in der Statistik suchen. So wären Fälschungen, wie der von Francesca Gino, deutlich schwerer durchzubekommen. Zusätzlich hätte es den Vorteil, dass auch nicht bösartige Fehler gefunden werden. Und sowieso sollte es mehr der Standard werden, dass Daten öffentlich einsehbar gemacht werden, ohne dass man persönlich beim Professor nachfragen muss. Aktuell fragt man sich, was Journals überhaupt für Arbeit leisten und womit sie die enormen Summen an Profit überhaupt verdient haben.
Es gibt zu den Jornals schon Videos. Ich glaube sogar hier auf dem Kanal. Ist aber schon über 1 Jahr her wenn ich mich recht entsinne. Kurz, sie verdienen es nicht. Sie sorgen dafür, das sie es verdienen.
@@davidkummer9095 Gutes Gedächtnis! :) "Publish or Perish: Die Macht der Wissenschaftsverlage" heißt das Video: th-cam.com/video/Y0YYgdSEdu4/w-d-xo.html lG, Dennis
Verdienen tun die Verlage. Warum, das weiß kein Mensch. Die Verlage organisieren nur den Druck und den Vertrieb und die Werbung. Aber eigentlich braucht das keiner, weil die Artikel ohnehin online recherchiert, gelesen und weiterempfohlen werden. Die eigentliche Arbeit, Artikel schreiben, begutachten, setzen, zusammenstellen, usw. machen alles die Wissenschaftler im Rahmen ihrer Uni-Anstellung. Die verdienen damit gar kein Geld.
Bei meiner Diplomarbeit ist mir auch eine echt komische SItuation untergekommen. Grob gesagt, ich sollte eine bestimmte Klasse A von Verfahren untersuchen. Und mein Professor wollte, dass ich ein bestimmtes Paper mit aufnehme, weil das eine Brücke zu Verfahren B darstellte (habe ich auch getan). In diesem Paper behaupteten die Autoren, Verfahren A auch mithilfe von Verfahren B realisieren zu können. Dieselben Autoren haben übrigens Verfahren B auch erfunden und sind die einzigen die darüber schreiben. Hmm. Ich lese mir das Paper durch, da steht insbesondere der Satz, das Verfahren B ja bekanntermaßen realisierbar ist, siehe Artikel derselben Autoren vom selben Jahr. Hmmm. Ich lese mir den anderen Artikel durch, wo sie dann in einem Nebensatz schreiben, dass für Verfahren B noch Verfahren A benötigt wird, das sie ja aber in ihrem anderen Artikel realisieren. Sowas nennt man glaube ich "Beweis per Zitat", aber auf jeden Fall ein Zirkelschluss. Sie hätten einfach etwas bescheidener sein können und sagen, Verfahren A und B sind äquivalent, weil man aus dem einen das andere bauen kann (so habe ich es dann auch in meine Arbeit aufgenommen). Stattdessen erwecken sie den Eindruck, dass sie etwas herausgefunden haben, was weiterhin unklar war. Glücklicherweise hat ein anderer Forscher dann tatsächlich eine Lösung gefunden, welche ich dann in den Fokus meiner Arbeit gestellt habe.
Zur wissenschaftlichen Arbeit gehört auch die Wiederholung von Versuchen/Studien um das Ergebnis zu überprüfen. Das muss kein Verdacht wegen Betrugs sein. Es gibt einen Verdacht, der immer gerechtfertigt ist: Menschen machen Fehler. Fehler darf man auch nicht einseitig als etwas Negatives sehen. Aus Fehlern lässt sich häufig etwas lernen und sie können überraschend auch zu interessanten Erkenntnissen führen. Daher würde mich interessieren, ob es auch Doktor-Arbeiten gibt, wo einfach eine Studie noch einmal durchgeführt wird.
Gute Frage. Ich denke, zu einer Doktorarbeit gehört mehr als nur das Wiederholen bereits gemachter Studien. Schlicht, weil von einer Doktorarbeit verlangt wird, dass sie einen neuen Beitrag leistet. Aber, wenn man im Rahmen seiner Doktorarbeit auf ein Problem stößt und dann auf Verdacht, die Grundlagen nochmal überprüft, wäre das, meiner Meinung nach, ein Kapitel in einer Doktorarbeit wert. Aber ich bin kein Prof und kann sowas nicht mitentscheiden ;)
@@heliopunk6000 vielleicht ist gerade dieser Anspruch zu hoch angesetzt und Teil des Problems. An sich geht es doch eher um den Beleg, selbständig wissenschaftlich gearbeitet zu haben. Das ginge auch durch Wiederholung und kritischer Auseinandersetzung. Und einen wissenschaftlichen Beitrag leistet man so auch - ich zumindest halte solche Überprüfungen für essenziell.
Eine reine Wiederholung einer bereits durchgeführten Studie wäre für eine Doktorarbeit sehr wahrscheinlich nicht ausreichend. Was vielleicht möglich wäre, wäre ein Vergleich von verschiedenen Arbeitsweisen. Denn auch, wenn man sich damit auseinander setzt und alles überprüft, am Ende muss man die Schritte, Abläufe und den Aufbau der grundlegenden Studie ja direkt nachvollziehen und gerade dieses Aufbauen einer Studie an sich mach schon viel Arbeit aus, die man sich selbst ja dann spart.
@@DeadGirlsPoem sehe ich nicht so. Den Aufbau der Studie muss man ja ebenso beurteilen, weil ein Fehler auch dort liegen kann. Das erfordert, dass man einen eigenen Aufbau entwickelt, den man dagegen stellt.
11:44 Plagiate finde ich ein heikles Thema. Eine Dissertation besteht nun mal zunächst aus einer Einleitung, in der man dem fachlich gebildeten Leser überhaupt erst mal darstellt, woran man arbeitet. Es werden also seitenweise bekannte Fakten aufgezählt. Da in einem Arbeitskreis aber sehr viele an sehr ähnlichen Themen arbeiten, sind viele Einleitungen inhaltlich eigentlich identisch und schon zigmal zitiert. Wenn da mal aus Versehen etwas doppelt oder nicht sauber zitiert ist: who cares? Aber im experimentellen Teil und der Auswertung sollte schon klar werden, was auf dem eigenen Mist gewachsen ist und was nicht. Wenn man tatsächlich auf dem Gebiet vernünftig gearbeitet hat, muss man sich ja eher überlegen, was man von den Ergebnissen alles rausschmeißt, als dass man denn wirklich noch mehr Inhalt braucht.
Ich finde es richtig schön, dass das wissenschaftliche System auf einer Machtstruktur aufbaut. Wissen, als das wichtigste Gut der Menschheit, sollte definitiv von oben nach unten beherrscht werden. Das komplette System ist darauf ausgelegt, sich möglichst an bestehender Struktur und nicht an der Sache selbst zu orientieren. Mag das nun der Weg vom Dozent zum Doktor sein, wie bei dieser Geschichte, wenn erstmal die Kritisierende verleumdet wird und erpresst werden soll (meist über kleine Aussagen, die als Drohung zu verstehen sind), oder dass es nunmal ein klares Eigeninteresse daran gibt strukturelle Fehler nicht aufzudecken. Das schafft Vertrauen. So kommen wir vorran. Mehr kapitalistisches System in Wissen schaffenden Bereichen.
Sehr interessantes Video. Ein großes Problem ist auch der Zwang viele Publikationen mit zu strengenten Zeitlinien von den Wissenschaftlern zu fordern um mehr oder weiter Fördergelder zu bekommen. Wissenschaft ist nur leider keine Akkordarbeit bei dem man z.B. nur ein Fahrzeug zusammen bauen muss.
Die Wissenschaft braucht eine Reform und nicht dem Markt überlassen, es geht nicht mehr darum zu forschen sondern aufzusteigen egal was es kostet und das ist ein Problem, seit Jahren verringert sich die Wissenschaftlichen Entdeckungen außerdem in der Grundlagen Forschung.
Super Video (wie immer!) Ich hätte allerdings eine kleine Kritik zum p-Wert. Er wird hier (wahrscheinlich zur besseren Verständlichkeit) als das Maß aller Dinge in wissenschaftlichen Studien dargestellt, als was er leider auch oft wahrgenommen wird. An der Stelle wäre es m.E.n. sinnvoll gewesen, auf die großen (!) Schwächen des p-Werts einzugehen. Er sollte niemals allein als Kriterium herangezogen werden: 1. Er zeigt lediglich statistische Signifikanz an, ohne eine Aussage über Effektstärke zu haben. Hierzu sollten zumindest Konfindenzintervalle o.ä. zusätzlich betrachtet werden. Häufig wird dazu das Bestimmtheitsmaß (R-Quadrat) herangezogen, was aber ebenfalls seine Schwächen hat. Das wird aber eigentlich nirgendwo in ausreichender Tiefe gemacht, weil die Interpretation dann zwangsläufig subjektiver wird. 2. Stochastisch lässt er sich interpretieren als "Wahrscheinlichkeit, die Daten oder extremere Daten zu beobachten, wenn meine Hypothese wahr ist". Das Konzept der Nullhypothesentests (NHST) und statistischer Signifikanz ist absolut unintuitiv und führt leider häufig zur Fehlinterpretationen der Aussagekraft von Daten. Gesucht sein sollte eigentlich die Wahrscheinlichkeit, dass die Hypothese wahr ist, bei den gegebenen Daten. Das lässt sich mit NHST aber nicht abbilden. 3. Zudem erhalte ich mit ausreichender Stichprobengröße irgendwann stets signifikante Ergebnisse und einen kleinen p-Wert. Ich habe selbst in meiner Dissertation mit sechsstelligen Datensätzen gearbeitet und genau dieses Problem gehabt. In der Medizin ist das wahrscheinlich weniger relevant, aber trotzdem nicht irrelevant. 4. Die üblichen Signifikanzschwellen sind komplett arbiträr. Ihr zeigt es im Video: ein p-Wert knapp über 5% ist zuviel, knapp darunter aber okay. Deshalb ist der Anspruch, eine "Ja oder Nein"-Inferenz zu Zusammenhängen zu erreichen, nicht sinnvoll. 5. Sowohl der p-Wert als auch das Bestimmtheitsmaß sind sehr anfällig für Ausreißer. Wenn man nicht aufpasst, erhält man ggf. sehr geringe p-Werte und hohe Bestimmtheitsmaße, weil man einen Ausreißer gut erklären kann, während man die eigentliche Punktwolke nicht wirklich im Modell abbildet. Daher kann ich jedem, der mit Daten arbeitet, nur wärmstens Bayesianische Statistik empfehlen. Wenn man die Grundlagen davon einmal verstanden hat, erweitert sich der Werkzeugkasten ungemein und man blickt anders (und fundiert kritischer) auf bestehende Forschung.
Sehr gute Ergänzung. Der P-Wert ist erstmal nur als Anhaltspunkt sinnvoll. Wenn der P-Wert sehr hoch ist, kann man zumindest direkt mal schauen, wo es Probleme gibt, wenn er niedrig ist, sich vieles andere dann anschauen. Ich würde neben dem p-wert mir sowieso immer die Daten auch anschauen
Erinnert mich an den "Physik-Fälscher" Jan Hendrik Schön von vor 20 Jahren. Seither wurde das Peer review in der Physik verschärft. Die angebliche Raumtemperatur -Supraleitung vor ein paar Monaten konnte auch relativ schnell entlarvt werden, das war eh nicht nach den üblichen Review Prozessen abgelaufen.
Danke. Das war interessant. Im Psychologiestudium wird die Replikationskrise natürlich gleich in den ersten Semestern besprochen. In Statistik lernen wir über p-Hacking und andere Methoden etc., aber wie das Ganze ins Rollen kam, das wusste ich noch nicht. Merci beaucoup!
So sieht Wissenschaftsbetrieb im Kapitalismus halt einfach aus. In einigen Fachbereichen ist man bereits soweit, dass man vor Beginn der Untersuchung die Datenerhebung und Auswertung exakt angeben muss und später für die Publikation dann auch nur diese Vorgehensweise anwenden darf. Wenn dann nicht herauskommt, was man wissen wollte, darf man seine Vorgehensweise nicht abändern, um noch irgendein Ergebnis zu produzieren.
Auch in anderen Wirtschaftssystemen wird gelogen und betrogen. Es sind die Menschen, die ihre Bedürfnisse befriedigen wollen und dabei moralische Hürden bei Seite schieben. Natürlich ist Wissenschaft die unter Finanzierungsdruck steht sehr viel anfälliger für Betrug, aber wenn es uns gelingen würde ein gewisses Maß an ethischen Maßstäben zu erhalten, hätte auch dieser Druck keine Auswirkungen mehr. Es sind die Menschen, die ein System schlecht oder gut machen können.
Bei der Zulassungsstudie von Comirnaty hat es die EMA beispielsweise akzeptiert, dass die Studie nicht dreifachverblindet sondern nur "beobachterverblindet" war. Und was hieß "beobachterverblindet"? Es hieß, dass Patienten, Ärzte und Prüfer alle über die Zuordnung zu den Probandengruppen bescheid wussten, wie die Whistleblowerin Brook Jackson aufgedeckt hat. Und bei der Zulassungsstudie ist man während der Durchführung auch vom angemeldeten Protokoll abgewichen. Comirnaty hat aber trotzdem im Dezember 2020 eine vorläufige Zulassung bekommen und als klar war, dass keine besseren Daten nachgereicht werden können, auch noch eine vollständige Zulassung im Oktober 2022.
Vielleicht machst du noch ein Video zu den Datenanalysen oder zeigst, dass man solche Daten u.a. nach dem Benfordschen Gesetz analysieren kann. Gerade bei Benford kann man ja relativ einfach verstehen, warum künstlich erzeugte Daten gerne abweichen vom erwarteten Ergebnis. Klar ist das etwas nerdy aber, es gibt vielleicht auch einen Einblick auf das Berufsfeld der Datenforensik.
Clevere Datenfälscher werden die Benford-Verteilung mit berücksichtigen. Aber wahrscheinlich haben Fließbandfälscher einfach gar keine Zeit für qualitativ hochwertige Fälschungen.
Tatsächlich ist das Fälschen von Daten, die danach noch dem Benfordschen Gesetz entsprechen nicht so einfach. Zumindest bisher war es das nicht, ob es mit dem Einsatz von AI einfacher geworden ist, weiß ich ehrlich gesagt nicht. Ab da wäre dann der Dataforensiker zu befragen und genau das wäre für ein Video sicherlich sehr spannend.
Eigentlich komisch, dass nur Studien veröffentlicht werden die einen bestimmten p-Wert erreichen. Es können doch auch "Fehlschläge" interessant sein, damit nicht andere in die gleiche Sackgasse laufen. Vielleicht auf einer Seite einige dieser Studien, mit Link zu weiteren Infos, auflisten. Oder gibts das schon irgendwo.
Hab noch nicht alles angeschaut, aber die Erklärung für den P-Wert stimmt so nicht ganz. So, wie du ihn erklärst, hätte ich ihn früher auch erklärt, ist aber nicht richtig: Merk dir einfach den Satz: Der P-Wert gibt die Wahrscheinlichkeit der Daten an, unter der Annahme, das H0 (Nullhypothese) gilt. Ist der Wert kleiner als die vorher festgelegte Schwelle wie z. B. 0,05 (also unter 5%), dann können wir H0 ablehnen und die H1 (Alternativhypothese) annehmen. Kurz gesagt, die Daten sind für uns signifikant. Mehr macht der aber nicht. Dementsprechend sagt der auch nichts weiter über die Daten aus.
Ich verstehe deine Kritik nicht. Genau das wurde doch im Video so erklärt, nur eben einfacher. H0 gilt = Datenunterschiede basieren auf Zufall(Wortwahl im Video) Wo ist der Fehler?
@@NeuroticNOOBWenn ich es richtig verstehe: Im Video wurde es so erklärt, dass es um die Wahrscheinlichkeit geht, dass H0 gilt, auf Grundlage der erhobenen Daten. Der P-Wert gibt aber andersrum die Wahrscheinlichkeit an, die erhobenen Daten (oder noch weiter von H0 abweichende) zu erhalten unter der Annahme, dass H0 gilt. Also korrekt wäre p(Daten|Annahme), die Erklärung klang aber wie p(Annahme|Daten), falls die p(x|y) Schreibweise Ihnen geläufig ist.
@@felix2938 Ich setz jetz mal vorraus dass dir bekannt is, dass 0,05 in der Statistik gleichbedeutend mit 5% ist, und versuchs mal anhand eines würfels zu erklären. Ein idealer Würfel würde jede Augenzahl mit einer Chance von 1/6 zeigen bei jedem Wurf. Jetzt kannst du natürlich 3x eine 6 in Folge Würfel obwohl du einen fairen Würfel hast, deshalb wirft man idR für sowas auch seeehr oft. Sagen wir du wirfst den Würfel 100x und davon bekommst du 25x eine 6. Das heißt, 1 von 4 Würfen war im schnitt eine 6 - also häufiger als mans eigentlich erwarten würde. Und sagen wir einfach mal du hast den Verdacht, der Würfel könnte gezinkt sein. Unsere "Nullhypothese" is jetzt erstmal dass er NICHT gezinkt is, also fair, also jede Augenzahl eine Chance von 1/6 hat. Jetzt betrachten wir dein Ergebnis, nämlich 25x eine 6 und 75x eine andere Zahl (der Einfachheit halber beschränken wirs jetzt mal auf die beiden Optionen). Unser p-Wert sagt uns jetzt, wie wahrscheinlich isses dass - unter Annahme der Nullhypothese, also dass der Würfel fair ist - trotzdem zufällig dein Ergebnis rauskommt? Jetzt legen wir einen p-Wert fest der uns gering genug erscheint damit mir sagen können, der is wahrscheinlich gezinkt - in den meisten Wissenschaften liegt der bie 5% bzw 0,05 oder noch niedriger. Wir sagen mal zum Spaß 5% ist unsere Grenze, also 0,05. Liegt unser Wert drunter nehmen wir an, der Würfel is gezinkt. Jetz müssen wir unsern tatsächlichen p-Wert berechnen. Die Erklärung zur Wahrscheinlichkeitsrechnung erspar ich mir hier mal, die Rechnung wird hier auch etwas lang wenn cih sie aufschreibe. Im Endeffekt rechnen wir aus, wenn der Würfel tatsächlich zu 1/6 eine 6 zeigt, wie hoch ist dann die Chance, mindestens(!) 25x eine 6 zu würfeln. Mindestens deshalb, weil unsere Chance (25 von 100, also 1/4) ja HÖHER ist als die Nullhypothese von 1/6. Diese Wahrscheinlichkeit die dabei rauskommt (=unser p-Wert) is die Wahrscheinlichkeit, dass wir mit einem fairen Würfel der im Schnitt in 1 von 6 Fällen eine 6 ergibt tatsächlich bei 100 Würfen dann 25x eine 6 Würfeln. Liegt die über unserem festgelegten Wert von 0,05 (=5%), dann können wir annehmen dass unsere Nullhypothese gilt (das heißt dass der Würfel tatsächlich fair ist) - liegt der Wert aber bei 0,05 oder DARUNTER (bzw bei oder unter 5%), dann dürfen wir annehmen, dass die "Alternativhypothese" (ins unserem Fall, dass der Würfel gezinkt is) gilt. Wie gesagt spar ich uns die genaue Rechnung hier mal, kannst du aber bei Interesse recht schnell online nachschaun. In unserem Fall kommen wir aber auf einen p-Wert von 0,02. Wir können also davon ausgehn, dass der Würfel gezinkt is.
Die einfachste Antwort könnte Zeitdruck sein. Weil alles und jeder von der Universität mit einem Akademikertitel zurück kommen soll (außer man heißt Elizabeth Holes) werden die Peer-Gruppen mit Arbeiten überschüttet, und das heißt sie sind nicht in der Lage diese Arbeiten gründlich zu überprüfen. Werden darin Koryphäen zitiert, und die Arbeiten schließen logisch an die Arbeit der Koryphäe an, dann wird kaum jemand den Autoren kritisieren. Baut die Koryphäe aber selber den Mist, hat sie sozusagen einen Schutz durch ihren Sonderstatus. Und so kann die Fehlinformation sich ausbreiten wie ein Pilz im Baumstamm.
Auch wenn man heraus findet, dass etwas nicht funktioniert, kann das für die Wissenschaft ein Fortschritt sein. Es kann anderen diesen Versuch ersparen oder sie finden etwas, was die ursprünglichen Autoren übersehen haben.
Die entscheidende Frage ist doch folgende... Was ist wahrscheinlicher: 1. Dass solche Fälle nur die Spitze eines enormen Eisbergs sind, und es für jeden Fall der herauskommt Dutzende gibt, die nie aufgedeckt werden ODER 2. das solche Fälle nur absolute Ausnahmen sind, die das ganze Peer-Review und Gutachter etc. Prinzip nicht wirklich in Frage stellen. Mindestens genau so ärgerlich ist aber das gegenteilige Phänomen: dass nämlich Forschungsergebnisse die nachweislich korrekt sind ihre Wirkung nicht entfalten können, weil es politisch nicht gewollt ist. Das trifft zum beispiel auf viele Erkenntnisse beim Thema 'Drogen' zu, die die ganze internationale Verbots-Politik der letzten Jahrzehnte als völlig überzogenen und kontraproduktiven Unsinn entlarven. Die Daten und Zahlen sind eindeutig. Aber die Politik ignoriert sie einfach. Und ja, die Wissenschaft hat natürlich die Fähigkeit, sich selbst zu korrigieren. Aber muss man das so bejubeln? Bis es mal zu einer Korrektur kommt kann schon sehr viel schaden angerichtet sein, für den ein einzelner Kopf dann sich gar nicht mehr grade stehen kann. Und vor allem: wie 'dumm' ist die Wissenschaftsgemeinde denn, dass sie die Maßnahmen, die am Ende genannt werden, erst seit kurzem einführt - statt dass sie schon immer eine Selbstverständlichkeit waren?
"Die Daten und Zahlen sind eindeutig" Viele der Daten und Zahlen sind gar nicht so eindeutig. Also ja, die Zahlen an sich schon, die jeweiligen Erhebungen, die zu diesen geführt haben, häufig nicht. Dieser Schritt findet aber auch weit weniger Beachtung, wenn die Ergebnisse so eindeutig sind. Magst du einmal die für dich eindeutigen Studien zum Thema 'Drogen' nennen, bei der die Ergebnisse sowie die Methoden zur Erhebung, die zu den Ergebnissen geführt haben, keine Kritik zulassen und für alle ausschließlich eindeutig sind und ebenso implizieren, dass die Erkenntnisse 1:1 auf bspw. Deutschland übertragen werden kann? "wie 'dumm' ist die Wissenschaftsgemeinde" Hinter den Publikationen steckt ein großes Geschäft. Eine weitere Frage in dem Zusammenhang ist: Wieso gibt es keinen grundlegenden freien Zugang zu staatlich finanzierter wissenschaftlicher Arbeit? Ausnahmen kann es geben, aber aktuell ist es eher umgekehrt.
Zum Peer-Review gab es schon in der Vergangenheit einige Artikel. Das lässt sich ganz einfach umgehen bzw. aushebeln, spätestens wenn Geld ins Spiel kommt. Da wurden schon Spaßeshalber mal Auszüge von "mein Kampf" als wisschenschaftliche Arbeit durchgereicht und keiner hatte ein Problem damit. Dass solche Fälschungen noch geschützt werden zeigt ja der Anfang des Videos. Stellt man Fragen wird man als unbequem abgesägt.
Das ist eines der Beispiele, warum es in der Welt oftmals eher um "Glauben", statt um "Wissen" geht. Denn "gemäß einer Studie" besagt erstmal noch gar nichts. Wirklich wissen, ob die Studie ihr Salz wert ist, weiß man, wenn man sich richtig dort eingearbeitet hat und mehrere Fachwerke darüber gefunden hat, die es bestätigen/widerlegen - oder man die Versuche und die Behauptungen der Studie selbst überprüft hat.
Wenn ich nachweisen kann, dass da was nicht stimmt und meine betreuende Person trotzdem drauf besteht, das so zu machen oder übernehmen, würde ich dringend die Person wechseln. Zudem find ich es sehr problematisch, dass entsprechende Studien nicht kritisiert werden sollen. Denn gerade das macht ja Wissenschaft, dass man Dinge hinterfragt und damit aber auch die Herangehensweisen von anderen Wissenschaftlern. Mache ich genauso, wenn ich zu einem Thema Inhalte finde, die aber so nicht übernommen werden können oder gar sollten. Übernimmt man Dinge ohne sie zu hinterfragen, dann würde ich bei ner Bachelorarbeit nen Auge zudrücken und eine schlechtere Note geben, wenn das nur nen kleinen Teil ausmacht und der Rest sehr stimmig ist, vor allem der Kern. Bei einer Masterarbeit würde ich mir das deutlich genauer anschauen und gucken, ob es einen signifikanten Einfluss auf die Arbeit hat. Wenn ja, dann ist es schon schwierig. Bei einer Doktorarbeit hingegen würde ich dann bei der Verteidigung der Arbeit ne gute Begründung erwarten, ansonsten wirds schwierig mit dem Titel, weil das einer der Kernkompetenzen ist, andere Arbeiten kritisch zu hinterfragen. Auch muss man dazu sagen, Datenfälschung passiert leider häufig. Vor allem mit zunehmendem Erfolg, denn viele Artikel rauszubringen ist sehr aufwändig, aber kann gut Geld bringt und vor allem auch nen guten Ruf. Ich weiß nicht, wie es in anderen Ländern ist, aber in Deutschland kann man sowas einfach melden und wird dann überprüft, wenn es sich um jemand handelt der an einer deutschen Uni entsprechend arbeitet bzw. seinen Abschluss gemacht hat.
Hast du ja gesehen, was mit Wissenschaftlern passiert ist, die sich gewagt haben, Drosten oder Lauterbach öffentlich zu widersprechen. Herr Wieler hat sogar ganz klar gesagt, dass bestimmte Dinge zu Corona nicht hinterfragt werden sollen.
@@amigalemmingNein, bzw kann mich nicht mehr dran erinnern, aber es ist ziemlich egal was passiert, denn das schlimmste, was dir passieren kann ist, dass du deine Stelle verlierst und suchst dir eine neue, wo Leute keinen Betrug betreiben
@@hawkhunter3256 Wissenschaftler, die Drosten oder Lauterbach oder Wieler widersprochen haben, darunter einige Professoren, sind von den Medien als Menschenverachter verrissen worden, ihnen rückte die Polizei mit Hausdurchsuchungen auf die Pelle, Prüfungen vom Finanzamt, Bankkonten wurden mehrfach gekündigt, alle Schikanen durch die Bank weg.
Ist das nicht ein Symptom das aus dem (finanziellen) Druck heraus entsteht Ergebnisse zu liefern? Gerade in der Forschung muss man ja schon fast bestimmte Themen und Ergebnisse forcieren um an Gelder zu kommen. "Open Source" in Sachen Rohdaten etc. sind sehr begrüßenswert.
ein großes Problem ist halt auch die extrem große Menge an veröffentlichungen, die dazu führt das ein P-Wert von 0,05 eben nur ein indiz und kein Beweis ist. Es würde ja reichen 20 Studien mit einem P-Wert von 0,05 und eine davon wäre statistisch gesehen ein False-Positive
Mir ist leider etwas ähnliches begegnet, aber in einer direkteren Art. Und zwar baute meine Promotion auf der Promotionsschrift, den Papern und Simulationen meiner Vorgängerin auf. Während meiner Promotion ist mir jedoch aufgefallen, dass die Ergebnisse zum einen nur durch Manipulation der Versuchsgeräte erhalten werden konnten und die Simulationen auf denen ich aufbauen und die ich weiterentwickeln sollte nicht mehr vorhanden sind. Während meiner Promotion wurden auch nur Paper zum einreichen bei Journals von der verantwortlichen Vorgesetzten zugelassen (bei mir und anderen Kollegen im gleichen Feld) die auch ins Bild der Vorgesetzten passten. D. h. entweder die Ergebnisse passen zu den zuvor gelegten Gedanken oder die Ergebnisse müssen nachträglich angepasst werden bzw. die Versuche angepasst werden. Ich denke ich muss nicht erklären das die Vorgesetzte auch die Vorgesetzte meiner Vorgängerin war. Naja, dementsprechend habe ich nur wenig als Erstautor veröffentlicht, da es in meinen Augen nicht vertretbar ist. Die Vorgesetzte ist mittlerweile auch Prof. an einer renommierten Uni. Dementsprechend habe ich für mich den Entschluss gefasst nach der Promotion nicht mehr in der Forschung tätig zu sein, da es für mich komplett das vertrauen zerstört hat.
Ziani hat bei Gino die Rohdaten für eines der Experimente aus dem ersten Paper direkt angefragt. Die anderen Daten waren online verfügbar. So beschreibt es Ziani in ihrem Blog. lG, Dennis
@@DoktorWhatson ah, okay, wirklich spannend. Vor allem der Idealismus und das Durchhaltevermögen sowas aufzudecken. Es ist immens wichtig, aber - das kann ich mir zumindest vorstellen - auch anstrengend und mit Ängsten über möglichen Reputationverlust behaftet. Danke für die Antwort 🙂
Ich glaube, die meisten Menschen verstehen nicht, wie leicht Statistiken und wissenschaftliche Arbeiten manipulierbar sind. Und die Menschen, die sich dieser Mittel bedienen, unterminieren natürlich für immer das Vertrauen in die Wissenschaft. Ich glaube, das sorgt auch oft für Missverständnisse zwischen Menschen, die der Wissenschaft vertrauen und diejenigen, die ihr eher nicht vertrauen. Die wissenschaftliche Methode an sich ist großartig, wenn sie korrekt angewendet wird. Aber sie ist leider auch leicht zu manipulieren und wird dann zum eigenen Vorteil missbraucht. Ich glaube Richard Feynman hat gesagt: Die Menschen sind gebildet genug, um wissenschaftliche Studien zu verstehen. Aber oftmals nicht gebildet genug, um sie zu hinterfragen.
Eine kleine Ergänzung noch: ich frage mich aktuell, wie viele solche Fälle unaufgedeckt sind, einfach weil der Betrug besser durchgeführt wurde. Ich meine, die Fehler in diesen Datensätzen waren ja bei genaueren hinsehen schon recht offenkundig. Auf jedenfall ein spannendes Video.
Die Menschen sind vor allem falsch vorgebildet. Die meisten bekommen den Eindruck, dass die Wissenschaft immer behauptet, dass jede Studie die absolute Wahrheit herausfindet. Und das ist halt nicht korrekt. Sie haben auch den Eindruck, dass Wissenschaft immer behauptet, alles sofort erklären zu können. Und das ist halt auch falsch. Und dann hören sie so Sprüche von Wissenschaftlern, dass "in der Wissenschaft nichts unanfechtbar ist" und denken, dass dann eh alles nicht stimmt und man genausogut der Schwurbeldruidin von nebenan glauben kann. Und auch das ist natürlich falsch. Wissenschaft ist ein Prozess. Sie ist nie fertig. Das stimmt. Aber es gibt Wissen für das wir so viel und so gute Evidenz haben, dass man mit Bestimmtheit sagen kann, dass es so ist. Und dann gibt es alles von Theorien mit unvollständiger oder noch wackliger Evidenz bis hin zu Hypothesen mit gar keiner Evidenz. Oder eben so Sachen, wo einer mal eine Studie gemacht hat und niemand hat sich die Mühe gemacht, da nochmal drüber zu gucken. Und so werden manche falschen Erkenntnisse schnell gefunden, bei anderen dauert es eine Weile. Bei COVID haben wir den Prozess miterlebt und ganz viele Menschen hat es total überfordert, dass "die Wissenschaft heute dies und Morgen das behauptet". Aber vor allem hat auch die Berichterstattung dieses konfuse Bild erzeugt. Weil die nämlich noch viel mehr als die Wissenschaftler immer so tun als sei Wissenschaft nach einer Studie schon in Stein gemeißelt. Und gleichzeitig macht man all diese wissenschaftlichen Fachartikel öffentlich zugänglich, und lässt Laien damit allein, die die Studien weder verstehen noch einordnen können, weil sie eben keine Fachexperten sind, die das Feld nicht nur fachlich sondern auch in der Praxis von innen und außen kennen. Das ist alles ganz schön knifflig.
Die Qualitätskontrolle wird ja versucht. Das nennt sich "Peer Review", bei dem andere Experten aus dem gleichen Fachgebiet einen Fachartikel bewerten, bevor der in einem Journal veröffentlicht wird. Leider hat man als Wissenschaflter da wenig Zeit für und man bekommt dafür auch nichts. Und bei der überwältigenden Schwemme an eingereichten Artikeln, ist es praktisch unmöglich, einen hohen Standard bei den Gutachten durchzuhalten. Man hört auch ganz oft, dass Redakteure der Magazine einfach keine passenden Gutachter finden können, weil die alle keine Zeit haben und die Anfragen ablehnen (oder gar nicht erst beantworten). Unter Akademikern ist das Problem bekannt und die meisten rechnen auch damit, dass jeder Artikel auch Schrott sein könnte. Dummerweise neigt man aber in der Wissenschaft auch dazu, bei Namen mit einem bestimmten Ruf, nicht so genau hinzuschauen. Seien es die Namen der Autoren, der Name des Instituts oder der Name des Journals. Das geht alles auf den Publikationsdruck zurück. Da hat Doktor Whatson auch mal ein gutes Video zu gemacht.
Bei meiner Diplomarbeit in Physik hat man mir die Pistole auf die Brust gesetzt, etwa abänderung der Daten oder die Diplomarbeit wird nicht gewertet, ich habe mich für das zweite entschieden, auf der einen Seite bin ich Stolz auf mich das ich mich nicht erpressen gelassen habe, aber auf der anderen Seite immer noch sehr verägert .. ich weiss auf jedenfall warum wir nicht weiter kommen in der Wissenschaft
@@deineroehre ich habe es nicht Veröffentlicht, ich wüsste auch gar nicht, woran ich mich wenden könnte. Des weiteren habe ich als Student einiges mitbekommen, was schief läuft und selbst wenn ein ganzes Maschinenlabor innerhalb von 3 Stunden abbrennt (WZL) und das ganze geradezu nach Brandstifftung richt, passiert nichts. Es gibt einige Bücher die die Misstände und Betrügereien dokumentieren und aufzeigen siehe Prof. Untat, Forschung auf Deutsch, Per Holzweg durchs Unviversum, Einsteins Alptraum ... Also ich will damit sagen es ist bekannt, aber aufgrund der Selbstregulierung der Hochschulen passiert nichts.
@deineroehre ich habe es nicht Veröffentlicht, ich wüsste auch gar nicht, woran ich mich wenden könnte. Des weiteren habe ich als Student einiges mitbekommen, was schief läuft und selbst wenn ein ganzes Maschinenlabor innerhalb von 3 Stunden abbrennt (WZL) und das ganze geradezu nach Brandstifftung richt, passiert nichts. Es gibt einige Bücher die die Misstände und Betrügereien dokumentieren und aufzeigen siehe Prof. Untat, Forschung auf Deutsch, Per Holzweg durchs Unviversum, Einsteins Alptraum ... Also ich will damit sagen es ist bekannt, aber aufgrund der Selbstregulierung der Hochschulen passiert nichts.
11:08 "Und gerade für Promoviernde ist es schwierig und potentiell karriereschädigend, die Arbeit von Forschungspromis zu bemängeln." Naja. MEIN Forschungpromi war mein Doktorvater. Ich habe mich nur hingestellt und gesagt, dass ich in mehreren reproduzierbaren Experimenten Ergebnisse rauskriege, die nicht zu seinen Postulaten passen. Das war dann eben die 2 statt der 1 in der Promotion, obwohl ich mehrere Sachen gemacht habe, an der die komplette Führungsriege des Spezialgebiets gescheitert war. (Was dann ja auch logischer Weise zu den Abweichungen von ihren Aussagen führte.) Mit ein paar, äh sehr vielen Semestern zu viel auf dem Buckel war die Note für die Karriere aber wohl auch egal.
Studium Semester 1: man legt vorher die Methode fest und dann akzeptiert man das Ergebnis, wie es ist. Doktorat, Gespräch im Lift mitgehört: "probier es doch mal mit dem [---] - Test, dann wird es vielleicht signifikant.
Tja in der Technik kann man sich solche Tricks nicht erlauben, da ist das Versuchsergebnis etwas leichter nachzustellen um Fälschungen auf die Schliche zu kommen. Aber das ist ja häufiger in Fachbereichen vorzufinden, bei denen man mit Umfragen usw. "einfacher" an seine Daten kommt und eben viel mehr tricksen kann...
In der Technik kann man genaus schummeln wie irgendwo sonnst. Und die Fehler haben nichts damit zu tun, dass sie aus Umfragen kommen, hier wurden sich einfach Ergebnisse ausgedacht, was nichts mit der Methodik zu tun hat... Aber schön seine Meinung abgeben, wenn man keine Ahnung hat...
Sogar mein Mathelehrer hat gesagt: vertrau keiner Statistik, welche du nicht selbst gefälscht hast. Das war während meiner Ausbildung zum Chemielaborant. Confirmation-Bias lässt grüssen.🤔🤨
Ist es bei Umfrageergebnissen nicht sinnvoll die extremwerte abzuschneiden? Man hat doch immer eine zahl x personen dabei die bei jeder frage die gleiche antwort ankreuzen?
Grundsätzlich ist es legitim, auffällige Abweichungen zu entfernen, wenn es eine gute Erklärung für die Abweichung gibt, die nichts mit dem Versuch zu tun hat. Um die klassischen Murks-Antworten in Umfragen zu identifizieren, gibt es verschiedene Methoden. Zum Beispiel, dass man Fragen unterbringt, die gezielt dazu dienen, die Aufmerksamkeit der Probanden zu testen. Oder Methoden, die erkennen, ob jemand Muster kreuzt. Das macht man aber, bevor die Daten als Extremwerte in der Auswertung auftauchen können. Beim P-Hacking entfernt man aber einfach nur die Werte, die einem nicht passen und erfindet dafür einen geeigneten Schwellenwert. - lG, Dennis
Es bleibt wie immer viel Luft nach oben. Aber der Weg stimmt. Vor allem wenn wir transparent arbeiten, bleiben wir nachvollziehbar. Das ist oft anstrengend, aber letztlich viel befriedigender.
"vorläufiger Datensatz" ist das absurdeste, was ich diese Woche gehört hab 😂😂😂 Daten werden erhoben und sind dann einfach nur da. Vorläufig?? Wollte man nachträglich an Daten nochmal bißchen runschrauben? 😂😂
Da fragt man sich, wie weit man Forschungsergebnissen überhaupt vertrauen kann. Als Fachlaie hat man kaum das notwendige Wissen, solche Fälschungen zu erkennen.
Man kann nur vertrauen, dass Themen von mehr als einem*r Wissenschaftler*in bearbeitet werden und wenn möglich verschiedene Quellen einbeziehen. Bzw. dass Fälschungen und unsaubere Methoden auffallen, z.B. in Peer Rewiews. Ganz sicher kann man nie sein. Wissenschaftlich untersuchte und erhobene Ergebnisse sind aber zumindest das sicherste, was wir haben und entgegen dieser zu handeln oder seine Meinung zu bilden ist noch wesentlich unsicherer. Ist aber generell schwierig, als Laie komplexe Themen und Ergebnisse zu verstehen. Wissenschaftskommunikation ist auch nicht aus Spaß ein eigenes Arbeitsfeld ;)
Richtig, als Laie wirds schwierig. Was aber immer hilft ist, sich das Studiendesign anzuschauen, denn das kann ein Laie meist noch verstehen. Wenn da schon Zweifel aufkommen, ist es schlecht. Das ist z. B. bei Umfragen so. Als Laie kannst du sehr schnell erkennen, ob die Umfrage wirklich repräsentativ ist oder nicht
Nicht nur das, ganz viele Medien berichten einfach auch überhaupt nicht gut über wissenschaftliche Erkenntnisse, was ein total falsches Bild über den tatsächlich Kenntnisstand erzeugt.
Warum haben die Leute wohl kein Vertrauen in die Wissenschaft mehr? Journals sollten auch Gegenstudien mehr Chancen geben. Wenn man etwas widerlegt, hat man es extrem schwer veröffentlicht zu werden. Das ist auch eine Sauerrei...
Wissenschaft darf man nicht vertrauen. "Vertraue der Wissenschaft" ist Mediensprech. Wissenschaft lebt vom ständigen Hinterfragen und Kritisieren. Und nun schaue dir an, in welchen Disziplinen du nicht hinterfragen darfst ...
@@amigalemminges gibt auch blinde Skepsis, die genau so dumm ist, wie blindes Vertrauen. Auf der anderen Seite muss man den gewonnenen Erkenntnissen Glauben schenken, weil man sonst nie einen Nutzen aus ihnen ziehen könnte. Das ist im Grunde der Glaube, dass die wissenschaftliche Vorgehensweise grundsätzlich funktioniert. Das zeigt sich gerade auch im Video.
@@amigalemming Wissenschaft lebt vom Hinterfragen. Ja. Allerdings braucht es schon eine Menge Substanz, um Experten auf ihrem Fachgebiet sinnvoll kritisieren zu können. Deshalb verlassen sich nach wie vor die meisten immer noch auf Expertenmeinungen und verstehen auch, dass die Arbeit immer weitergeht und laufend neue Erkenntnisse hinzukommen. Dass "die Leute" kein Vertrauen in Wissenschaft hätten, ist eine gefühlte Wahrheit. Umfragen sagen da etwas ganz anderes. Diejenigen, die trotz fehlendem Sachverstand meinen, ganze Forschungszweige "hinterfragen" zu müssen, denen passen einfach die Ergebnisse nicht und sie klammern sich an so Aussagen wie "die Wissenschaft lebt vom Hinterfragen", um unqualifizierten Quatsch zu verbreiten. Sie haben aber auch oft eine komplett falsche Vorstellung von Wissenschaft und kennen meistens auch nur verdrehte Versionen der Forschungsmeinung vom Stammtisch, von populistischen Meinungsmachern (darunter leider oft auch Menschen mit akademischen Titeln) und aus schlechten Medienberichten.
@@heliopunk6000 Die Hinterfragenden sind oft selbst Experten auf den entsprechenden Gebieten, nur nehmen sich unsere Medien die Selbstüberschätzung heraus, beurteilen zu wollen, welche Experten seriös seien und welche zu verteufeln sind.
Ich bin eh skeptisch Ergebnissen gegenüber, bei denen weder die ursprünglichen Rohdaten, noch die angewandten Methoden mitgeliefert werden. Eigentlich sollte das der Standard sein, so dass jeder Schritt für Schritt das Ergebnis nachvollziehen kann.
12:55 Das Vertrauen in die Wissenschaft zu verlieren? Genau diese Fälle zeigen doch, wie schwer es ist, aus den mittelalterlichen Gedankengängen herauszukommen und einzig das Experiment zählen zu lassen (und - gaaaanz schwierig - das Ego hinten anstehen zu lassen). Das Problem ist nicht "die Wissenschaft" sondern es sind die Wissenschaftler, die nicht wissenschaftlich arbeiten. Die Wissenschaft besteht aus zwei Teilen: dem Experiment, das gut protokolliert und durchgeführt werden muss. Qualitätskriterium: es muss reproduzierbar sein. Der andere Teil ist die Interpretation. Wenn das Experiment reproduzierbar ist, dann ist das die einzige Fehlerquelle. Und bei der Interpretation hapert es immer wieder.
p-hacking for 25 million...? Well, just follow the money... and on a global level anybody probably will soon find out: Der Grad zwischen einem Rosinenpicker und einem Korinthenkacker ist eben oft ziemlich schmal. ;)
Wirtschafts"wissenschaften" - Bitte mit einem Augenzwinkern verstehen - an Wirtschaftswissenschaftler*innen da draußen: Bitte geht stringend mit Daten und Statistik um und haltet euch an die Grundsätze der Wissenschaftstheorie. Hab leider in meiner bisher kurzen akademischen Laufbahn schon einiges Abenteuerliches auf dem Feld gesehen
Das Geile daran ist ja eigenltich, dass wir uns Alle irgendwo/irgendwie selbst belügen. Ohne das "in die eigene Tasche lügen" und "Geld schäffeln mit allen Mitteln", wären wir schon um Einiges weiter entwickelt.
Nicht mehr lange, dann geht meine Wissenschafts-Tour los! Im März besuche ich euch alle Essen, Köln, Hamburg, Berlin, Stuttgart, München, Wien und Zürich. Schaut mal in eure Kalender und holt euch hier Tickets: doktorwhatson.shop/ Wenn dir die Videos gefallen, dann wird dir auch die Show gefallen.
Schade das alles so weit weg ist! Im Osten findet leider nichts statt.
Wir sehen uns in München 🙂
Der Link funktioniert nicht :(
@@dwfalexNicht? Bei mir schon. Probier's Mal in der Videobeschreibung oder hier doktorwhatson.ticket.io/
@@DoktorWhatson jetzt geht es 🙂 allerdings am Handy.
Es ging vorher nicht am PC (Chrome, Win10).
Freue mich sehr, dass der Berliner Auftritt in der Urania sein wird.
Bei meiner Diplomarbeit (Physik, Dauer 1 Jahr) wollte mein Professor auch, dass ich einen seiner Artikel zitiere. Als ich meinte, dass dieser inzwischen veraltet war und es bessere Modelle gab, drohte er mich durchfallen zu lassen. Ich bestand daraufhin auf einen Zweitprüfer und habe den Prüfungsvorsitzenden (der nicht benotet) vorher eingeweiht.
Nach einer seeeehr langen und lauten Diskussion nach meiner Verteidigung, kamen dann der Zweitprüfer und der Vorsitzende raus und gratulierten mir. Mein Prof saß schmollend im Prüfungsraum.
An alle Studenten da draußen: wehrt euch, sucht euch Unterstützung, lasst euch nicht einschüchtern. Die Professoren haben weniger Macht, als sie denken.
Das ist sehr interessant. In meinem Medizinstudium wurde eine Frage gestellt die ich "angeblich" falsch beantwortet habe und ich bin durchgefallen. Beim anfechten dieser Prüfungsfrage wurden keine Argumente und Studienergebnisse anerkannt und der Prof blieb bei seiner Entscheidung mich durchfallen zu lassen, obwohl ich eindeutlig, mit mehreren Quellen und nach Rücksprache bzw. Bewertung durch Fachleute anderer Fachbereiche belegen konnte, dass die Antwort so nicht richtig zu bewerten ist. Dennoch wurde keine einzige Quelle anerkannt und das Ergebnis nicht korrigiert. Leider ist der falsche Stolz und "Irrglaube" alter Professoren manchmal doch mächtiger als die Vernunft neuer wissenschaftlicher Erkentnisse und ohne einen Anwalt kommt man dann nicht weiter...
Es ist schon höchst fragwürdig, dass der Prof dich durchfallen lassen wollte, weil du SEINE Artikel nicht zitierst. Das sollte von einer Ethik-Kommission geprüft werden.
@@Sakrosankt-Bierstube Bei solchen Geschichten sollte man das System Doktorant und Doktorvater einfach generell hinterfragen.
@@Sakrosankt-Bierstube soweit ich weiß, ist eine Ethik-Kommission für die Genehmigung einer Studie zustänndig, also bevor diese erst angelegt wird. So wie er das Beschrieben hat, war er bereits schon beim Rigorosum oder Disputation. Da hilft die Ethik-Kommission nicht viel.
@@viscid09 Das tut mir echt Leid! Konntest du keinen Zweitprüfer bekommen? Das ist ja dein gutes Recht, bei begründeten Zweifeln. Und die waren ja eindeutig gegeben.
FYI: Eine kleine Richtigstellung: Bei 03:25 sagen wir, dass ein p-Wert von 0,05 oder kleiner bedeutet, "dass mit mindestens 95%iger Wahrscheinlichkeit, der Unterschied zwischen den beiden Gruppen, kein Zufall ist." Richtig wäre zu sagen, " dass der gemessene Unterschied nur mit 5%iger Wahrscheinlichkeit auftreten würde, wenn er reiner Zufall wäre". Ein kleiner, aber signifikanter (im umgangssprachlichen Wortsinn) Unterschied. 🤓
Vielen Dank für den Hinweis! Schön, dass wir ein so aufmerksames Publikum haben!
- lG, Dennis
Cooles Video. Danke! Generell finde ich, dass du komplexe Sachverhalte auch in deinen anderen Videos zur Wissenschaft so gut darstellst, dass sogar meine Eltern besser verstehen, was Wissenschaft ist. Das koennte ich zum Beispiel nicht.
Ganz kleines aber, glaube ich. Du interpretierst die p-werte wie die meisten Wissenschaftler bayesianisch, waehrend p-werte nach dem Frequentist Ansatz interpretiert werden muessten (unnoetige Fachworte, ich weiss). Die falsche Interpretation geht zurueck auf Fischer, dem Godfather der Statistik. Fuer den Kontext des Videos ist das nicht wichtig, aber nur falls das von Interesse fuer euch ist. Neben dem wissenschaftlichen Fetisch von P-Werten und der willkurlich gesetzten Grenze 0.05 ist die falsche Interpretation ein weiteres (wenn auch kleineres) Problem
P-Werte richtig interpretiert nach Frequentist Ansatz: Wir behandeln die Parameter (geschaetzte Werte aus dem Experiment) als fix und die Daten als zufällige Draws. Auf lange Sicht wollen wir nun wissen, wie haeufig der erhaltene Wert (als fixer Parameter) innerhalb eines erlaubten Bereichs liegt, wenn wir das Experiment X mal mit verschiedenen Daten durchfuehren. Wir versuchen auf lange Sicht nicht zu oft falsch zu liegen.
Das sagt eigentlich nichts über die Gültigkeit des einzelnen Tests (oder der Hypotese in einem Test) aus. Nur, dass wir nicht zu oft falsch liegen, wenn wir das Ergebnis viele Male mit Variation der Daten wiederholen würden. Wir wissen also nicht, ob dieser eine Test (oder diese eine Hypothese) falsch oder richtig ist, aber langfristig gesehen wissen wir, dass ein bestimmter Prozentsatz richtig sein wird, wenn wir den Test viele Male wiederholen
Ich seh den Unterschied nicht, für mich sieht das aus wie 2 äquivalente Aussagen. Mag jemand erklären?
Der wichtige Punkt ist das "wenn"... Also der p-wert ist praktisch eine bedingte Wahrscheinlichkeit (wenn man annimmt das was ok ist über Hypothesen eine Wahrscheinlichkeitsverteilung zu haben...). Also "wie wahrscheinlich ist das Ergebnis _wenn_ die Nullhypothese stimmt" ... Also er sagt nichts über die Wahrscheinlichkeit aus _dass_ die Nullhypothese wahr ist.
@@maximilianschlund4409 Danke für die Mühe, ich stehe immernoch auf dem Schlauch leider - ich mach einen statistischen Test, was weiß ich, student-T oderso (bin leider viele Jahre raus aus der Forschung), nur um festzustellen, ob beide Lose/Ziehungen aus derselben Verteilung stammen könnten oder vermutlich nicht. Ist der p-Wert dann kleiner z.B. kleiner 0,05, darf ich doch sagen, "meine Hypothese, dass beide Lose aus >derselben< Verteilung gezogen wurden, kann ich mit mind. 0,95er Wahrscheinlichkeit ablehnen".
Natürlich ist es immer sehr sehr schwer, mit einer Gruppe Menschen dann alle anderen Faktoren gleich zu halten, sodass man zurück schließen kann auf seine Annahme (Networking hier), aber FALLS sich sonst wirklich kein Faktor geändert hätte, dürfte ich doch zurück schließen auf diesen einen Faktor, den ich geändert habe? Ansonsten natürlich nicht, klar, dann darf ich nur sagen: Irgendwas hat sich zu 95% geändert, ich vermute das Networking, könnte aber auch leider sein, dass viele Leute lügen, die Gruppen unterschiedlich alt waren,...
Meinst du das?
Aber wenn man alles sauber gemacht hätte (Double-Blind, genügend große Stichproben, etc pp), dürfte ich doch zumindest sagen: A) Den Ergebnissen liegt mit 95%+ WK eine andere Verteilung zugrunde und B) Ich vermute stark, es ist der Faktor, den ich geändert habe.
@@blubb9004 nein leider nicht... Du kannst nur sagen "WENN beide Verteilungen gleich sind dann ist die Wahrscheinlichkeit das Ergebnis zu beobachten
Dieser Skandal hat meiner Meinung nach einen positiven Effekt. Wenn man Studien veröffentlich unabhängig ihrer Ergebnisse ist das doch gut. Auch zu wissen was nicht geht ist hilfreich. Wenn dann auch noch die ganzen Daten aus einer Studie zur Verfügung gestellt wird, kann man auch noch Jahre danach an jeden Punkt ansetzen und weitermachen.
Das ist ein ewiges und bekanntes Thema. Leider ist die Macht der Journale und das "Publish or Perish" zu stark im System verankert. Aber vielleicht wird's ja im Laufe der nächsten Jahrzehnte doch noch was.
Da blutet mir echt das Herz. Wenn man Experimente oder Studien durchführen, dann ist jedes Ergebnis ein Ergebnis. Nur weil es nicht aussieht, wie man es gerne hätte, ist es ja noch lange nicht so.
Überraschende Ergebnisse sind doch ein starker Hinweis, dass sich da spannende Erkenntnisse verstecken. Der toxische Konformismus ist es der verhindert, das solche Schätze gehoben werden.
@@gzoechiwenn in Studien getrickst wird, dann hat das nichts mit überraschenden, erkenntnisreichen Informationen zu tun, sondern mit Kriminalität und Desinformation.
Deshalb ist es so beschissen, dass es so krass ums Veröffentlichen und signifikante Ergebnisse geht 🥴
Jap, mein Dozent sagte uns auch mal, dass es viele Studien gibt, die etwas überprüfen wollen, aber dann ergeben, dass es keine Korrelationen gibt :D
@@Chris-cc8vcKausalität*
@@Chris-cc8vc Solange das auch so veröffentlich wird, ist ja auch eine relevante Erkenntnis. Es ist ja eigentlich der Sinn der Wissenschaft zu versuchen sowohl die These zu belegen als auch zu widerlegen. Beides hat ja den gleichen Nutzen, deswegen finde ich es schade, dass ein negatives Ergebnis oft nicht wertgeschätzt wird. :(
@@davidmiller3560 Wenn mans ganz genau nimmt falsifiziert die Wissenschaft ausschließlich und das was man nicht widerlegen kann wird dann als Wahr angenommen bis es doch jemand schafft
@@Chris-cc8vcKorrelation oder Kausalität?
Korrelation gibt es häufig, auf die Kausalität kommt es an.
Ich mag deine tiefgründigen Antworten, die Du trotzdem irgendwie für Jedermann relativ simpel verständlich rüberbringst.
Auch wenn Du mal ausholen musst fällt es mir regelmäßig trotzdem leicht Dir folgen zu können und deine Schlussfolgerungen zu verstehen.
Gut auch, dass Du deine eigene Meinung trotz akustischer Ankündigung vorab nochmals visuell oben markierst (bleibt dadurch zwar deine MEINUNG, hilft aber trotzdem sich (falls gewollt) von dieser zu distanzieren um eine "Gegenprobe" deiner Schlussfolgerungen selber (EIGENSTÄNDIG) zu hirnen...
In der Regel darf man deine Meinung aber doch ziemlich unverändert annehmen :)
Danke für deine Videos!
Bin vom Fach. Sehr gutes Video und auch das Thema p-hacking war gut erklärt. Meine einzige Anmerkung: Pre-registration ist nicht dasselbe wie ein registered report. Das was beschrieben wurde (beim Journal anmelden, vor Datenerhebung schon peer review, zugesagte Veröffentlichung vor Ergebnissen) ist ein registered report und sehr im Kommen, aber unter den heutigen Rahmenbedingungen noch eher selten. Pre-Registration ist - zumindest in meiner Bubble - absoluter Standard. Dabei meldet man einfach nur selbst online vor Beginn der Datenerhebung die geplante Studie (inklusive Hypothesen und geplanter Datenanalyse) an, um später z.B. nachweisen zu können, dass man kein p-hacking betrieben hat.
Oh, danke für den Hinweis! Tatsächlich habe ich immer gedacht, das sei dasselbe. Als ich in der Neurowissenschaft aktiv war, war bei uns weder das eine noch das andere üblich. Und ich fürchte, in der Neurobiologie gibt es auch eine Replikationskrise, die aber noch keiner an die große Glocke hängen will.
lG, Dennis
@@DoktorWhatson Sehr gern, danke für die Antwort! :) Ich find's auch richtig toll, dass Pre-Registration und Open Science generell in meinem Umfeld so selbstverständlich sind. Die Psychologie musste sich ja viel vorwerfen lassen und hat sich ziemlich blamiert in den letzten 10 bis 15 Jahren, aber seitdem hat sich bei uns auch sehr viel getan. Aus anderen Fachbereichen (z.B. von Freunden, die in Bio promovieren) nehme ich das nicht so stark wahr. Manchmal frage ich mich, ob deren große Replikationskrisen und die awareness dafür erst noch kommen. Großer Fan bin ich übrigens auch von Big Team Science, konkret ManyBabies. Das breitet sich zum Glück auch aus und andere Disziplinen schließen sich mehr und mehr an (siehe z.B. das neue ManyManys).
Sehr interessant! Danke für das Video :)
Eigentlich müssten wir nicht nur Text-Referenzen haben für die Wissenschaft, sondern echte Verknüpfungen. Ein Standard, der sicherstellt, dass wenn eine Studie wegen Datenfälschung oder ähnlichem ungültig ist, dass automatisch alle anderen Studien überprüft werden und alle Online-Beiträge (Artikel, TH-cam Videos, etc.) mit einem entsprechenden Hinweis versehen werden. Quasi dass jede referenzierte Studie einen Echtzeitstatus hat: "Gültig", "Muss überprüft werden", "Ungültig".
Und es sollte nicht nur angegeben werden, wie oft eine Studie zitiert wurde, sondern auch warum sie zitiert wurde. Verhindert Bias. Es sollte angegeben werden, wenn eine Studie hätte zitiert werden können, aber nicht wurde. Denn eine Studie mag noch so gut sein, wenn sie keine Beachtung findet, weil sie zb nicht ins Weltbild passt, ist sie halt auch nicht existent.
Das finde ich etwas unreaslistisch, zumindest Stand jetzt + 20 Jahre. Solche Verknüpfungen zu allem möglichen Online-Content können nur automatisiert stattfinden und, nach meinem Wissensstand, ist so etwas absehbar noch nicht technisch möglich. Dafür ähneln sich auch wissenschaftliche Paper zu sehr. Es sind ja auch nicht oftmals die kompletten wissenschaftlichen Paper falsch, sondern nur ein kleines Theorem o.Ä., was benutzt wurde.
Weiterhin ist auch der rechtliche Rahmen ziemlich unklar. Werden die Plattformen dazu verpflichtet? Wer zahlt für das Scannen der Inhalte. Ab wieviel "thematischen" Content in einem Online-Beitrag aus einem Paper soll eine Verknüpfung erstellt werden. Wie soll mit transitive Relationen umgegangen werden und und und. Wenn man sich hier mal wirklich kurz Gedanken macht, sollte einem recht schnell klar werden, dass das Thema unendlich komplex werden kann und ggf. auch juristisch problematisch werden kann. Vom öffentlichen Aufschrei der Zensur und Überwachung fangen wir lieber gar nicht erst an zu sprechen.
Der Gedanke ist denke ich gut gemeint, aber die Auswirkungen wären einfach zu groß und öffnen Tür und Tor für andere Ungerechtigkeiten / Betrügereien. Was ich mir jedoch vorstellen kann, ist das ganze auf die Paper selbst zu beschränken, wie du ja im ersten Teilsatz schon verlangst. Es wird eine Datenbank aller wissenschaftlichen Arbeiten und deren Quellen erstellt (gibt es quasi partitioniert schon). Die Quellen kann man ja recht simpel automatisch scannen, diese als Relation zu einem Paper abbilden und in einem Stammregister alle Paper mit einem Wert versehen. Das würde das Erstellen der Arbeiten auch erleichtern ,da man mit solch einem Register schon während des Schreiben des Papers überprüfen kann, ob man "safe" ist mit seinen Quellen. Stellt sich nur wieder die Frage, wer bezahlt das, wer überwacht das und wer ist verantwortlich, wenn mal was falsch referenziert / bewertet wird, wie kann man Einspruche dagegen einlegen, wer entscheided in diesem Fall, soll es wirklich nur gültig / ungültig geben etc. Und das natürlich weltweit und nicht nur national.
@silsternensand Und wer soll das alles überprüfen, ob eine Studie hätte angegeben werden können?
Das müsste ja begründet seon, also müsste man dad wissenschaftlich einschätzen.
Wenn du also morgen irgenwas, sei es eine Bachelor-Arbeit sein, publizierst, soll jemand anderes checken, welche Studien ansonsten noch so hätten zitieert werden können, aber nicht wurden?
Also einmal alle nicht zitierten, auch nur irgenwie in Frage kommenden Studien überprüfen, für jede einzelne Studie der Welt immer wieder?
Und dazu dann am besten noch regelmäßig für jede Studie überprüfen, ob diese nicht in neu erschienenen anderen Studien hätte erwähnt werden können?
Was zur Hölle soll die Menschheit denn dann noch machen, außer dieser Tätogkeit nachzugehen???????!!!
Das wäre eine ganz eindeutig nicht durchführbare Aufgabe, selbst wenn wir überall einen riesigen Überschuss an (entsprechend qualifizierter) Arbeitskraft hätten.
Dazu müsste ja auch noch von anderen, nicht beteiligten Wissenschaftlern und Wissenschaftlerinnen jede einzelne "Ergänzung" (nennen wir deinen Wunsch so) auf sekne wissenschaftliche Korrektheit überprüft werden. Wenn man jetzt nicht tausende, eigentlich unnötige "ergänzte" Studien haben möchte, müsste man (bei manchen Themen zumindest) eine Liste geordnet nach Relevanz machen. Auch diese müsste man dann wieder von unabhängigen Wissenschaftler*innen überprüfen lassenund ggf. auf einen gemeinsamen Nenner kommen. Wenn dann jemand anderes daran etwas auszusetzen hätte, müsste dieser wieder ekne Bemerkung schreiben und so weiter und so fort... Der Mehrwert wäre auch sehr überschaubar auf die einzelne Studie bezogen, denn am Ende würde sich ganz viel doppelt, nur damit andere Menschen auch etwas Beachtung bekommen... Wenn das das Motiv dahinter sein sollte. Wenn es darum ginge, etwas wissenschaftlich Sinnvolles zu ergänzen, müsste man einen inhaltlichen Mehrwert bieten, also quasi die Studie weiterführen. Man könnte also sagen, man würde die Studie weiter / tiefer / genauer / mit anderer, weiterer Methodik auswerten als zuvor geschehen, man müsste entsprechende Schlussfolgerungen ziehen und diese dann mit anderen Studien verknüpfen, welche dann Erwähnung finden würden. Wenn etwas inhaltlich dazukäme, bspw. lediglich aufgrund weiterer Schlussfolgerungen neue Verknüpfungen mit andreren Studien entstünden (=Erwähnung), hätte man wieder etwas Neues geschaffen, das überprüft werden müsste. Zuerst auf die wissenschaftliche Korrektheit(Qualitätskontrolle), dann auf mögliche "Ergänzungen". Da würde das ganze Spiel wieder von vorne beginnen.
Das Ganze würde dabei natürlich bei allen Studien passieren, man möchte ja nichts übersehen, also würde man auch allerlei Dopplungen doppelt "ergänzen" als auch allerlei Studien, deren Ergebnisse einen sehr geringen bis keinen (nachhaltigen) Wissensgewinn oder zumindest nützlichen Wissensgewinn erbringen. Von den in vielen Fällen sicherlich sinnlosen "Ergänzungen" ganz zu schweigen.
Man hätte also eine große Arbeitsbeschaffungsmethode (ausschließlich für Akademiker), deren wissenschaftlicher Gewinn zweifelhaft wäre und deren Umfang nicjt bewältigbsr, selbst wenn man alle aktiven Studien nicht weiter verfolgen würde, alsp abgesehen eben diejenigen, die sich mit dieser sinnlosen Aufgabe beschäftigen würden.
Man würde seine Zeit und Ressourcen verschwenden, nachhaltig finanzierbar wäre das ebenso nicht, während gleichzeitigbei uns ganz viel Fachkräftemangel besteht, in vielen anderen Ländern ebenso, wir eigentlich riesige Aufgaben zu bewältigen haben, bspw. den Klimaschutz, während wir auf der ganzen Welt viel Armut, Analphabetismus, Bildungsungerechtigkeit, humanitär widrige Bedingungen und vieles mehr schlimmes haben. Eigentlich müsste man für die Bewältigung dieser sinnlosen Aufgabe allerdings zuerst so viele Menschen wie möglich als Alphabeten mit sehr guter Bildung engagieren und entsprechend bildungspolitisch weltweit sehr viel verbessern. Aber selbst dann hätte man keine richtoge Quaöitätskontrolle, weil bei der Menge Wissen und dem Anspruch, alles miteinander zu verknüpfen, ggf. zu korrigieren und ergänzen, einfach keine Übersichtgewährleistet werden könnte und auch über die Einschätzung, ob eine Übersicht besteht und wie gut diese und die Qualitätssicherung funktioniert, mit 8 Mrd. Menschen keine Einigkeit erzielt werden könnte und Objektivität nixht andauernd zweifelsfrei festgestellt werden könnte.
Wenn man für diese Aufgabe ausschließlich oder unterstützend KI nutzen würde, könnte auch diese nicht sicher fehlerfrei arbeiten und würde bei großer Beachtung ihren Aussagen gegenüber eine riesige potenzielle Gefahr bilden. Ebenso würden die Ergebnisse für eine noch längst nicht tiefe Überprüfung noch immer viel zu schwer zu überprüfen sein und wenn man sichergehen wollte, müsste man es sowieso tiefer analysieren.
Dafür müsste die KI im übrigen alles gut verständlich darlegen können, ihren ganzen Weg zur Erkenntnis (also dem Ergebnis)
... Merkste selber, oder?
@@silsternensand
@@MrHerrS Natürlich ist das technisch und administrativ möglich. Es ist sogar simpel. Setzt einfach OpenAI, ChatGPT, von mir aus auch Grok ein. Das scannen der Inhalte ist dann automatisch inkludiert.
@@silsternensand Das klingt nicht vernünftig. Ein Artikel kann über hundert Referenzen haben, zu jeder eine Erklärung anzugeben, wieso man sie zitiert hat, wäre extrem umständlich und Zeitverschwendung. Umgekehrt sollte eigentlich niemals eine passende Referenz ausgelassen werden, so wie die Doktorantin es zuerst getan hat. Stattdessen war ihr zweiter Ansatz, die Studie zu zitieren, aber zu kritisieren, der richtige. Das ihr das verboten wurde war unverschämt.
Mal wieder ein großartiges Video!
Lob an dich und dein Team
Während meiner Physikdoktorarbeit erlebte ich, wie ein Kommilitone in seiner Doktorarbeit von einem Postdoc massiv dazu gedrängt wurde, seine Ergebnisse im Sinne des gewünschten Forschungsergebnisses zu manipulieren (durch das Setzen entsprechender Datenschwellenwerte in verschiedenen Auswertegruppen). Der arme Junge war ein sehr lieber Mensch und konnte sich nicht dagegen wehren. Durch die Anwendung eines neuen analytischen Datenmodells auf alte Datenerhebungen fand ich heraus, dass einige statistische Annahmen grob unzutreffend waren. Da jedoch viele renommierte Arbeiten auf diesen nun falschen Annahmen basierten, durfte dieses Ergebnis nicht veröffentlicht werden. Dies war einer der Gründe, warum ich meine Doktorarbeit abgebrochen habe. Ich habe es nie bereut.
So endet die Geschichte ähnlich wie in der Politik. Die Betrüger setzen sich durch und erhöhen somit die Eintritsschwelle für ehrliche Menschen und letztere verbleiben im Dunkeln.
Ein Freund meines Bruders war in einer ähnlichen Situation. In seiner Forschung für die Dissertation (Medizin) waren die Ergebnisse auch nicht die Ergebnisse rausgekommen, die seine Fakultät haben wollte. Er hat sich dann ein anderes Thema gesucht.
Dein Kanal ist top, sehr seriös
Danke das du die Markler Geschichte erwähnst- tun viel zu viele nicht!
Bin selber Wissenschaftler und würde an meiner ehemaligen Wirkstätte Zeuge was alles in der Wissenschaft passieren kann was dort nie passieren sollte.
Hi. Hast meine Neugier geweckt. erzähl doch mal
Deutsch oder Sprache, Interpunktion ist aber offensichtlich nicht Dein Spezialgebiet?😂
Sehr geiler Beruf. Darf man wissen in welchen Bereichen du unterwegs bist und was genau du machst? Finde so etwas immer sehr interessant.
Kenne den Beruf Wissenschaftler gar nicht.
@@CyberHo4X Wissenschaftler ist dir etwa nicht genau genug :D
Vielen Dank für das Video. Hatte auch schon überlegt ob ich eins drüber mache. Aber das hier ist so gut, dass ich das nicht mehr machen muss 👍
Holy Moly, bei jedem neuen Punkt dachte ich erst so "Ne, wie kann man denn DERART BLÖD sein, das macht doch keiner SO dämlich"... und dann is mir eingefallen die haben n p-Wert von 0,001 hingedreht anstatt, idk, zumindest 0,01 zu nehmen. Das heißt, man könnte wenigstens vermuten dass die werte Frau (und Konsorten) schon seehr überzeugt gewesen sein dürfte, NICHT erwischt zu werden, andernfalls hätte man ja vermutlich eher einen p-Wert genommen der statistisch signifikant und immer noch sehr gut is, aber eben nicht super, SUPER gut.
Ich mein wenn ich jetzt als Materialprüfer ein Produkt hab dass eine Belastung von sagen wir 10 wasauchimmer aushalten muss, unds stellt sich raus das haut nicht hin, was abern Problem darstellt für die Firma, den Kunden, whatever - dann schreib ich doch meinetwegen hin das Ding packt 10,7 oder meinetwegen vielleicht 11, aber ich muss mir da schon SEEEHR sicher sein dass niemand jemals dahinterkommt, damit ichs mir rausnehm in dne Prüfbericht eine 22 zu schreiben wenn ein üblicher Industriestandard für ein derartiges Produkt bei sagen wir 13 liegt :D
Du denkst zu klein. Deswegen wirst Du nie Professor in Harvard
Oder man ist sich (offenbar zu recht) sicher, dass dutzende peer reviewer, elite unis und fachkollegen völlig unreflektiert alles glauben was man postuliert und einen bis zur Lächerlichkeit dafür durchbefördern.
Pech hat man offenbar nur, wenn nach Jahren dann doch mal jmd mit Hirn und Eiern kommt...
Kann nur die drei-teilige Videoreihe "The man who almost faked his way to a nobel price" vom englischsprachigen TH-camr "BobbyBroccoli" sowie andere Videos auf seinem Kanal empfehlen. Da geht es viel um exakt diese Thematik, die immer wieder passiert ist und wohl auch immer wieder passieren wird.
Jan Hendrik Schön
Bobby hat mittlerweile einen Dreiteiler über den Cold Fusion Hoax in den 80ern veröffentlicht, der war eigentlich noch besser als dein Beispiel.
Klasse Kanal.
Eigentlich hab ich nur Bahnhof verstanden aber ich gucke Cedric so gerne zu und hab deshalb das Video komplett geguckt 😂
Das schadet der gesamten Reputation der Wissenschaft. Super, dass es aufgedeckt wurde.
Nach dem ich von dem Datenfälschungsskandal aus Stanford gehört hatte, wurde ich so "paranoid" und habe bei jeder Studie genau hingeschaut, ob die Bilder auch so zusammen passen wie sie dort abgebildet waren. Zu der Zeit war ich mitten in der Bachelorarbeit im Biologiestudium und dachte, dass Datenfälschung echt überall vorkommen kann, habe zum Glück aber nichts gefunden und konnte mit der Literatur weiterarbeiten.
Hier treffen auf anschauliche Weise zwei problematische Gegebenheiten unserer heutigen Zeit zusammen. Zum Einen der Wunsch nach Anerkennung, der bei vielen Menschen inzwischen so stark ist, dass sie auch sehr zweifelhafte Wege beschreiten um an ihr Ziel zu kommen. Zum Anderen die vollständige Unfähigkeit erwachsener Menschen Verantwortung für ihr Handeln und der daraus enstehenden Konsequenzen zu übernehmen. Ganz gleich ob Wissenschaft, Medien, WIrtschaft oder Politik. Dieses äußerst problembehaftete Verhalten verbreitet sich gerade in allen Bereichen unserer Gesellschaft.
Reine Gefühlsduselei. Das sind keine Probleme der heutigen Zeit, der Wunsch nach Anerkenung und das Ablehnen von Verantwortung existieren seit dem es Menschen gibt. Schon die alten Griechen haben darüber geschrieben. Es gibt null Belege dafür, dass diese beiden Sachen heute stärker auftreten als früher. Sie schreiben hier bloß was sie fühlen, ohne Belege.
Das Problem heutzutage ist vielmehr, dass die Konkurenz in der Wissenschaft so groß geworden ist, dass Wissenschaftler unter Druck stehen, ständig bahnbrechende, signifikante Ergebnisse zu produzieren oder sonnst ihren Job verlieren oder keine weiteren Fördermittel bekommen. Es gibt also einen großen Anreiz, Ergbnisse zu fälschen und zu wenig Systeme Fälschungen zu finden. Der Anreiz zu Fälschen ist evidenterweise heutzutage größer, nicht der Wunsch nach Annerkennung oder das Fehlen von Verantwortungsbewustsein. Die sind heute genauso groß wie es immer war und immer sein wird.
Professoren stehen wohl auch unter dem Druck ständig was neues veröffentlichen zu müssen. Daher sind auch viele Arbeiten darunter die absoluter Schrott sind und teils von den gleichen Leuten wenig später widerlegt werden.
so true haha und dazu noch Nazissmus
Ich sehe das Problem eher anders gelagert.
Hier treffen publication pressure und ein marodes wissenschaftssystem, in dem Ruf "getraded" wird auf die Unfähigkeit kritisch und logisch zu denken.
Ich komme zwar aus einem anderen Fachbereich, aber ein großes Problem bei uns ist, dass Reproduktion von Veröffentlichungen kaum Anerkennung finden. Dementsprechend wird diese eigentlich gerade für Nachwuchswissenschaftler sinnvolle Tätigkeit (lernen durch die Reproduktion erfolgreicher Veröffentlichungen) quasi wertlos und nicht durchgeführt. Es sollte eigentlich auf Konferenzen feste Tracks geben, die Reproduktionen vergangener Veröffentlichungen einen festen Platz geben, damit diese nicht mit neuen Veröffentlichungen konkurrieren müssen. Aktuell würde ich sagen kann man in meinem Fachbereich ziemlich viel Quatsch veröffentlichen, der wird dann einmal einem kleinen Publikum vorgestellt und nicht mehr hinterfragt. Die Reviewer haben ja gar nicht die Möglichkeit zur Reproduktion und können nur das Vorgehen und die Relevanz der Ergebnisse bewerten.
Starkes Video. Wie gewohnt von euch.
Das wichtigste wäre einfach Open Data. Es ist so nervig, wenn nicht ganz einsichtig ist, wie die Daten bezogen wurden. Danke für das Video Dr. Whatson :D
Das ist tatsächlich ein Problem! Anstatt einen Artikel zu veröffentlichen, dass sich bestimmte Zusammenhänge nicht nachweisen ließen, werden Fragestellungen verändert oder eben mehr oder weniger betrogen.
Sehr gut finde ich den Ansatz, die Arbeiten schon im Vorfeld anzumelden und später auch bei unerwarteten Ergebnissen eine Veröffentlichung zu bekommen.
Der wissenschaftliche Nachweis, dass es bestimmte Zusammenhänge nicht gibt, kann auch sehr informativ sein.
Datenfälschung schadet allen.
Zitat "Sehr gut finde ich den Ansatz, die Arbeiten schon im Vorfeld anzumelden und später auch bei unerwarteten Ergebnissen eine Veröffentlichung zu bekommen." Zitat Ende. Das sollte doch eigentlich Standard sein. Wenn man nur veröffentlicht, wenn eine Studie die erwarteten Ergebnisse bestätigt, hat das herzlich wenig mit Wissenschaft zu tun. Eine Studie sollte immer Ergebnisoffen sein. Und wie Du richtig sagst, auch wenn bestimmte Zusammenhänge nicht bestätig werden, ist das ein wichtiges Ergebnis. Aber immerhin, selbst in diesem schwerwiegenden Fall hat sich letztlich gezeigt, dass Wissenschaft in der Lage ist, sich selbst zu korrigieren. Das ist doch sehr positiv.
12:02 "Tendenz steigend"
Was steigt? Die Zahl der zurückgezogenen Paper oder der Anteil derselben?
Wollen wir mal ehrlich sein: Die Zahl zurückgezogener Paper ist auch ein gutes Maß für den Publikationsdruck.
Der Wissenschaftszirkus steuert leider immer mehr darauf hin Ergebnisse nicht mehr als Erkenntnisgewinn zu betrachten sondern als "brauchbar" oder "wichtig" einzustufen. Wenn die Leute aber auch weniger "positiv" zu bewertende Ergebnisse und Theorien als reine Ergebnisse publizieren würden, wäre der Wissenschaft viel, viel mehr geholfen.
Beispiel: Für jede Synthese in der Organik werden wohl hunderte oder tausende Experimente gemacht, bei denen herauskommt, wie man nicht oder nur teilweise das gewünschte Ergebnis erzielt. Diese Ergebnisse sind extrem wichtig für andere, die dann sehen können, was NICHT klappt oder sich überlegen können WARUM etwas bei diesem Schritt nicht geklappt hat. Oder die genau die nicht erwünschten Reaktionsschritte machen wollen, weil sie etwas anderes synthetisieren wollen. Veröffentlicht wird aber nur die Synthese. Schick, aber eben nur ein Bruchteil der sinnvollen Informationen.
Hallo, dickes Lob an Euch! Genial vorgetragen!!! Es ist leider in der Wissenschaft so, dass häufig Daten manipuliert werden. Oft werden auch andere Publikationen falsch interpretiert oder sogar überinterpretiert. Vielen lieben Dank für dieses wundervoll aufschlussreiche Video! Ihr macht das genial. Liebe Grüße aus der Forschung.
Eine solche pauschale Verallgemeinerung ist natürlich nicht wissenschaftlich und daher nicht zu halten.
Der Schaden solcher Fälle wie der beschriebene ist immens, denn es wird nicht nur direkt Schaden angerichtet, sondern, wie man an dieser unzulässigen Verallgemeinerung sieht, auch das Vertrauen in die Wissenschaft erschüttert.
@@_TbT_"[...]es wird [...] das Vertrauen in die Wissenschaft erschüttert."
M.E. im Gegenteil: es ist ein Praxisbeispiel des in der Wissenschaft "eingebauten Vertrauens-System" der Falsifizierbarkeit.
@@patr1ckbenz Da geb ich Dir Recht, der Kommentar davor spricht jedoch davon, „dass in der Wissenschaft häufig Daten manipuliert werden“. Wenn das nach einem solchen Video hängen bleibt, ist das nicht gut.
@@_TbT_ @patr1ckbenz vielen Dank für Euren Kommentar. Ich kann Euch verstehen , möchte aber hierzu kurz nur anmerken: Ich arbeite momentan selbst als Vollzeitwissenschaftlerin im akademischen Bereich und wollte hier nochmals einige Punkte anmerken, welche im Video nicht wirklich explizit aufgeführt wurden. Mir ist es wichtig, dass die Allgemeinheit erfährt was genau bei uns in der Wissenschaft schief läuft und das hat Doktor Whatson schon sehr gut dargestellt. Mich erschüttert es tagtäglich immer wieder, wie einige Dinge gehandhabt werden. Fakt ist, es muss ein Wandel her.
Das passt ein bisschen zu dem, was ich im letzten Live-Stream gefragt habe, ob und wie betrogen wird (verkürzt). Da ging es mir auch eher darum, ob Arbeiten schlechter bewertet würden, weil sie von bestimmten Leuten sind.
Es sollte die Norm werden, dass Journals Statistiker einstellen, die kompletten Zugriff auf die Daten bekommen und rein nach Fehlern in der Statistik suchen. So wären Fälschungen, wie der von Francesca Gino, deutlich schwerer durchzubekommen. Zusätzlich hätte es den Vorteil, dass auch nicht bösartige Fehler gefunden werden. Und sowieso sollte es mehr der Standard werden, dass Daten öffentlich einsehbar gemacht werden, ohne dass man persönlich beim Professor nachfragen muss.
Aktuell fragt man sich, was Journals überhaupt für Arbeit leisten und womit sie die enormen Summen an Profit überhaupt verdient haben.
Es gibt zu den Jornals schon Videos. Ich glaube sogar hier auf dem Kanal. Ist aber schon über 1 Jahr her wenn ich mich recht entsinne.
Kurz, sie verdienen es nicht. Sie sorgen dafür, das sie es verdienen.
@@davidkummer9095 Gutes Gedächtnis! :) "Publish or Perish: Die Macht der Wissenschaftsverlage" heißt das Video: th-cam.com/video/Y0YYgdSEdu4/w-d-xo.html
lG, Dennis
Verdienen tun die Verlage. Warum, das weiß kein Mensch. Die Verlage organisieren nur den Druck und den Vertrieb und die Werbung. Aber eigentlich braucht das keiner, weil die Artikel ohnehin online recherchiert, gelesen und weiterempfohlen werden. Die eigentliche Arbeit, Artikel schreiben, begutachten, setzen, zusammenstellen, usw. machen alles die Wissenschaftler im Rahmen ihrer Uni-Anstellung. Die verdienen damit gar kein Geld.
@@amigalemming Na ja, optimale Verdienstmöglichkeit für die Verlage würde ich sagen. Nichts machen und alles kassieren.
Bei meiner Diplomarbeit ist mir auch eine echt komische SItuation untergekommen. Grob gesagt, ich sollte eine bestimmte Klasse A von Verfahren untersuchen. Und mein Professor wollte, dass ich ein bestimmtes Paper mit aufnehme, weil das eine Brücke zu Verfahren B darstellte (habe ich auch getan). In diesem Paper behaupteten die Autoren, Verfahren A auch mithilfe von Verfahren B realisieren zu können. Dieselben Autoren haben übrigens Verfahren B auch erfunden und sind die einzigen die darüber schreiben. Hmm. Ich lese mir das Paper durch, da steht insbesondere der Satz, das Verfahren B ja bekanntermaßen realisierbar ist, siehe Artikel derselben Autoren vom selben Jahr. Hmmm. Ich lese mir den anderen Artikel durch, wo sie dann in einem Nebensatz schreiben, dass für Verfahren B noch Verfahren A benötigt wird, das sie ja aber in ihrem anderen Artikel realisieren. Sowas nennt man glaube ich "Beweis per Zitat", aber auf jeden Fall ein Zirkelschluss. Sie hätten einfach etwas bescheidener sein können und sagen, Verfahren A und B sind äquivalent, weil man aus dem einen das andere bauen kann (so habe ich es dann auch in meine Arbeit aufgenommen). Stattdessen erwecken sie den Eindruck, dass sie etwas herausgefunden haben, was weiterhin unklar war. Glücklicherweise hat ein anderer Forscher dann tatsächlich eine Lösung gefunden, welche ich dann in den Fokus meiner Arbeit gestellt habe.
Das erinnert mich irgendwie an den Fall Relotius. Eine einzige Person versucht, schwerwiegende Fehler in einer Publikation aufzudecken.
Der Person wurden auch Steine in den Weg gelegt
Zur wissenschaftlichen Arbeit gehört auch die Wiederholung von Versuchen/Studien um das Ergebnis zu überprüfen. Das muss kein Verdacht wegen Betrugs sein. Es gibt einen Verdacht, der immer gerechtfertigt ist: Menschen machen Fehler. Fehler darf man auch nicht einseitig als etwas Negatives sehen. Aus Fehlern lässt sich häufig etwas lernen und sie können überraschend auch zu interessanten Erkenntnissen führen.
Daher würde mich interessieren, ob es auch Doktor-Arbeiten gibt, wo einfach eine Studie noch einmal durchgeführt wird.
Gute Frage. Ich denke, zu einer Doktorarbeit gehört mehr als nur das Wiederholen bereits gemachter Studien. Schlicht, weil von einer Doktorarbeit verlangt wird, dass sie einen neuen Beitrag leistet. Aber, wenn man im Rahmen seiner Doktorarbeit auf ein Problem stößt und dann auf Verdacht, die Grundlagen nochmal überprüft, wäre das, meiner Meinung nach, ein Kapitel in einer Doktorarbeit wert. Aber ich bin kein Prof und kann sowas nicht mitentscheiden ;)
@@heliopunk6000 vielleicht ist gerade dieser Anspruch zu hoch angesetzt und Teil des Problems. An sich geht es doch eher um den Beleg, selbständig wissenschaftlich gearbeitet zu haben. Das ginge auch durch Wiederholung und kritischer Auseinandersetzung. Und einen wissenschaftlichen Beitrag leistet man so auch - ich zumindest halte solche Überprüfungen für essenziell.
Eine reine Wiederholung einer bereits durchgeführten Studie wäre für eine Doktorarbeit sehr wahrscheinlich nicht ausreichend. Was vielleicht möglich wäre, wäre ein Vergleich von verschiedenen Arbeitsweisen. Denn auch, wenn man sich damit auseinander setzt und alles überprüft, am Ende muss man die Schritte, Abläufe und den Aufbau der grundlegenden Studie ja direkt nachvollziehen und gerade dieses Aufbauen einer Studie an sich mach schon viel Arbeit aus, die man sich selbst ja dann spart.
@@DeadGirlsPoem sehe ich nicht so. Den Aufbau der Studie muss man ja ebenso beurteilen, weil ein Fehler auch dort liegen kann. Das erfordert, dass man einen eigenen Aufbau entwickelt, den man dagegen stellt.
11:44 Plagiate finde ich ein heikles Thema. Eine Dissertation besteht nun mal zunächst aus einer Einleitung, in der man dem fachlich gebildeten Leser überhaupt erst mal darstellt, woran man arbeitet. Es werden also seitenweise bekannte Fakten aufgezählt. Da in einem Arbeitskreis aber sehr viele an sehr ähnlichen Themen arbeiten, sind viele Einleitungen inhaltlich eigentlich identisch und schon zigmal zitiert. Wenn da mal aus Versehen etwas doppelt oder nicht sauber zitiert ist: who cares?
Aber im experimentellen Teil und der Auswertung sollte schon klar werden, was auf dem eigenen Mist gewachsen ist und was nicht. Wenn man tatsächlich auf dem Gebiet vernünftig gearbeitet hat, muss man sich ja eher überlegen, was man von den Ergebnissen alles rausschmeißt, als dass man denn wirklich noch mehr Inhalt braucht.
Ich finde es richtig schön, dass das wissenschaftliche System auf einer Machtstruktur aufbaut. Wissen, als das wichtigste Gut der Menschheit, sollte definitiv von oben nach unten beherrscht werden. Das komplette System ist darauf ausgelegt, sich möglichst an bestehender Struktur und nicht an der Sache selbst zu orientieren. Mag das nun der Weg vom Dozent zum Doktor sein, wie bei dieser Geschichte, wenn erstmal die Kritisierende verleumdet wird und erpresst werden soll (meist über kleine Aussagen, die als Drohung zu verstehen sind), oder dass es nunmal ein klares Eigeninteresse daran gibt strukturelle Fehler nicht aufzudecken.
Das schafft Vertrauen. So kommen wir vorran. Mehr kapitalistisches System in Wissen schaffenden Bereichen.
Es ist schon witzig, dass ihr für diesen Bericht als Werbung einen Versicherungsmakler gewählt habt xD
Sehr interessantes Video.
Ein großes Problem ist auch der Zwang viele Publikationen mit zu strengenten Zeitlinien von den Wissenschaftlern zu fordern um mehr oder weiter Fördergelder zu bekommen.
Wissenschaft ist nur leider keine Akkordarbeit bei dem man z.B. nur ein Fahrzeug zusammen bauen muss.
Gerne noch ein Video über Jonathan Pruitt. Der hat scheinbar auch viele seiner Daten erfunden.
Man erinnere sich noch an Jan Hendrik Schön und das Betrügerduo Herrmann+Brach.
@DoctorWhatson habt ihr den Spiegel dazu kontaktiert?
Hut ab vor Dr. Ziani
Die Wissenschaft braucht eine Reform und nicht dem Markt überlassen, es geht nicht mehr darum zu forschen sondern aufzusteigen egal was es kostet und das ist ein Problem, seit Jahren verringert sich die Wissenschaftlichen Entdeckungen außerdem in der Grundlagen Forschung.
Super Video (wie immer!)
Ich hätte allerdings eine kleine Kritik zum p-Wert. Er wird hier (wahrscheinlich zur besseren Verständlichkeit) als das Maß aller Dinge in wissenschaftlichen Studien dargestellt, als was er leider auch oft wahrgenommen wird. An der Stelle wäre es m.E.n. sinnvoll gewesen, auf die großen (!) Schwächen des p-Werts einzugehen. Er sollte niemals allein als Kriterium herangezogen werden:
1. Er zeigt lediglich statistische Signifikanz an, ohne eine Aussage über Effektstärke zu haben. Hierzu sollten zumindest Konfindenzintervalle o.ä. zusätzlich betrachtet werden. Häufig wird dazu das Bestimmtheitsmaß (R-Quadrat) herangezogen, was aber ebenfalls seine Schwächen hat. Das wird aber eigentlich nirgendwo in ausreichender Tiefe gemacht, weil die Interpretation dann zwangsläufig subjektiver wird.
2. Stochastisch lässt er sich interpretieren als "Wahrscheinlichkeit, die Daten oder extremere Daten zu beobachten, wenn meine Hypothese wahr ist". Das Konzept der Nullhypothesentests (NHST) und statistischer Signifikanz ist absolut unintuitiv und führt leider häufig zur Fehlinterpretationen der Aussagekraft von Daten. Gesucht sein sollte eigentlich die Wahrscheinlichkeit, dass die Hypothese wahr ist, bei den gegebenen Daten. Das lässt sich mit NHST aber nicht abbilden.
3. Zudem erhalte ich mit ausreichender Stichprobengröße irgendwann stets signifikante Ergebnisse und einen kleinen p-Wert. Ich habe selbst in meiner Dissertation mit sechsstelligen Datensätzen gearbeitet und genau dieses Problem gehabt. In der Medizin ist das wahrscheinlich weniger relevant, aber trotzdem nicht irrelevant.
4. Die üblichen Signifikanzschwellen sind komplett arbiträr. Ihr zeigt es im Video: ein p-Wert knapp über 5% ist zuviel, knapp darunter aber okay. Deshalb ist der Anspruch, eine "Ja oder Nein"-Inferenz zu Zusammenhängen zu erreichen, nicht sinnvoll.
5. Sowohl der p-Wert als auch das Bestimmtheitsmaß sind sehr anfällig für Ausreißer. Wenn man nicht aufpasst, erhält man ggf. sehr geringe p-Werte und hohe Bestimmtheitsmaße, weil man einen Ausreißer gut erklären kann, während man die eigentliche Punktwolke nicht wirklich im Modell abbildet.
Daher kann ich jedem, der mit Daten arbeitet, nur wärmstens Bayesianische Statistik empfehlen. Wenn man die Grundlagen davon einmal verstanden hat, erweitert sich der Werkzeugkasten ungemein und man blickt anders (und fundiert kritischer) auf bestehende Forschung.
Sehr gute Ergänzung. Der P-Wert ist erstmal nur als Anhaltspunkt sinnvoll. Wenn der P-Wert sehr hoch ist, kann man zumindest direkt mal schauen, wo es Probleme gibt, wenn er niedrig ist, sich vieles andere dann anschauen.
Ich würde neben dem p-wert mir sowieso immer die Daten auch anschauen
Erinnert mich an den "Physik-Fälscher" Jan Hendrik Schön von vor 20 Jahren.
Seither wurde das Peer review in der Physik verschärft.
Die angebliche Raumtemperatur -Supraleitung vor ein paar Monaten konnte auch relativ schnell entlarvt werden, das war eh nicht nach den üblichen Review Prozessen abgelaufen.
Super beitrag, danke. ABER kleine "Anmerkung" zu 3:00. Man hat einfach irgendwann mal festgelegt, dass p
Vllt könnt ihr ein Video zur Datenforensik machen ❤
Hab ich nichtmal mitbekommen, danke für das video^^
Danke. Das war interessant. Im Psychologiestudium wird die Replikationskrise natürlich gleich in den ersten Semestern besprochen. In Statistik lernen wir über p-Hacking und andere Methoden etc., aber wie das Ganze ins Rollen kam, das wusste ich noch nicht. Merci beaucoup!
Der Spruch:" traue keiner Statistik, die du nicht selber gefälscht hast" ist offensichtlich Zeitlos.
So sieht Wissenschaftsbetrieb im Kapitalismus halt einfach aus.
In einigen Fachbereichen ist man bereits soweit, dass man vor Beginn der Untersuchung die Datenerhebung und Auswertung exakt angeben muss und später für die Publikation dann auch nur diese Vorgehensweise anwenden darf. Wenn dann nicht herauskommt, was man wissen wollte, darf man seine Vorgehensweise nicht abändern, um noch irgendein Ergebnis zu produzieren.
Auch in anderen Wirtschaftssystemen wird gelogen und betrogen. Es sind die Menschen, die ihre Bedürfnisse befriedigen wollen und dabei moralische Hürden bei Seite schieben. Natürlich ist Wissenschaft die unter Finanzierungsdruck steht sehr viel anfälliger für Betrug, aber wenn es uns gelingen würde ein gewisses Maß an ethischen Maßstäben zu erhalten, hätte auch dieser Druck keine Auswirkungen mehr. Es sind die Menschen, die ein System schlecht oder gut machen können.
Bei der Zulassungsstudie von Comirnaty hat es die EMA beispielsweise akzeptiert, dass die Studie nicht dreifachverblindet sondern nur "beobachterverblindet" war. Und was hieß "beobachterverblindet"? Es hieß, dass Patienten, Ärzte und Prüfer alle über die Zuordnung zu den Probandengruppen bescheid wussten, wie die Whistleblowerin Brook Jackson aufgedeckt hat. Und bei der Zulassungsstudie ist man während der Durchführung auch vom angemeldeten Protokoll abgewichen. Comirnaty hat aber trotzdem im Dezember 2020 eine vorläufige Zulassung bekommen und als klar war, dass keine besseren Daten nachgereicht werden können, auch noch eine vollständige Zulassung im Oktober 2022.
Vielleicht machst du noch ein Video zu den Datenanalysen oder zeigst, dass man solche Daten u.a. nach dem Benfordschen Gesetz analysieren kann. Gerade bei Benford kann man ja relativ einfach verstehen, warum künstlich erzeugte Daten gerne abweichen vom erwarteten Ergebnis. Klar ist das etwas nerdy aber, es gibt vielleicht auch einen Einblick auf das Berufsfeld der Datenforensik.
Clevere Datenfälscher werden die Benford-Verteilung mit berücksichtigen. Aber wahrscheinlich haben Fließbandfälscher einfach gar keine Zeit für qualitativ hochwertige Fälschungen.
Tatsächlich ist das Fälschen von Daten, die danach noch dem Benfordschen Gesetz entsprechen nicht so einfach. Zumindest bisher war es das nicht, ob es mit dem Einsatz von AI einfacher geworden ist, weiß ich ehrlich gesagt nicht. Ab da wäre dann der Dataforensiker zu befragen und genau das wäre für ein Video sicherlich sehr spannend.
Interessantes Video.
Clark - der feuchte Traum von Provisionen
Eigentlich komisch, dass nur Studien veröffentlicht werden die einen bestimmten p-Wert erreichen. Es können doch auch "Fehlschläge" interessant sein, damit nicht andere in die gleiche Sackgasse laufen. Vielleicht auf einer Seite einige dieser Studien, mit Link zu weiteren Infos, auflisten. Oder gibts das schon irgendwo.
Hab noch nicht alles angeschaut, aber die Erklärung für den P-Wert stimmt so nicht ganz. So, wie du ihn erklärst, hätte ich ihn früher auch erklärt, ist aber nicht richtig:
Merk dir einfach den Satz: Der P-Wert gibt die Wahrscheinlichkeit der Daten an, unter der Annahme, das H0 (Nullhypothese) gilt.
Ist der Wert kleiner als die vorher festgelegte Schwelle wie z. B. 0,05 (also unter 5%), dann können wir H0 ablehnen und die H1 (Alternativhypothese) annehmen. Kurz gesagt, die Daten sind für uns signifikant. Mehr macht der aber nicht. Dementsprechend sagt der auch nichts weiter über die Daten aus.
Verstehe ich nicht ganz klingt aber interessant. Kannst du das nochmal für Laien formulieren? Danke😊
Ich verstehe deine Kritik nicht. Genau das wurde doch im Video so erklärt, nur eben einfacher.
H0 gilt = Datenunterschiede basieren auf Zufall(Wortwahl im Video)
Wo ist der Fehler?
@@NeuroticNOOBWenn ich es richtig verstehe:
Im Video wurde es so erklärt, dass es um die Wahrscheinlichkeit geht, dass H0 gilt, auf Grundlage der erhobenen Daten.
Der P-Wert gibt aber andersrum die Wahrscheinlichkeit an, die erhobenen Daten (oder noch weiter von H0 abweichende) zu erhalten unter der Annahme, dass H0 gilt.
Also korrekt wäre p(Daten|Annahme), die Erklärung klang aber wie p(Annahme|Daten), falls die p(x|y) Schreibweise Ihnen geläufig ist.
@@felix2938 Ich setz jetz mal vorraus dass dir bekannt is, dass 0,05 in der Statistik gleichbedeutend mit 5% ist, und versuchs mal anhand eines würfels zu erklären.
Ein idealer Würfel würde jede Augenzahl mit einer Chance von 1/6 zeigen bei jedem Wurf. Jetzt kannst du natürlich 3x eine 6 in Folge Würfel obwohl du einen fairen Würfel hast, deshalb wirft man idR für sowas auch seeehr oft. Sagen wir du wirfst den Würfel 100x und davon bekommst du 25x eine 6. Das heißt, 1 von 4 Würfen war im schnitt eine 6 - also häufiger als mans eigentlich erwarten würde. Und sagen wir einfach mal du hast den Verdacht, der Würfel könnte gezinkt sein.
Unsere "Nullhypothese" is jetzt erstmal dass er NICHT gezinkt is, also fair, also jede Augenzahl eine Chance von 1/6 hat.
Jetzt betrachten wir dein Ergebnis, nämlich 25x eine 6 und 75x eine andere Zahl (der Einfachheit halber beschränken wirs jetzt mal auf die beiden Optionen). Unser p-Wert sagt uns jetzt, wie wahrscheinlich isses dass - unter Annahme der Nullhypothese, also dass der Würfel fair ist - trotzdem zufällig dein Ergebnis rauskommt? Jetzt legen wir einen p-Wert fest der uns gering genug erscheint damit mir sagen können, der is wahrscheinlich gezinkt - in den meisten Wissenschaften liegt der bie 5% bzw 0,05 oder noch niedriger.
Wir sagen mal zum Spaß 5% ist unsere Grenze, also 0,05. Liegt unser Wert drunter nehmen wir an, der Würfel is gezinkt. Jetz müssen wir unsern tatsächlichen p-Wert berechnen. Die Erklärung zur Wahrscheinlichkeitsrechnung erspar ich mir hier mal, die Rechnung wird hier auch etwas lang wenn cih sie aufschreibe. Im Endeffekt rechnen wir aus, wenn der Würfel tatsächlich zu 1/6 eine 6 zeigt, wie hoch ist dann die Chance, mindestens(!) 25x eine 6 zu würfeln. Mindestens deshalb, weil unsere Chance (25 von 100, also 1/4) ja HÖHER ist als die Nullhypothese von 1/6.
Diese Wahrscheinlichkeit die dabei rauskommt (=unser p-Wert) is die Wahrscheinlichkeit, dass wir mit einem fairen Würfel der im Schnitt in 1 von 6 Fällen eine 6 ergibt tatsächlich bei 100 Würfen dann 25x eine 6 Würfeln. Liegt die über unserem festgelegten Wert von 0,05 (=5%), dann können wir annehmen dass unsere Nullhypothese gilt (das heißt dass der Würfel tatsächlich fair ist) - liegt der Wert aber bei 0,05 oder DARUNTER (bzw bei oder unter 5%), dann dürfen wir annehmen, dass die "Alternativhypothese" (ins unserem Fall, dass der Würfel gezinkt is) gilt. Wie gesagt spar ich uns die genaue Rechnung hier mal, kannst du aber bei Interesse recht schnell online nachschaun. In unserem Fall kommen wir aber auf einen p-Wert von 0,02. Wir können also davon ausgehn, dass der Würfel gezinkt is.
Danke @@LucRio448 , sehr ausführlich und anschaulich erklärt. Ich glaube ich habs verstanden
Wieso wird in den peer review so geschlampt?
Wo kommen wir denn hin, wenn Wissenschaft so arbeitet wie STrgF?
Die einfachste Antwort könnte Zeitdruck sein. Weil alles und jeder von der Universität mit einem Akademikertitel zurück kommen soll (außer man heißt Elizabeth Holes) werden die Peer-Gruppen mit Arbeiten überschüttet, und das heißt sie sind nicht in der Lage diese Arbeiten gründlich zu überprüfen. Werden darin Koryphäen zitiert, und die Arbeiten schließen logisch an die Arbeit der Koryphäe an, dann wird kaum jemand den Autoren kritisieren. Baut die Koryphäe aber selber den Mist, hat sie sozusagen einen Schutz durch ihren Sonderstatus. Und so kann die Fehlinformation sich ausbreiten wie ein Pilz im Baumstamm.
Ich hoffe, dass die Doktormutter von der Doktorandin am Anfang entschuldigt hat...
Genau der Grund, weswegen ich meine Doktorarbeit abgebrochen hab, nach langem Forschen und Postervorstellungen...
Auch wenn man heraus findet, dass etwas nicht funktioniert, kann das für die Wissenschaft ein Fortschritt sein. Es kann anderen diesen Versuch ersparen oder sie finden etwas, was die ursprünglichen Autoren übersehen haben.
Schade nichts dabei wo ich mal "eben" hinkomme. Gibt es die Tour irgendwo auch on Demand zu sehen später?
Die entscheidende Frage ist doch folgende... Was ist wahrscheinlicher:
1. Dass solche Fälle nur die Spitze eines enormen Eisbergs sind, und es für jeden Fall der herauskommt Dutzende gibt, die nie aufgedeckt werden
ODER
2. das solche Fälle nur absolute Ausnahmen sind, die das ganze Peer-Review und Gutachter etc. Prinzip nicht wirklich in Frage stellen.
Mindestens genau so ärgerlich ist aber das gegenteilige Phänomen: dass nämlich Forschungsergebnisse die nachweislich korrekt sind ihre Wirkung nicht entfalten können, weil es politisch nicht gewollt ist. Das trifft zum beispiel auf viele Erkenntnisse beim Thema 'Drogen' zu, die die ganze internationale Verbots-Politik der letzten Jahrzehnte als völlig überzogenen und kontraproduktiven Unsinn entlarven. Die Daten und Zahlen sind eindeutig. Aber die Politik ignoriert sie einfach.
Und ja, die Wissenschaft hat natürlich die Fähigkeit, sich selbst zu korrigieren. Aber muss man das so bejubeln? Bis es mal zu einer Korrektur kommt kann schon sehr viel schaden angerichtet sein, für den ein einzelner Kopf dann sich gar nicht mehr grade stehen kann. Und vor allem: wie 'dumm' ist die Wissenschaftsgemeinde denn, dass sie die Maßnahmen, die am Ende genannt werden, erst seit kurzem einführt - statt dass sie schon immer eine Selbstverständlichkeit waren?
"Die Daten und Zahlen sind eindeutig"
Viele der Daten und Zahlen sind gar nicht so eindeutig. Also ja, die Zahlen an sich schon, die jeweiligen Erhebungen, die zu diesen geführt haben, häufig nicht.
Dieser Schritt findet aber auch weit weniger Beachtung, wenn die Ergebnisse so eindeutig sind.
Magst du einmal die für dich eindeutigen Studien zum Thema 'Drogen' nennen, bei der die Ergebnisse sowie die Methoden zur Erhebung, die zu den Ergebnissen geführt haben, keine Kritik zulassen und für alle ausschließlich eindeutig sind und ebenso implizieren, dass die Erkenntnisse 1:1 auf bspw. Deutschland übertragen werden kann?
"wie 'dumm' ist die Wissenschaftsgemeinde"
Hinter den Publikationen steckt ein großes Geschäft.
Eine weitere Frage in dem Zusammenhang ist: Wieso gibt es keinen grundlegenden freien Zugang zu staatlich finanzierter wissenschaftlicher Arbeit?
Ausnahmen kann es geben, aber aktuell ist es eher umgekehrt.
Zum Peer-Review gab es schon in der Vergangenheit einige Artikel. Das lässt sich ganz einfach umgehen bzw. aushebeln, spätestens wenn Geld ins Spiel kommt. Da wurden schon Spaßeshalber mal Auszüge von "mein Kampf" als wisschenschaftliche Arbeit durchgereicht und keiner hatte ein Problem damit.
Dass solche Fälschungen noch geschützt werden zeigt ja der Anfang des Videos. Stellt man Fragen wird man als unbequem abgesägt.
Das ist eines der Beispiele, warum es in der Welt oftmals eher um "Glauben", statt um "Wissen" geht. Denn "gemäß einer Studie" besagt erstmal noch gar nichts. Wirklich wissen, ob die Studie ihr Salz wert ist, weiß man, wenn man sich richtig dort eingearbeitet hat und mehrere Fachwerke darüber gefunden hat, die es bestätigen/widerlegen - oder man die Versuche und die Behauptungen der Studie selbst überprüft hat.
Wenn ich nachweisen kann, dass da was nicht stimmt und meine betreuende Person trotzdem drauf besteht, das so zu machen oder übernehmen, würde ich dringend die Person wechseln. Zudem find ich es sehr problematisch, dass entsprechende Studien nicht kritisiert werden sollen. Denn gerade das macht ja Wissenschaft, dass man Dinge hinterfragt und damit aber auch die Herangehensweisen von anderen Wissenschaftlern. Mache ich genauso, wenn ich zu einem Thema Inhalte finde, die aber so nicht übernommen werden können oder gar sollten. Übernimmt man Dinge ohne sie zu hinterfragen, dann würde ich bei ner Bachelorarbeit nen Auge zudrücken und eine schlechtere Note geben, wenn das nur nen kleinen Teil ausmacht und der Rest sehr stimmig ist, vor allem der Kern. Bei einer Masterarbeit würde ich mir das deutlich genauer anschauen und gucken, ob es einen signifikanten Einfluss auf die Arbeit hat. Wenn ja, dann ist es schon schwierig. Bei einer Doktorarbeit hingegen würde ich dann bei der Verteidigung der Arbeit ne gute Begründung erwarten, ansonsten wirds schwierig mit dem Titel, weil das einer der Kernkompetenzen ist, andere Arbeiten kritisch zu hinterfragen.
Auch muss man dazu sagen, Datenfälschung passiert leider häufig. Vor allem mit zunehmendem Erfolg, denn viele Artikel rauszubringen ist sehr aufwändig, aber kann gut Geld bringt und vor allem auch nen guten Ruf. Ich weiß nicht, wie es in anderen Ländern ist, aber in Deutschland kann man sowas einfach melden und wird dann überprüft, wenn es sich um jemand handelt der an einer deutschen Uni entsprechend arbeitet bzw. seinen Abschluss gemacht hat.
Hast du ja gesehen, was mit Wissenschaftlern passiert ist, die sich gewagt haben, Drosten oder Lauterbach öffentlich zu widersprechen. Herr Wieler hat sogar ganz klar gesagt, dass bestimmte Dinge zu Corona nicht hinterfragt werden sollen.
@@amigalemmingNein, bzw kann mich nicht mehr dran erinnern, aber es ist ziemlich egal was passiert, denn das schlimmste, was dir passieren kann ist, dass du deine Stelle verlierst und suchst dir eine neue, wo Leute keinen Betrug betreiben
@@hawkhunter3256 Wissenschaftler, die Drosten oder Lauterbach oder Wieler widersprochen haben, darunter einige Professoren, sind von den Medien als Menschenverachter verrissen worden, ihnen rückte die Polizei mit Hausdurchsuchungen auf die Pelle, Prüfungen vom Finanzamt, Bankkonten wurden mehrfach gekündigt, alle Schikanen durch die Bank weg.
Im von dir eingeblendeten Buch von Francesca Gino geht es übrigens darum dass es sich auszahlt Regeln und Abläufe zu brechen 👀
lol, stimmt. Das ist wohl autobiografisch 😅
Gute Plätze gibt es nur über das Theaterhaus selbst. Sind natürlich auch in Stückchen teurer plus Service-Gebühr.
Bin aber mit meinem Sohn dabei.
Wahrnehmung ist subjektiv! Das ist die einzige Wahrheit die es für mich gibt!
Ist das nicht ein Symptom das aus dem (finanziellen) Druck heraus entsteht Ergebnisse zu liefern?
Gerade in der Forschung muss man ja schon fast bestimmte Themen und Ergebnisse forcieren um an Gelder zu kommen.
"Open Source" in Sachen Rohdaten etc. sind sehr begrüßenswert.
ein großes Problem ist halt auch die extrem große Menge an veröffentlichungen, die dazu führt das ein P-Wert von 0,05 eben nur ein indiz und kein Beweis ist.
Es würde ja reichen 20 Studien mit einem P-Wert von 0,05 und eine davon wäre statistisch gesehen ein False-Positive
Mir ist leider etwas ähnliches begegnet, aber in einer direkteren Art. Und zwar baute meine Promotion auf der Promotionsschrift, den Papern und Simulationen meiner Vorgängerin auf. Während meiner Promotion ist mir jedoch aufgefallen, dass die Ergebnisse zum einen nur durch Manipulation der Versuchsgeräte erhalten werden konnten und die Simulationen auf denen ich aufbauen und die ich weiterentwickeln sollte nicht mehr vorhanden sind. Während meiner Promotion wurden auch nur Paper zum einreichen bei Journals von der verantwortlichen Vorgesetzten zugelassen (bei mir und anderen Kollegen im gleichen Feld) die auch ins Bild der Vorgesetzten passten. D. h. entweder die Ergebnisse passen zu den zuvor gelegten Gedanken oder die Ergebnisse müssen nachträglich angepasst werden bzw. die Versuche angepasst werden. Ich denke ich muss nicht erklären das die Vorgesetzte auch die Vorgesetzte meiner Vorgängerin war. Naja, dementsprechend habe ich nur wenig als Erstautor veröffentlicht, da es in meinen Augen nicht vertretbar ist. Die Vorgesetzte ist mittlerweile auch Prof. an einer renommierten Uni. Dementsprechend habe ich für mich den Entschluss gefasst nach der Promotion nicht mehr in der Forschung tätig zu sein, da es für mich komplett das vertrauen zerstört hat.
Super spannend, aber wie sind sie an die Rohdaten gekommen 🤔
Ziani hat bei Gino die Rohdaten für eines der Experimente aus dem ersten Paper direkt angefragt. Die anderen Daten waren online verfügbar. So beschreibt es Ziani in ihrem Blog.
lG, Dennis
@@DoktorWhatson ah, okay, wirklich spannend. Vor allem der Idealismus und das Durchhaltevermögen sowas aufzudecken. Es ist immens wichtig, aber - das kann ich mir zumindest vorstellen - auch anstrengend und mit Ängsten über möglichen Reputationverlust behaftet. Danke für die Antwort 🙂
Hätte gedacht am Ende eines solchen Enthüllungsvideo käme noch ein „Cheers“.
😂
Ich glaube, die meisten Menschen verstehen nicht, wie leicht Statistiken und wissenschaftliche Arbeiten manipulierbar sind. Und die Menschen, die sich dieser Mittel bedienen, unterminieren natürlich für immer das Vertrauen in die Wissenschaft.
Ich glaube, das sorgt auch oft für Missverständnisse zwischen Menschen, die der Wissenschaft vertrauen und diejenigen, die ihr eher nicht vertrauen. Die wissenschaftliche Methode an sich ist großartig, wenn sie korrekt angewendet wird. Aber sie ist leider auch leicht zu manipulieren und wird dann zum eigenen Vorteil missbraucht.
Ich glaube Richard Feynman hat gesagt: Die Menschen sind gebildet genug, um wissenschaftliche Studien zu verstehen. Aber oftmals nicht gebildet genug, um sie zu hinterfragen.
Eine kleine Ergänzung noch: ich frage mich aktuell, wie viele solche Fälle unaufgedeckt sind, einfach weil der Betrug besser durchgeführt wurde. Ich meine, die Fehler in diesen Datensätzen waren ja bei genaueren hinsehen schon recht offenkundig. Auf jedenfall ein spannendes Video.
Die Menschen sind vor allem falsch vorgebildet. Die meisten bekommen den Eindruck, dass die Wissenschaft immer behauptet, dass jede Studie die absolute Wahrheit herausfindet. Und das ist halt nicht korrekt. Sie haben auch den Eindruck, dass Wissenschaft immer behauptet, alles sofort erklären zu können. Und das ist halt auch falsch. Und dann hören sie so Sprüche von Wissenschaftlern, dass "in der Wissenschaft nichts unanfechtbar ist" und denken, dass dann eh alles nicht stimmt und man genausogut der Schwurbeldruidin von nebenan glauben kann. Und auch das ist natürlich falsch.
Wissenschaft ist ein Prozess. Sie ist nie fertig. Das stimmt. Aber es gibt Wissen für das wir so viel und so gute Evidenz haben, dass man mit Bestimmtheit sagen kann, dass es so ist. Und dann gibt es alles von Theorien mit unvollständiger oder noch wackliger Evidenz bis hin zu Hypothesen mit gar keiner Evidenz. Oder eben so Sachen, wo einer mal eine Studie gemacht hat und niemand hat sich die Mühe gemacht, da nochmal drüber zu gucken. Und so werden manche falschen Erkenntnisse schnell gefunden, bei anderen dauert es eine Weile.
Bei COVID haben wir den Prozess miterlebt und ganz viele Menschen hat es total überfordert, dass "die Wissenschaft heute dies und Morgen das behauptet". Aber vor allem hat auch die Berichterstattung dieses konfuse Bild erzeugt. Weil die nämlich noch viel mehr als die Wissenschaftler immer so tun als sei Wissenschaft nach einer Studie schon in Stein gemeißelt.
Und gleichzeitig macht man all diese wissenschaftlichen Fachartikel öffentlich zugänglich, und lässt Laien damit allein, die die Studien weder verstehen noch einordnen können, weil sie eben keine Fachexperten sind, die das Feld nicht nur fachlich sondern auch in der Praxis von innen und außen kennen. Das ist alles ganz schön knifflig.
..."Trau' schau' wem" - in diesem Fall, für außenstehende Laien ohne entsprechenden Aufwand, äußerst schwierig zu beurteilen...!
Ich bin nicht in der Forschung tätig. Aber gibt es bei all dem Beschiss in der Forschung, von einzelnen, kein Qualitätsmanagement?
Die Qualitätskontrolle wird ja versucht. Das nennt sich "Peer Review", bei dem andere Experten aus dem gleichen Fachgebiet einen Fachartikel bewerten, bevor der in einem Journal veröffentlicht wird. Leider hat man als Wissenschaflter da wenig Zeit für und man bekommt dafür auch nichts. Und bei der überwältigenden Schwemme an eingereichten Artikeln, ist es praktisch unmöglich, einen hohen Standard bei den Gutachten durchzuhalten. Man hört auch ganz oft, dass Redakteure der Magazine einfach keine passenden Gutachter finden können, weil die alle keine Zeit haben und die Anfragen ablehnen (oder gar nicht erst beantworten). Unter Akademikern ist das Problem bekannt und die meisten rechnen auch damit, dass jeder Artikel auch Schrott sein könnte. Dummerweise neigt man aber in der Wissenschaft auch dazu, bei Namen mit einem bestimmten Ruf, nicht so genau hinzuschauen. Seien es die Namen der Autoren, der Name des Instituts oder der Name des Journals. Das geht alles auf den Publikationsdruck zurück. Da hat Doktor Whatson auch mal ein gutes Video zu gemacht.
Positv Gutes Video. Negativ: keine Ankündigung der Werbung
Sehr interessant
Bei meiner Diplomarbeit in Physik hat man mir die Pistole auf die Brust gesetzt, etwa abänderung der Daten oder die Diplomarbeit wird nicht gewertet, ich habe mich für das zweite entschieden, auf der einen Seite bin ich Stolz auf mich das ich mich nicht erpressen gelassen habe, aber auf der anderen Seite immer noch sehr verägert .. ich weiss auf jedenfall warum wir nicht weiter kommen in der Wissenschaft
Die Veröffentlichung dieser Erpressung, damit staatliche Mittel dieser Universität entzogen werden können, kam nicht in Frage?
@@deineroehre ich habe es nicht Veröffentlicht, ich wüsste auch gar nicht, woran ich mich wenden könnte. Des weiteren habe ich als Student einiges mitbekommen, was schief läuft und selbst wenn ein ganzes Maschinenlabor innerhalb von 3 Stunden abbrennt (WZL) und das ganze geradezu nach Brandstifftung richt, passiert nichts. Es gibt einige Bücher die die Misstände und Betrügereien dokumentieren und aufzeigen siehe Prof. Untat, Forschung auf Deutsch, Per Holzweg durchs Unviversum, Einsteins Alptraum ... Also ich will damit sagen es ist bekannt, aber aufgrund der Selbstregulierung der Hochschulen passiert nichts.
@deineroehre ich habe es nicht Veröffentlicht, ich wüsste auch gar nicht, woran ich mich wenden könnte. Des weiteren habe ich als Student einiges mitbekommen, was schief läuft und selbst wenn ein ganzes Maschinenlabor innerhalb von 3 Stunden abbrennt (WZL) und das ganze geradezu nach Brandstifftung richt, passiert nichts. Es gibt einige Bücher die die Misstände und Betrügereien dokumentieren und aufzeigen siehe Prof. Untat, Forschung auf Deutsch, Per Holzweg durchs Unviversum, Einsteins Alptraum ... Also ich will damit sagen es ist bekannt, aber aufgrund der Selbstregulierung der Hochschulen passiert nichts.
11:08 "Und gerade für Promoviernde ist es schwierig und potentiell karriereschädigend, die Arbeit von Forschungspromis zu bemängeln."
Naja. MEIN Forschungpromi war mein Doktorvater. Ich habe mich nur hingestellt und gesagt, dass ich in mehreren reproduzierbaren Experimenten Ergebnisse rauskriege, die nicht zu seinen Postulaten passen.
Das war dann eben die 2 statt der 1 in der Promotion, obwohl ich mehrere Sachen gemacht habe, an der die komplette Führungsriege des Spezialgebiets gescheitert war. (Was dann ja auch logischer Weise zu den Abweichungen von ihren Aussagen führte.) Mit ein paar, äh sehr vielen Semestern zu viel auf dem Buckel war die Note für die Karriere aber wohl auch egal.
Ein gutes Buch zu genau dem Thema: science fictions von stuard Richie
Studium Semester 1: man legt vorher die Methode fest und dann akzeptiert man das Ergebnis, wie es ist. Doktorat, Gespräch im Lift mitgehört: "probier es doch mal mit dem [---] - Test, dann wird es vielleicht signifikant.
Tja in der Technik kann man sich solche Tricks nicht erlauben, da ist das Versuchsergebnis etwas leichter nachzustellen um Fälschungen auf die Schliche zu kommen. Aber das ist ja häufiger in Fachbereichen vorzufinden, bei denen man mit Umfragen usw. "einfacher" an seine Daten kommt und eben viel mehr tricksen kann...
Wenn das mal die VW-Ingenieure mit ihren Abschaltvorrichtungen gewusst hätten!
wenn hauptschüler über solche themen reden 🤣🤣
@@bricksquadgermany Dann lass es doch. Zwingt dich doch keiner hier mit zu reden. 😉
Oder die SMR Firmen, die sich achso preiswert rechnen um an hunderte Millionen Forschungsgelder zu kommen um dann später alles wieder abzublassen...
In der Technik kann man genaus schummeln wie irgendwo sonnst. Und die Fehler haben nichts damit zu tun, dass sie aus Umfragen kommen, hier wurden sich einfach Ergebnisse ausgedacht, was nichts mit der Methodik zu tun hat... Aber schön seine Meinung abgeben, wenn man keine Ahnung hat...
Sogar mein Mathelehrer hat gesagt: vertrau keiner Statistik, welche du nicht selbst gefälscht hast. Das war während meiner Ausbildung zum Chemielaborant. Confirmation-Bias lässt grüssen.🤔🤨
Tja, und daher sind Vroniplag et al so wichtig.
Ist es bei Umfrageergebnissen nicht sinnvoll die extremwerte abzuschneiden? Man hat doch immer eine zahl x personen dabei die bei jeder frage die gleiche antwort ankreuzen?
Grundsätzlich ist es legitim, auffällige Abweichungen zu entfernen, wenn es eine gute Erklärung für die Abweichung gibt, die nichts mit dem Versuch zu tun hat. Um die klassischen Murks-Antworten in Umfragen zu identifizieren, gibt es verschiedene Methoden. Zum Beispiel, dass man Fragen unterbringt, die gezielt dazu dienen, die Aufmerksamkeit der Probanden zu testen. Oder Methoden, die erkennen, ob jemand Muster kreuzt. Das macht man aber, bevor die Daten als Extremwerte in der Auswertung auftauchen können.
Beim P-Hacking entfernt man aber einfach nur die Werte, die einem nicht passen und erfindet dafür einen geeigneten Schwellenwert.
- lG, Dennis
Macht bitte ein eigenes video über datenforensik. Das wäre für viele hilfreich fürs kritische denken.
Hammer story. Danke ❤
Es bleibt wie immer viel Luft nach oben. Aber der Weg stimmt. Vor allem wenn wir transparent arbeiten, bleiben wir nachvollziehbar. Das ist oft anstrengend, aber letztlich viel befriedigender.
Nicht-transparentes Arbeiten hat meiner Meinung nach gar nichts mit Wissenschaft zu tun.
Guter Beitrag, danke. Mich fragt's nur, ob Elizabeth Holmes nicht noch eine Nummer größer war:
Wie sagte schon mein Lehrer in den 70ern: Traue nie einer Statistik, die du nicht selbst gefälscht hast!"😁
"vorläufiger Datensatz" ist das absurdeste, was ich diese Woche gehört hab 😂😂😂 Daten werden erhoben und sind dann einfach nur da. Vorläufig?? Wollte man nachträglich an Daten nochmal bißchen runschrauben? 😂😂
Stimmt. Diese Aussage lässt tief blicken.
Da fragt man sich, wie weit man Forschungsergebnissen überhaupt vertrauen kann. Als Fachlaie hat man kaum das notwendige Wissen, solche Fälschungen zu erkennen.
Man kann nur vertrauen, dass Themen von mehr als einem*r Wissenschaftler*in bearbeitet werden und wenn möglich verschiedene Quellen einbeziehen. Bzw. dass Fälschungen und unsaubere Methoden auffallen, z.B. in Peer Rewiews.
Ganz sicher kann man nie sein. Wissenschaftlich untersuchte und erhobene Ergebnisse sind aber zumindest das sicherste, was wir haben und entgegen dieser zu handeln oder seine Meinung zu bilden ist noch wesentlich unsicherer.
Ist aber generell schwierig, als Laie komplexe Themen und Ergebnisse zu verstehen. Wissenschaftskommunikation ist auch nicht aus Spaß ein eigenes Arbeitsfeld ;)
Richtig, als Laie wirds schwierig. Was aber immer hilft ist, sich das Studiendesign anzuschauen, denn das kann ein Laie meist noch verstehen. Wenn da schon Zweifel aufkommen, ist es schlecht. Das ist z. B. bei Umfragen so. Als Laie kannst du sehr schnell erkennen, ob die Umfrage wirklich repräsentativ ist oder nicht
Nicht nur das, ganz viele Medien berichten einfach auch überhaupt nicht gut über wissenschaftliche Erkenntnisse, was ein total falsches Bild über den tatsächlich Kenntnisstand erzeugt.
Warum haben die Leute wohl kein Vertrauen in die Wissenschaft mehr?
Journals sollten auch Gegenstudien mehr Chancen geben. Wenn man etwas widerlegt, hat man es extrem schwer veröffentlicht zu werden. Das ist auch eine Sauerrei...
Wissenschaft darf man nicht vertrauen. "Vertraue der Wissenschaft" ist Mediensprech. Wissenschaft lebt vom ständigen Hinterfragen und Kritisieren. Und nun schaue dir an, in welchen Disziplinen du nicht hinterfragen darfst ...
@@amigalemminges gibt auch blinde Skepsis, die genau so dumm ist, wie blindes Vertrauen.
Auf der anderen Seite muss man den gewonnenen Erkenntnissen Glauben schenken, weil man sonst nie einen Nutzen aus ihnen ziehen könnte. Das ist im Grunde der Glaube, dass die wissenschaftliche Vorgehensweise grundsätzlich funktioniert. Das zeigt sich gerade auch im Video.
@@amigalemming Wissenschaft lebt vom Hinterfragen. Ja. Allerdings braucht es schon eine Menge Substanz, um Experten auf ihrem Fachgebiet sinnvoll kritisieren zu können. Deshalb verlassen sich nach wie vor die meisten immer noch auf Expertenmeinungen und verstehen auch, dass die Arbeit immer weitergeht und laufend neue Erkenntnisse hinzukommen. Dass "die Leute" kein Vertrauen in Wissenschaft hätten, ist eine gefühlte Wahrheit. Umfragen sagen da etwas ganz anderes.
Diejenigen, die trotz fehlendem Sachverstand meinen, ganze Forschungszweige "hinterfragen" zu müssen, denen passen einfach die Ergebnisse nicht und sie klammern sich an so Aussagen wie "die Wissenschaft lebt vom Hinterfragen", um unqualifizierten Quatsch zu verbreiten. Sie haben aber auch oft eine komplett falsche Vorstellung von Wissenschaft und kennen meistens auch nur verdrehte Versionen der Forschungsmeinung vom Stammtisch, von populistischen Meinungsmachern (darunter leider oft auch Menschen mit akademischen Titeln) und aus schlechten Medienberichten.
@@heliopunk6000 Die Hinterfragenden sind oft selbst Experten auf den entsprechenden Gebieten, nur nehmen sich unsere Medien die Selbstüberschätzung heraus, beurteilen zu wollen, welche Experten seriös seien und welche zu verteufeln sind.
Ich bin eh skeptisch Ergebnissen gegenüber, bei denen weder die ursprünglichen Rohdaten, noch die angewandten Methoden mitgeliefert werden. Eigentlich sollte das der Standard sein, so dass jeder Schritt für Schritt das Ergebnis nachvollziehen kann.
12:55 Das Vertrauen in die Wissenschaft zu verlieren? Genau diese Fälle zeigen doch, wie schwer es ist, aus den mittelalterlichen Gedankengängen herauszukommen und einzig das Experiment zählen zu lassen (und - gaaaanz schwierig - das Ego hinten anstehen zu lassen). Das Problem ist nicht "die Wissenschaft" sondern es sind die Wissenschaftler, die nicht wissenschaftlich arbeiten.
Die Wissenschaft besteht aus zwei Teilen: dem Experiment, das gut protokolliert und durchgeführt werden muss. Qualitätskriterium: es muss reproduzierbar sein. Der andere Teil ist die Interpretation. Wenn das Experiment reproduzierbar ist, dann ist das die einzige Fehlerquelle. Und bei der Interpretation hapert es immer wieder.
Die Videos sind immer super, die Werbepartner eher kritisch ^^ Kann jedem nur von Clark abraten
p-hacking for 25 million...? Well, just follow the money... and on a global level anybody probably will soon find out:
Der Grad zwischen einem Rosinenpicker und einem Korinthenkacker ist eben oft ziemlich schmal. ;)
Ich mag den Bart, möge er wachsen. :~)
Der Kanal auch.
Danke für dieses Video.
Interessanter Weise wird sie auf der Fakultätsseite der HBS immer noch als aktive Professorin geführt.
Wirtschafts"wissenschaften" - Bitte mit einem Augenzwinkern verstehen - an Wirtschaftswissenschaftler*innen da draußen: Bitte geht stringend mit Daten und Statistik um und haltet euch an die Grundsätze der Wissenschaftstheorie. Hab leider in meiner bisher kurzen akademischen Laufbahn schon einiges Abenteuerliches auf dem Feld gesehen
Das Geile daran ist ja eigenltich, dass wir uns Alle irgendwo/irgendwie selbst belügen. Ohne das "in die eigene Tasche lügen" und "Geld schäffeln mit allen Mitteln", wären wir schon um Einiges weiter entwickelt.
Beispiel aus der Physik: dieser Typ mit der Supraleitung bei Raumtemperatur, der auch schon früher mit Beschiss aufgeflogen war.