Was soll/kann/muss/darf eine Benotung/Bewertung bekommen?

[Markus]

21. März 2020 um 15:24 Uhr

Priska Fuchs spricht in Ihrem Dokument von Open Book Prüfungen, Peer-Prüfungen, Präsentation, Lernprozess und mündliche Prüfung im 1 zu 1.

Quelle

Was wäre noch denkbar?

[Markus]

24. März 2020 um 9:59 Uhr

Nataliya schreibt im anderen Thread: „Du kannst dich an eine Fahrschule wenden, um ein Führerschein zu bekommen. Dabei spielt es keine Rolle, ob du nach dem 1 oder 20 Versuch bestanden hast.“

Als Unternehmen, das einen Fahrer sucht, könnte ich das folgendermaßen interpretieren:

negativ: der braucht ewig um etwas zu lernen

positiv: der ist hartnäckig und gibt nicht auf

Bezogen auf die heutigen Lernsysteme und auch diesen Unkurs gehe ich davon aus, dass der Lehrer viel mehr maschinelle Informationen als der Lernende vorliegen hat. Bearbeitungsgrade und Bearbeitungszeiten werden maschinell mitprotokolliert und können ausgewertet werden. Nehme ich das Beispiel hier, sehe ich als Lernender an wie vielen Themen ich arbeite, wie viele Antworten ich gegeben habe und die Anzahl an Freunde. Daraus könnte man interpretieren, wie interessiert, engagiert und sozial eine Person ist. Ich sehe das sogar für andere Edunauten. darf so etwas bewertet werden? Wie verhindert man, dass so etwas bewertet wird?

Darüber hinaus werden bzw. könnten noch viele verdeckte Informationen gesammelt werden – mit wie vielen Geräten meldet sich jemand an, wie viele Seiten ruft er auf, wie lange hält er sich auf den Seiten auf, wie lange braucht er für einen Forumseintrag usw. Dürfen diese Daten in eine Bewertung/Benotung mit einfließen? Sind diese Daten nicht aussagefähiger als „nackte“ Noten?

Darf ein Algorithmus eine Benotung/Bewertung/Rückmeldung abgeben und falls ja, für wen bzw. wem? Dem Lerner, dem Lehrenden, der Peer-Group, der Öffentlichkeit usw.?

[Tobias]

25. März 2020 um 14:21 Uhr

Ich stelle mir einen bewertenden Algorithmus folgendermaßen vor:

Er sollte auf Basis von Qualitätskriterien (die auch den SuS bekannt sein müssen) eine Bewertung verschiedener Leistungen (z. B. Textanalysen, Matheaufgaben etc.) vornehmen. (Somit sollte er sich bis hier hin noch nicht großartig von einer Lehrkraft unterscheiden ? )

Eine (selbstlernende) KI könnte mithilfe dieser Kriterien verschiedene Lernprodukte bewerten. Aufgrund des Fehlens von Sozialkompetenz, ist es dem Algorithmus möglich, wesentlich objektiver eine Bewertung vorzunehmen, als es ein Mensch kann – sorgen doch bei Menschen kognitive Verzerrungen (Bias) dazu, dass auch für die Bewertung eines Lernprodukts unnötige Variablen wie beispielswese Sympathie unbewusst in die Bewertung einfließen. Wichtig bliebe, dass der Algorithmus möglichst gut offenlegen kann, woran erkennt worden ist, ob. bzw. inwieweit einzelne Kriterien erfüllt wurden.

Außerdem wäre es unter Umständen möglich, dass der vorherige Kompetenzstand der SuS bei der Bewertung durch den Algorithmus zum Tragen kommt. So kann neben der Qualität des Lernproduktes auch der Lernzuwachs der Lernenden in die Bewertung einfließen. Dies ließe sich entweder durch einen Prätest oder anhand der Bewertung vorheriger Lernprodukte messen.

Bei einem algorithmisierten Bewertung sähe ich den Vorteil, dass die Lehrkräfte aus ihrer Doppelrolle als „Lehrende“ aber auch „Bewertende“ herauskommen können und ihre Rolle als „Lehrende“ stärken können.

Meiner Ansicht nach kann es große Vorteile mit sich bringen, wenn SuS ihre Lehrpersonen stärker als Coaches wahrnehmen können, deren Aufgabe es ist, dass sie besser werden, dass sie mehr wissen, dass sie erfolgreicher sind. Außerdem könnten die Lehrkräfte sich so besser auf die Entwicklung persönlicher und sozialer Kompetenzen konzentrieren, die weniger durch einen Algorithmus bewertet werden können.

Dadurch, dass Lehrkräfte aber auch gleichzeitig bewerten, hemmt dies meiner Erfahrung nach gerade schwächere SuS. Sie wollen ihr „Unwissen“ nicht offenbaren, da sie so riskieren, dass der „Bewertende“ dies negativ auffasst. Man möchte sich vielmehr so positiv wie möglich darstellen, um eine bessere Bewertung zu erfahren. So wird jedoch verhindert, dass die SuS sich ihrer Wissenslücken bewusstwerden und mit Hilfe der Lehrenden daran arbeiten können, diese zu schließen.

Wenn Leistungen nun durch einen Alorithmus quasi extern bewertet bzw. quantifiziert werden, stellt sich nun gleichzeitig das Problem des „Teaching for the Test“ bzw. „Teaching for the Algorith“ ein.

Wie ein solcher Algorithmus genau aussehen kann bzw. ob ein solcher Algorithmus überhaupt möglich ist, kann von mir als Lehrkraft nicht beantwortet werden. Falls dies jedoch möglich ist, muss geklärt werden, wie dessen Bewertung in das Verhältnis zu Bewertungen durch reale Personen gesetzt werden kann – z.B. zu Bewertungen durch die Lehrkräfte oder auch Selbstbewertungen / -evaluationen durch die SuS.

[Tobias]

25. März 2020 um 14:24 Uhr

Ich stelle mir einen bewertenden Algorithmus folgendermaßen vor:

Er sollte auf Basis von Qualitätskriterien (die auch den SuS bekannt sein müssen) eine Bewertung verschiedener Leistungen (z. B. Textanalysen, Matheaufgaben etc.) vornehmen. (Somit sollte er sich bis hier hin noch nicht großartig von einer Lehrkraft unterscheiden ? )

Eine (selbstlernende) KI könnte mithilfe dieser Kriterien verschiedene Lernprodukte bewerten. Aufgrund des Fehlens von Sozialkompetenz, ist es dem Algorithmus möglich, wesentlich objektiver eine Bewertung vorzunehmen, als es ein Mensch kann – sorgen doch bei Menschen kognitive Verzerrungen (Bias) dazu, dass auch für die Bewertung eines Lernprodukts unnötige Variablen wie beispielswese Sympathie unbewusst in die Bewertung einfließen. Wichtig bliebe, dass der Algorithmus möglichst gut offenlegen kann, woran erkennt worden ist, ob. bzw. inwieweit einzelne Kriterien erfüllt wurden.

Außerdem wäre es unter Umständen möglich, dass der vorherige Kompetenzstand der SuS bei der Bewertung durch den Algorithmus zum Tragen kommt. So kann neben der Qualität des Lernproduktes auch der Lernzuwachs der Lernenden in die Bewertung einfließen. Dies ließe sich entweder durch einen Prätest oder anhand der Bewertung vorheriger Lernprodukte messen.

Bei einem algorithmisierten Bewertung sähe ich den Vorteil, dass die Lehrkräfte aus ihrer Doppelrolle als „Lehrende“ aber auch „Bewertende“ herauskommen können und ihre Rolle als „Lehrende“ stärken können.

Meiner Ansicht nach kann es große Vorteile mit sich bringen, wenn SuS ihre Lehrpersonen stärker als Coaches wahrnehmen können, deren Aufgabe es ist, dass sie besser werden, dass sie mehr wissen, dass sie erfolgreicher sind. Außerdem könnten die Lehrkräfte sich so besser auf die Entwicklung persönlicher und sozialer Kompetenzen konzentrieren, die weniger durch einen Algorithmus bewertet werden können.

Dadurch, dass Lehrkräfte aber auch gleichzeitig bewerten, hemmt dies meiner Erfahrung nach gerade schwächere SuS. Sie wollen ihr „Unwissen“ nicht offenbaren, da sie so riskieren, dass der „Bewertende“ dies negativ auffasst. Man möchte sich vielmehr so positiv wie möglich darstellen, um eine bessere Bewertung zu erfahren. So wird jedoch verhindert, dass die SuS sich ihrer Wissenslücken bewusstwerden und mit Hilfe der Lehrenden daran arbeiten können, diese zu schließen.

Wenn Leistungen nun durch einen Alorithmus quasi extern bewertet bzw. quantifiziert werden, stellt sich nun gleichzeitig das Problem des „Teaching for the Test“ bzw. „Teaching for the Algorith“ ein.

Wie ein solcher Algorithmus genau aussehen kann bzw. ob ein solcher Algorithmus überhaupt möglich ist, kann von mir als Lehrkraft nicht beantwortet werden. Falls dies jedoch möglich ist, muss geklärt werden, wie dessen Bewertung in das Verhältnis zu Bewertungen durch reale Personen gesetzt werden kann – z.B. zu Bewertungen durch die Lehrkräfte oder auch Selbstbewertungen / -evaluationen durch die SuS.