Tag: E-Assement; Online-Prüfung;OLAT

Posted on by

(Digitales) Prüfen

Nachfolgend finden Sie wichtige Informationen im Zusammenhang mit dem (digitalen) Prüfen an der UZH.
Weitere Informationen finden Sie auch auf unserer Community «Open Channel Distance Learning»  auf Teams und auch auf der Website der Zentralen Informatik der UZH. Für didaktische Fragestellungen konsultieren Sie am besten die Website Teaching Tools der Hochschuldidaktik.

Übersicht

1. Prüfungsform für schriftliche Prüfungen

1.1 Remote-Open-Book-Prüfungen

Gemäss Entscheid der Philosophischen Fakultät sollen im HS21 schriftliche Prüfungen “grundsätzlich online-only erbracht” werden. “Schriftliche Prüfung zu Pflichtmodulen müssen unter allen Umständen online only durchgeführt werden”. Somit werden auch im HS21 Remote-Open-Book-Prüfungen als Durchführungsart im Zentrum stehen.

Bei einer Remote-Open-Book-Prüfung absolvieren die Studierenden die Prüfungen zuhause vor ihrem Computer.
Falls kein Safe-Exam-Browser eingesetzt und keine Proctoring-Software genutzt wird, ist während der Prüfung keine Überwachung und sind keine Einschränkungen bezüglich Zugriff auf andere Applikationen und Websites möglich. Das heisst, dass den Studierenden theoretisch alle erlaubten und unerlaubten Hilfsmittel zur Verfügung stehen.
Remote-Open-Book-Prüfungen wären ohne den Lockdown und die Umstellung auf den online Unterricht nie denkbar gewesen. Die Erfahrungen aus dem Frühlingssemester 2020 zeigen, dass mit Remote-Open-Book-Prüfungen auch einige Vorteile verbunden sind: Es muss kein Raum organisiert und keine Infrastruktur zur Verfügung gestellt werden. Auch das Personal für die Eintrittskontrolle und die Aufsicht entfällt. Da die Verantwortung für eine faire und ehrliche Prüfung den Studierenden überlassen wird, ist es wichtig, dass die Prüfung so konzipiert ist, dass sie möglichst wenig Möglichkeiten für Betrügereien schafft.
Die Konzeption und Durchführung einer guten Open-Book-Prüfung ist deswegen eine Herausforderung und erfordert im Vorfeld viele technische, didaktische und auch rechtliche Überlegungen.

Kein Faktenwissen abfragen
Open-Book-Prüfungen müssen so konzipiert sein, dass die Arbeit mit zusätzlichen Ressourcen, seien dies Bücher, Unterlagen oder Websites, Teil der Prüfung ist. Es macht also keinen Sinn, Faktenwissen abzufragen, das recherchiert werden kann. Die Fragen müssen offen gestellt sein, so dass eine Antwort mit eigenen Worten begründet, mit Beispielen belegt oder mit einem Konzept erklärt werden muss.

Randomisieren der Fragen und Antworten bei MC-Prüfungen
Es ist ebenso zu empfehlen, die Antworten und Fragen eines Themenblocks zu randomisieren. Wichtig ist auch, dass die Fragen nach Möglichkeit nicht nummeriert werden und keine individuelle Titel tragen. Mit einer Randomisierung und ohne Titel ist es schwierig bis unmöglich, Fragen gemeinsam zu lösen und sich untereinander auszutauschen.

Ehrenkodex
Den Online-Prüfungen muss ein Ehrenkodex vorgeschaltet sein, den die Studierenden akzeptieren müssen, um die Prüfung absolvieren zu können. Im Ehrenkodex werden die Studierenden auf ihre Pflichten und die drohenden Konsequenzen bei einer Verletzung derjenigen aufmerksam gemacht.

1.2. BYOD-Prüfungen

BYOD (Bring Your Own Device) bedeutet, dass die Studierenden ihren eigenen Computer mitbringen. BYOD-Prüfungen sind also online Prüfungen, bei denen die Studierenden die Prüfung auf ihrem eigenen Computer und in einem dazu reservierten Ort an der Uni ablegen. Somit können auch Closed-Book-Prüfungen durchgeführt werden.
Vorteil von BYOD ist, dass die Studieren auf ihrem eigenen Computer arbeiten können und weniger Prüfungsgeräte angeschafft werden müssen. Allerdings ist es trotzdem ratsam, wenn der Prüfungsorganisator im Fall von Problemen (Netzteil vergessen, veraltetes Betriebssystem und/oder Programm, Performanceprobleme) einige Ersatzgeräte bereithält, die bei Problemen genutzt werden können. Erfahrungsgemäss sollten ungefähr 5% Ersatzgeräte bereit stehen.
Wie bei einer normalen Prüfung, sollte bei einer BYOD-Prüfung eine Eingangskontrolle gemacht werden. Wichtig ist auch, genug Personal aufzubieten, das die Prüflinge beaufsichtigt und bei Computerproblemen (Absturz, Updates, Akkuprobelmen) helfen kann.
Wenn kein Safe-Exam-Browser verwendet wird, braucht es nach wie vor klare Regeln und eine Aufsicht, die schaut, dass nicht unerlaubte Unterlagen, Websites oder Chatfenster benutzt werden.
Wichtig ist, die Studierenden genug früh zu informieren, dass eine BYOD-Prüfung stattfindet und welche Geräte für die Prüfung empfohlen werden. Zudem sollten alle Studierenden im Vorfeld eine Testprüfung auf ihrem Gerät ablegen können. Bei der Verwendung des Safe-Exam-Browsers braucht es zudem einen unkomplizierten Support, bei dem die Studierenden Hilfe bei der Installation erhalten. Ebenso wichtig ist, dass für eine BYOD-Prüfung frühzeitig passende Räume reserviert werden, die mit genug Steckdosen und einem guten WLAN ausgerüstet sind.

2. Plattformen

2.1. Online-Prüfungen auf OLAT

Beschreibung
Für die Durchführung der Open-Book-Prüfungen stehen zusätzliche OLAT-Instanzen zur Verfügung. Diese garantieren mehr Sicherheit und eine bessere Lastenverteilung. Es wird daher dringenst abgeraten, die OLAT-Lernplattform für online Prüfungen zu nutzen.

Vorteile
+ Dozierende und Studierende sind mit OLAT vertraut.
+ Für Prüfungen auf OLAT gibt es bewährte Prozesse der Zentralen Informatik und des EPIS-Teams.

Nachteile
– Die Ergebnisse werden in einer unübersichtlichen csv-Datei ausgegeben, die noch aufbereitet werden muss.
– Das Auslesen der Ergebnisse kann recht zeitaufwendig sein.

Vorgehen
Es ist wichtig, den genauen Ablauf des Prüfungsverfahrens zu kennen, da nur so eine erfolgreiche Durchführung gewährleistet werden kann. Beachten Sie auch die Fristen, welche unbedingt eingehalten werden müssen. Alle Institute haben einen Prüfungsverantwortlichen sowie eine Ansprechperson für den First-Level-Support. Nehmen Sie frühzeitig mit diesen Personen Kontakt auf, um zu erfahren, wie der Ablauf und die Fristen für das betreffende Semester aussehen.

Fragetypen
Mit der Einführung von OLAT15 stehen nun 14 verschiedene Fragetypen für eine Online-Prüfung zur Verfügung:

Detaillierte Informationen zu den einzelnen Fragetypen kriegen Sie im OLAT-Benutzerhandbuch. Selber ausprobieren können Sie die neuen und bisherigen Fragetypen unter https://lms.uzh.ch/auth/RepositoryEntry/16950329363/CourseNode/102957159219867 (ganz unten auf „Start“ klicken).
Das EPIS-Team bietet regelmässig Schulungen zu den neuen Versionen und für Einsteiger an, informieren Sie sich auf MS Teams: LMS-UZH.

Prüfungsresultate auswerten
Es ist wichtig, dass im Nachgang die Prüfung nicht nur in Hinblick auf eine Notengebung, sondern auch zur Qualitätssicherung ausgewertet wird. Die Antworten von MC-Prüfungen können sehr gut nach Schwierigkeitsgrad ausgewertet werden. Eine Trennschärfeanalayse hilft, herauszufinden, ob bei den richtigen Antworten eine hohe oder tiefe Korrelation mit der Gruppe der Studierenden mit hoher Punktzahl besteht oder nicht. Damit lassen sich schnell zu leichte oder zu schwierige Fragen sowie schlecht formulierte Fragen aufdecken und verbessern.
Besteht bei der Prüfung keine Überwachungsmöglichkeit wie eingeschaltete Kamera, dann ist es wichtig, dass die Resultate auf verschiedene Parameter untersucht werden. Das Team DLF kann Ihnen dabei Unterstützung bei der Analyse bieten.

Die Sicht der Studierenden
Haben Sie sich schon einmal gefragt, was die Studierenden vor, während und nach einer Online-Prüfung sehen? In diesem Video werden die einzelnen Phasen anschaulich erklärt.

Links

2.2. Essay und Aufgabenabgabe via OLAT

Beschreibung
Die Studierenden erhalten zu einem bestimmten Zeitpunkt eine oder mehrere Aufgabenstellungen, welche diese innerhalb einer bestimmten Zeit lösen und einreichen müssen. Diese Art von Prüfung eignet sich besonders für Essay-Aufgaben, also für das Schreiben von längeren Texten, für Berechnungen oder Auswertungen mit Drittanwendungen ausserhalb von OLAT.

Vorteile
+ Geringer Aufwand für die Erstellung der Prüfung
+ Die Studierenden können mit dem ihnen vertrauten Programmen arbeiten
+ Technische Probleme sind kleiner, da offline gearbeitet werden kann

Nachteile
– Hoher Korrekturaufwand
– Das regelmässige Speichern des Textes geschieht nicht automatisch, sondern muss individuell gemacht werden.
– Die Studierenden sind für Datenverluste selber verantwortlich.

Vorgehen / Prozess
Für diesen Prüfungstyp wird der Aufgabenbaustein in OLAT empfohlen.

Link

2.3. Mündliche Prüfungen auf MS Teams oder ZOOM

Mündliche Prüfungen werden via Webconference-Software durchgeführt. Zur Verfügung stehen dabei folgende Dienste:

Für die Benotung von Vorträgen kann sowohl ein synchrones wie auch asynchrones Vorgehen gewählt werden. Bei einem synchronen Vorgehen präsentieren die Studierenden ihren Vortrag via Screensharing live in ZOOM oder in Teams den anwesenden Personen. Anschliessend ist eine Diskussion möglich. Der Live-Charakter bleibt bei diesem Vorgehen bestehen.
Bei einem asynchronen Vorgehen bereiten die Studierenden ihren Vortrag als Podcast vor und laden ihn anschliessend auf eine Streaming-Plattform wie SWITCHtube. Im Vorfeld zur Diskussion kann der Podcast individuell angeschaut werden. Durch die Erstellung des Podcasts werden neben inhaltlichen und kommunikativen Aspekten auch medienspezifische Kompetenzen gestärkt.

Tipps für mündliche Einzelprüfungen

  • Sichern Sie den «Raum» in Zoom mit einem Passwort.
  • Richten Sie in Teams für jeden Prüfling einen separaten privaten Channel ein, in den sie jeweils nur die anwesenden Teilnehmenden einladen.
  • Testen Sie die Verbindung aller beteiligten Personen 15 Minuten vor Beginn der Prüfung.
  • Bei älteren Computern sollten die Personen ein Headset verwenden, da dadurch die Audioqualität deutlich besser ist als mit den in Computern verbauten Mikrophonen und Lautsprechern. Als Headset genügt in den allermeisten Fällen ein Kopfhörer, wie er mit Smartphones mitgeliefert wird.
  • Soll die Prüfung aufgezeichnet werden, so müssen Sie dies den Studierenden unbedingt vor der Prüfung mitteilen.

Link
Teaching Tools der Hochschuldidaktik zu mündlichen Remote-Prüfungen

3. MC-Prüfungsfragen erstellen

Bei online Prüfungen mit vielen Teilnehmenden ist es naheliegend, Multiple-Choice-Fragen zu verwenden, da die Antworten automatisiert ausgewertet werden können. Gute MC-Fragen zu erstellen, die nicht nur Faktenwissen abfragen sondern auch Verständnis, Analysefähigkeiten oder gar Anwendungskompetenzen erfordern, ist allerdings eine Herausforderung. Deswegen gibt es bei der Erstellung einer guten MC-Prüfung viele Aspekte zu beachten. Für den Einstieg und als Vorbereitung empfehlen wir Ihnen, untenstehende Linkinhalte zu konsultieren. Daneben bieten wir ein “Coaching Prüfungsfragen” an, bei dem Sie Ihre Prüfungsfragen mit einer Expertin aus dem Psychologischen Institut diskret besprechen können.

Coaching
Kontakt für das Coaching: dlf@phil.uzh.ch

Links

4. Plagiatsprüfung

Um Plagiate einfacher aufzudecken, steht an der UZH die Plagiatsoftware PlagScan zur Verfügung. Die Software vergleicht die eingereichten Texte mit Quellen aus dem Internet sowie lizensierter Fachliteratur. Zudem können Arbeiten von Studierenden untereinander verglichen werden, um so unerlaubte Zusammenarbeit aufzudecken.
UZH-Angehörige können mit ihrem UZH-Login PlagScan nutzen:
https://plagscan.uzh.ch/uzh (von Ausserhalb ist ein Zugriff nur über das VPN möglich)
Auf der Startseite gibt es eine gute Anleitung und zahlreiche Video-Tutorials.

Weitere Informationen
https://www.plagscan.com/plagiat-check/
https://www.teaching.uzh.ch/de/infrastruktur/plagiate.html

5. Rechtliche Aspekte

Mit der Durchführung von Prüfungen, insbesondere von Remote-Open-Book-Prüfungen, sind viele rechtliche Fragen verbunden. Wir empfehlen Ihnen, die nachfolgenden Links sowie die Teilnahme an unserer Community «Open Channel Distance Learning»  auf Teams, wo Sie im Channel “Rechtliche Fragen” bereits beantwortete Fragen einsehen und neue direkt stellen können.

Letzte Aktualisierung am 20.09.2021 (aho)