Posted on

Alternative Leistungsnachweise

Die Erfahrungen während der Corona Pandemie haben grundsätzliche Probleme beim Prüfen sichtbar gemacht und Fragen zu den gewählten Prüfungsformen und ihren Settings aufgeworfen. Das Aufkommen von generativen KI-Anwendungen wie ChatGPT haben die Grundfesten klassischer Prüfungsformate weiter erschüttert.
Summative Endsemesterprüfungen in Form von MC- bzw. Essay-Prüfungen, oder allenfalls einer Kombination davon, sind nach wie vor die häufigste Prüfungsform. Vor allem bei grossen Teilnehmerzahlen scheint der Spielraum für Alternativen recht klein zu sein.
Trotzdem sollte die Frage erlaubt sein, ob diese Prüfungsformen noch zeitgemäss sind? Messen diese Tests tatsächlich die Kompetenzen, die das Studium bzw. die Ausbildungsziele erfordern oder dienen sie in erster Linie als Instrument der Selektion?
Seit Bologna müssen alle Lehrveranstaltungen geprüft werden. Dieser Imperativ zum Messen und zur Selektion steht manchmal quer zur Absicht einer Lehrveranstaltung und zur Kultur eines Fachs. Die Vielfalt an Fächern, Lehrtraditionen und (Forschungs-)Kulturen wie sie gerade an der Philosophischen Fakultät vertreten sind, erfordern auch ein vielfältiges Spektrum an Formen von Leistungsnachweisen.
Dieser Beitrag bietet einen Überblick zu einigen alternativen Leistungsnachweisen, die im Gegensatz zu Semesterendprüfungen auf formativen Ansätzen beruhen und dank technischen Möglichkeiten neben der fertigen Arbeit auch teilweise den Arbeits- und Reflexionsprozess sichtbar machen.

Überblick

Audiopodcast

Das Format Audiopodcast ermöglicht in der Auseinandersetzung und Kommunikation von wissenschaftlichen Themen neue Erzählformen, schärft die Genauigkeit des mündlichen Ausdrucks und eröffnet Kreativität im Umgang mit gesprochener Sprache, Ton und Musik. Audiopodcasts haben sich mittlerweile auch im Wissenschaftsbetrieb etabliert, und es gibt sehr gute Beispiele, die herangezogen werden können.
Die technischen Hürden zum Erstellen von Audiopodcasts sind eher klein: für Sprachaufnahmen kann das Handy zusammen mit einem Mikrofon genutzt werden, auf dem Web finden sich viele nützliche Tondokumente zum Herunterladen und für die Tonbearbeitung gibt es kostenlose Software.
Wichtig ist, den Studierenden im Vorfeld ein Gerüst für die Struktur des Podcasts vorzugeben sowie klare Bewertungskriterien zu definieren. Letzteres gilt für alle Leistungsnachweise in diesem Beitrag.

Ressourcen
Alternative Leistungsnachweise mit digitalen Technologien
Wissenschafts Podcasts

Beispiele
https://dlftest.uzh.ch/sites/liberalism/
https://dlftest.uzh.ch/sites/sozpsypodcasts/

Blogbeitrag

Mit dem Schreiben von Blogbeiträgen lernen die Studierenden einen wissenschaftlichen Text für das Web aufzubereiten. Die multimedialen Möglichkeiten wie Hypertext, Bilder, Videos sowie interaktive Features wie Quizzes und Polls eröffnen neue Wege der Kommunikation und Vermittlung. Auch die Tatsache, dass für ein Publikum geschrieben wird und die Arbeiten öffentlich sind, stellt ganz neue Anforderungen an den sprachlichen Ausdruck, an die Auswahl und Darstellung von Bildmaterial und den Umgang mit Quellen. Nach einer wissenschaftlichen Aufarbeitung, braucht es für die Publikation auf dem Web Fähigkeiten im Bereich des multimedialen Storytellings, sowie gestalterisches Flair und technisches Know-How, um Inhalte attraktiv darzustellen. Medienkompetenz ist dabei ebenso wichtig wie wissenschaftliche Neugier und korrekt zitierte Fussnoten.
Am Anfang ist eine Einführung in die Blogumgebung und zu den zur Verfügung stehenden Features nötig, damit die Studierenden die Inhalte in Hinblick auf eine Publikation auf dem Web aufbereiten. Auch sollten vor der Veröffentlichung der Inhalte Fragen zur korrekten Verwendung von Bild-, Ton- und Videomaterial thematisiert werden.

Beispiele
Geschichten aus Zürich neu erzählt
Laptopstickers
SlavicumPress 
Urbane Prozesse und die Kunst
Zoubery – Kulturgeschichte des Übersinnlichen in der vormodernen Schweiz

E-Portfolio

Bei den meisten Semesterprüfungen wird der Output gemessen. Dieser macht sichtbar, was ein Studierender zu einem ganz bestimmten Zeitpunkt unter ganz spezifischen Bedingungen an Wissen und Können abrufen konnte. Aus der Summe der korrekten Antworten ergibt sich dann eine Note.
Was eine Studentin, ein Student während dem Semester geleistet hat, wie aktiv die Person in der Lehrveranstaltung dabei war, wie vertieft sie sich mit dem Stoff auseinandergesetzt und das Gelernte reflektiert und bewertet hat, wird bei den meisten Prüfungen nicht berücksichtigt.
Das E-Portfolio bietet die Möglichkeit, die Leistung eines Studierenden differenzierter abzubilden und neben Resultat orientierten Arbeiten auch Arbeits- und Denkprozesse sichtbar zu machen. Längerfristig eingesetzt, könnte das E-Portfolio als “Arbeitsmappe” dienen, das die Leistungen eines Studierenden anhand von unterschiedlichen Arbeitsproben dokumentiert. Leider scheitert diese Idee der “Arbeitsmappe” meistens an einer fehlenden gemeinsamen Strategie und einer verbindlichen curricularen Einbindung. Die rechtliche Basis  für das Führen eines E-Portfolios ist aber in der Studienordnung der PhF explizit erwähnt

Für Angehörige der UZH steht die E-Portfolio-Software Mahara von SWITCH zur Verfügung. https://portfolio.switch.ch/

Ressourcen
Infos zu SWITCHportfolio
Videoanleitungen zu SWITCHportfolio

GitHub

GitHub ist mehr als eine Plattform. Als weltweit grösstes Repository von Open Source Programmiercode steht es auch für eine Haltung, für eine Form des Teilens und der Zusammenarbeit. GitHub verkörpert somit eine Denkweise, die für die Open Bewegung typisch ist und auch im Wissenschaftsbetrieb immer mehr gelebt wird. Gerade diese Dimension eröffnet Perspektiven, die Plattform nicht nur als Werkzeug zu nutzen sondern auch die Metaebene einzubeziehen (the medium is the message). GitHub ist somit in mehrerer Hinsicht als Lern- und Arbeitsumgebung an Hochschulen interessant und zwar nicht nur für Personen aus der Informatik sondern auch aus den Geistes- und Sozialwissenschaften.
Die Nutzung von GitHub ist durch die Weboberfläche äusserst einfach und auch für Personen ohne Programmierkenntnisse geeignet. Es muss nicht unbedingt Programmiercode sein, der auf GitHub abgelegt wird, auch das Dokumentieren und Bearbeiten von Texten und Textfragmenten ist möglich.
Die spezifischen Funktionen der Umgebung ermöglichen es, kollaborative Projekte durchzuführen und diese nachvollziehbar zu dokumentieren. Die Versionierung kann dazu genutzt werden, den Fortschritt eines Arbeitsprozesses transparent und die Beiträge einzelner Personen sichtbar zu machen. Die Beschäftigung mit Werkzeugen und Methoden aus den Digital Humanities nimmt an Bedeutung zu, so dass die Annäherung und Auseinandersetzung mit einem Real-World-Tool wie GitHub didaktisch grossen Sinn macht. Mit GitHub lernen die Studierenden eine Plattform kennen, die für eine Denkweise und Haltung steht, die aber auch für den Austausch und die Bearbeitung von wissenschaftlichen Daten immer wichtiger wird.

Beispiele
digizeit – Course materials for History of the Contemporary World

Lernvideo / Video Abstract

Auf der Bloom’schen Taxanomiestufe der Lernziele steht das Verb “kreieren” weit oben. Etwas Neues zu erschaffen, erfordert sehr hohe kognitive und intellektuelle Fähigkeiten. Ein vertieftes Wissen wird vorausgesetzt, um einen Sachverhalt, eine Theorie oder Erkenntnis einem Publikum zu erklären. Darüber hinaus sind aber auch affektive und psychomotorische Fertigkeiten gefragt, die sich in der Auseinandersetzung mit einem neuen Medium ergeben. Zur Erstellung eines Videos sind neben sprachlichen Fähigkeiten auch Kreativität, gestalterisches Flair, sensorische Sensibilität sowie Flexibilität gefragt, um sich auf ein neues Medium und seine spezifischen Ausdrucksmöglichkeiten sowie technischen Gegebenheiten einzulassen.
Die Erstellung eines Videos ist anspruchsvoll und der zeitliche Aufwand darf nicht unterschätzt werden. Dadurch eignet sich der Lernnachweis in Form eines Videos am besten in einer zweisemestrigen Lehrveranstaltung, wo in einer ersten Phase die Studierenden Zeit haben, um sich in eine Thema einzuarbeiten und in einer zweiten Phase, um Szenarien zu entwickeln, das Gelernte audiovisuell umzusetzen.

Ressourcen
Alternative Leistungsnachweise mit digitalen Technologien

Beispiele
Siegfried goes YouTube
Culture et Communication
Abstammungsproben
Alpine Connections

Poster (Präsentation)

Das Erstellen eines Posters erscheint im ersten Moment als eine einfache Aufgabe. Das Format “Poster” gibt einen klar abgesteckten Rahmen vor, der aber gewisse Herausforderungen darstellt: Sprachliche Begriffe und Beschreibungen müssen in verständliche Symbole und grafische Darstellungen übersetzt werden, der beschränkte Platz erfordert eine Priorisierung von Inhalten und eine Reduzierung auf das Wesentliche sowie eine räumliche Anordnung dieser Elemente, so dass sie auf einen Blick nachvollziehbar und veständlich sind. Auch beim Erstellen eines Posters ist eine aktive Auseinandersetzung mit dem Thema Voraussetzung, zudem braucht es Kreativität und Einfallsreichtum, um ein Poster ausgewogen zu gestalten. Neben fachlichem Wissen sind auch gestalterische Fähigkeiten und das Beherrschen eines Layoutprogramms wichtig.
Zusammen mit einer kurzen Präsentation ergibt das ein anspruchsvoller Lernnachweis, bei dem die Studierenden sich auf verschiedene Weise aktiv mit einem Stoff und seinen Kernaussagen auseinandersetzen müssen. Die Möglichkeit Poster nebeneinander auszustellen, erlaubt zudem spannende Vergleiche und kann die Grundlage für eine Diskussion und gegenseitiges Feedback sein.

3D-Visualisierung

Studierende 3D-Objekte erstellen zu lassen ist ein Wagnis – vor allem wenn man als Dozierender selber wenig Ahnung davon hat. Doch mit einem passenden Thema, etwas Planung und mit der Unterstützung von einem Team wie dem vom Digital Library Space lassen sich durchaus solche Vorhaben realisieren.
3D-Visualisierungen bietet sich bei der Auseinandersetzung mit historischen Quellen oder archäologischen Funden geradezu an, um Objekte oder Sachverhalte aus der Vergangenheit mit Hilfe von wissenschaftlichen Erkenntnissen für die Gegenwart sichtbar und erfahrbar zu machen. Es ist deswegen naheliegend, dass Studierende auch mit digitalen räumlichen Visualisierungstechniken konfrontiert werden, um das Potential und die Nützlichkeit von solchen Tools für ihre zukünftigen (wissenschaftlichen) Aktivitäten besser einschätzen zu können.
Bei ersten Versuchen ist es wichtig, dass die Aufgabenstellung und die Objekte, die dargestellt werden sollen, nicht zu komplex sind. Wie bei der Videoerstellung darf der Aufwand für die technische Seite nicht unterschätzt werden. Die Erfahrung hat aber gezeigt, dass die meisten Studierenden am Schluss mehr Zeit investieren als sie müssten, um ein ansprechendes Ergebnis zu erzielen.

Beispiele
Zurich Realoaded – 3D-Rekonstruktionen Studierender der Geschichte

Mixed Reality durch die HoloLens-Brille

Aktualisiert am: 5.6.2023
Posted on

(Digital) exams

Below you will find important information in connection with the online and on site testing at UZH. Further information can also be found on our community «Open Channel Distance Learning» on teams and also on the website of the EPIS-Team. For information on didactic questions, please consult the website Teaching Tools of the team “Hochschuldidaktik”.

Overview

1. Form of examination

Remote open book exams

According to the decision of the Faculty of Humanities, written examinations should “in principle be provided online-only” in the fall semester 21. “Written examinations for compulsory modules must be conducted online only under all circumstances”. Thus, remote open-book examinations will also be the focus of the fall semester 21.

In a remote open book exam, students take the exam at home in front of their computer. If no Safe Exam Browser is used and if no proctoring software is available, no monitoring is possible during the exam and no restrictions on access to other applications and websites are possible. This means that, in theory, all permitted and unauthorized aids are available to students. Remote open book exams would never have been conceivable without the lockdown and the switch to online teaching. The experience of the spring semester 2020 shows that there are also some advantages associated with remote open book exams: there is no need to organize a room and infrastructure for (online) testing. There is no need for entry control and supervision personnel either. As the responsibility for a fair and honest examination is left to the students, it is important that the exam is designed in such a way that it creates as few opportunities for fraud as possible. The conception and implementation of a good open book examination is therefore a challenge and requires many technical, didactic and legal considerations in advance.

No factual knowledge testing
Open book exams must be designed so that working with additional resources, be they books, documents or websites, is part of the exam. For this reason, there is no point in testing factual knowledge that can be researched easily. The questions must be open, so that an answer must be justified in its own words, substantiated with examples or explained with a concept.

Randomization of questions and answers in MC tests
It is also recommended to randomize the answers and questions of a topic block. It is also important that the questions are not numbered if possible and do not bear individual titles. Randomization and no titles make it difficult if not impossible to solve questions together and to exchange ideas.

Code of honour
It is recommended to introduce a code of honour and that students be made aware of the impending consequences of violation. It is also advisable to inform students about what information is being tracked during the exam.

1.2. BYOD exams

BYOD (Bring Your Own Device) means that students bring their own computer. BYOD exams are online exams where students take the exam on their own laptop in a location at the university. Thus, closed-book exams can also be conducted.
The advantage of BYOD is that students can work on their own computers and less exam equipment needs to be purchased. However, it is still advisable for the exam organizer to have some spare devices ready to be used in case of problems (forgotten power supply, outdated operating system and/or program, performance problems). Experience has shown that approximately 5% of spare devices should be available.
As with normal on-site exams an incoming inspection should be made. It is also important to have enough personnel to supervise examinees and help with computer problems (crashes, updates, battery problems).
If a safe-exam browser is not used, there is still a need for clear rules and supervision to see that unauthorized documents, websites or chat windows are not used.
It is important to inform students early enough that a BYOD exam is taking place and what devices are recommended for the exam. In addition, all students should be able to take a test exam on their device. When using the Safe Exam browser, there also needs to be straightforward support where students can get help with installation. It is equally important that suitable rooms are reserved early on for a BYOD exam that are equipped with enough sockets and powerful internet connection.

2. Platforms

2.1. Online examination with OLAT

Description
Additional OLAT instances are available for conducting open-book exams. These guarantee more security and a better load distribution. It is therefore strongly discouraged to use the normal OLAT learning platform for online examinations.

Advantages
+ Lecturers and students are familiar with OLAT.
+ For examinations on OLAT there are proven processes of the Central IT Department and the EPIS team.

Disadvantages
– The results are output in a confusing CSV file, which still needs to be revised.
– Reading the results can be quite time-consuming.

Procedure
It is important to know the exact procedure of the examination, as this is the only way to ensure successful completion. Please pay attention to the deadlines. All institutes have an examination officer and a contact person for first level support. Contact these people at an early stage to find out what the procedure and deadlines are for the semester in question.

Question types
With the introduction of OLAT15 there are now 14 different question types available for an online exam:
https://elexa.uzh.ch/display/OO154EN/Test+question+types

Links

2.2. Essay and task submission via OLAT

Description

Students are given one or more tasks at a certain time, which they must solve and submit within a certain time. This type of examination is especially suitable for essay tasks, i.e. for writing longer texts, for calculations or evaluations with third-party applications outside OLAT.

Advantages
+ Low preparation effort for the exam
+ Students can work with the programs they are familiar with
+ Less technical problems, as students can work offline

Disadvantages
– High correction effort
– The regular saving of the text does not happen automatically, but must be done individually.
– Students are responsible for any loss of data themselves.

Procedure
For this type of test the task module in OLAT is recommended.

Link

2.3. Oral exams with MS Teams or ZOOM

Oral exams are conducted via web conference software. The following services are available:

For the grading of lectures, both a synchronous and asynchronous procedure can be selected. With a synchronous approach, students present their lecture live in ZOOM or in teams to the people present via screen sharing. Afterwards a discussion is possible. The live character of this procedure remains the same.
In an asynchronous approach, students prepare their presentation as a podcast and then upload it to a streaming platform such as SWITCHtube. The podcast can be viewed individually prior to the discussion. By creating the podcast, media-specific skills are strengthened in addition to content and communication aspects.

Tips for individual oral exams

  • Secure the “room” in Zoom with a password.
  • In Teams set up a separate private channel for each examinee, to which you invite only the participants present at the exam.
  • Test the connection of all participants at least 15 minutes before the exam starts.
  • For older computers, the use of a headset is recommended, as the audio quality is much better than with microphones and speakers built into computers. In most cases, a headset supplied with smartphones is suitable.
  • If the examination is to be recorded, students must be informed prior to the examination.

Link
Teaching Tools der Hochschuldidaktik zu mündlichen Remote-Prüfungen

3. Creating MC-exam questions

For online exams with a large number of participants it is useful to apply multiple choice questions, because the answers can be evaluated automatically. However, creating good MC-questions that do not simply ask for factual knowledge but also require understanding, analysis skills or even application skills is a challenge. Therefore, there are many aspects to consider when creating a good MC exam. For the introduction and as preparation, we recommend that you consult the content in the links below. We also offer a “Coaching”, where you can discuss your exam questions discreetly with an expert from the Psychological Institute.

Coaching
Contact for the coaching: dlf@phil.uzh.ch

Links

4. Plagiarism check

To detect plagiarism more easily, the plagiarism software PlagScan is available at UZH. The software compares the submitted texts with sources from the Internet as well as licensed technical literature. In addition, students’ work can be compared with each other in order to uncover unauthorized collaboration.
Members of the UZH can use PlagScan with their UZH login:
https://plagscan.uzh.ch/uzh (access from outside is only possible via VPN)
On the start page there is a good manual and numerous video tutorials.

Further Information
https://www.plagscan.com/plagiat-check/
https://www.teaching.uzh.ch/de/infrastruktur/plagiate.html

5. Legal aspects

Conducting exams involve many legal questions, especially in context with remote open book exams. We recommend the following links as well as participation in our community “Open Channel Distance Learning” on Teams, where you can view previously answered questions and ask new ones directly in the “Legal Questions” channel.

Last updated on Septmeber 20, 2021 (aho)
Posted on

(Digitales) Prüfen

Nachfolgend finden Sie wichtige Informationen im Zusammenhang mit dem (digitalen) Prüfen an der UZH.
Weitere Informationen finden Sie auch auf unserer Community «Open Channel Distance Learning»  auf Teams und auch auf der Website der Zentralen Informatik der UZH. Für didaktische Fragestellungen konsultieren Sie am besten die Website Teaching Tools der Hochschuldidaktik.

Übersicht

1. Prüfungsform für schriftliche Prüfungen

1.1 Remote-Open-Book-Prüfungen

Gemäss Entscheid der Philosophischen Fakultät sollen im HS21 schriftliche Prüfungen “grundsätzlich online-only erbracht” werden. “Schriftliche Prüfung zu Pflichtmodulen müssen unter allen Umständen online only durchgeführt werden”. Somit werden auch im HS21 Remote-Open-Book-Prüfungen als Durchführungsart im Zentrum stehen.

Bei einer Remote-Open-Book-Prüfung absolvieren die Studierenden die Prüfungen zuhause vor ihrem Computer.
Falls kein Safe-Exam-Browser eingesetzt und keine Proctoring-Software genutzt wird, ist während der Prüfung keine Überwachung und sind keine Einschränkungen bezüglich Zugriff auf andere Applikationen und Websites möglich. Das heisst, dass den Studierenden theoretisch alle erlaubten und unerlaubten Hilfsmittel zur Verfügung stehen.
Remote-Open-Book-Prüfungen wären ohne den Lockdown und die Umstellung auf den online Unterricht nie denkbar gewesen. Die Erfahrungen aus dem Frühlingssemester 2020 zeigen, dass mit Remote-Open-Book-Prüfungen auch einige Vorteile verbunden sind: Es muss kein Raum organisiert und keine Infrastruktur zur Verfügung gestellt werden. Auch das Personal für die Eintrittskontrolle und die Aufsicht entfällt. Da die Verantwortung für eine faire und ehrliche Prüfung den Studierenden überlassen wird, ist es wichtig, dass die Prüfung so konzipiert ist, dass sie möglichst wenig Möglichkeiten für Betrügereien schafft.
Die Konzeption und Durchführung einer guten Open-Book-Prüfung ist deswegen eine Herausforderung und erfordert im Vorfeld viele technische, didaktische und auch rechtliche Überlegungen.

Kein Faktenwissen abfragen
Open-Book-Prüfungen müssen so konzipiert sein, dass die Arbeit mit zusätzlichen Ressourcen, seien dies Bücher, Unterlagen oder Websites, Teil der Prüfung ist. Es macht also keinen Sinn, Faktenwissen abzufragen, das recherchiert werden kann. Die Fragen müssen offen gestellt sein, so dass eine Antwort mit eigenen Worten begründet, mit Beispielen belegt oder mit einem Konzept erklärt werden muss.

Randomisieren der Fragen und Antworten bei MC-Prüfungen
Es ist ebenso zu empfehlen, die Antworten und Fragen eines Themenblocks zu randomisieren. Wichtig ist auch, dass die Fragen nach Möglichkeit nicht nummeriert werden und keine individuelle Titel tragen. Mit einer Randomisierung und ohne Titel ist es schwierig bis unmöglich, Fragen gemeinsam zu lösen und sich untereinander auszutauschen.

Ehrenkodex
Den Online-Prüfungen muss ein Ehrenkodex vorgeschaltet sein, den die Studierenden akzeptieren müssen, um die Prüfung absolvieren zu können. Im Ehrenkodex werden die Studierenden auf ihre Pflichten und die drohenden Konsequenzen bei einer Verletzung derjenigen aufmerksam gemacht.

1.2. BYOD-Prüfungen

BYOD (Bring Your Own Device) bedeutet, dass die Studierenden ihren eigenen Computer mitbringen. BYOD-Prüfungen sind also online Prüfungen, bei denen die Studierenden die Prüfung auf ihrem eigenen Computer und in einem dazu reservierten Ort an der Uni ablegen. Somit können auch Closed-Book-Prüfungen durchgeführt werden.
Vorteil von BYOD ist, dass die Studieren auf ihrem eigenen Computer arbeiten können und weniger Prüfungsgeräte angeschafft werden müssen. Allerdings ist es trotzdem ratsam, wenn der Prüfungsorganisator im Fall von Problemen (Netzteil vergessen, veraltetes Betriebssystem und/oder Programm, Performanceprobleme) einige Ersatzgeräte bereithält, die bei Problemen genutzt werden können. Erfahrungsgemäss sollten ungefähr 5% Ersatzgeräte bereit stehen.
Wie bei einer normalen Prüfung, sollte bei einer BYOD-Prüfung eine Eingangskontrolle gemacht werden. Wichtig ist auch, genug Personal aufzubieten, das die Prüflinge beaufsichtigt und bei Computerproblemen (Absturz, Updates, Akkuprobelmen) helfen kann.
Wenn kein Safe-Exam-Browser verwendet wird, braucht es nach wie vor klare Regeln und eine Aufsicht, die schaut, dass nicht unerlaubte Unterlagen, Websites oder Chatfenster benutzt werden.
Wichtig ist, die Studierenden genug früh zu informieren, dass eine BYOD-Prüfung stattfindet und welche Geräte für die Prüfung empfohlen werden. Zudem sollten alle Studierenden im Vorfeld eine Testprüfung auf ihrem Gerät ablegen können. Bei der Verwendung des Safe-Exam-Browsers braucht es zudem einen unkomplizierten Support, bei dem die Studierenden Hilfe bei der Installation erhalten. Ebenso wichtig ist, dass für eine BYOD-Prüfung frühzeitig passende Räume reserviert werden, die mit genug Steckdosen und einem guten WLAN ausgerüstet sind.

2. Plattformen

2.1. Online-Prüfungen auf OLAT

Beschreibung
Für die Durchführung der Open-Book-Prüfungen stehen zusätzliche OLAT-Instanzen zur Verfügung. Diese garantieren mehr Sicherheit und eine bessere Lastenverteilung. Es wird daher dringenst abgeraten, die OLAT-Lernplattform für online Prüfungen zu nutzen.

Vorteile
+ Dozierende und Studierende sind mit OLAT vertraut.
+ Für Prüfungen auf OLAT gibt es bewährte Prozesse der Zentralen Informatik und des EPIS-Teams.

Nachteile
– Die Ergebnisse werden in einer unübersichtlichen csv-Datei ausgegeben, die noch aufbereitet werden muss.
– Das Auslesen der Ergebnisse kann recht zeitaufwendig sein.

Vorgehen
Es ist wichtig, den genauen Ablauf des Prüfungsverfahrens zu kennen, da nur so eine erfolgreiche Durchführung gewährleistet werden kann. Beachten Sie auch die Fristen, welche unbedingt eingehalten werden müssen. Alle Institute haben einen Prüfungsverantwortlichen sowie eine Ansprechperson für den First-Level-Support. Nehmen Sie frühzeitig mit diesen Personen Kontakt auf, um zu erfahren, wie der Ablauf und die Fristen für das betreffende Semester aussehen.

Fragetypen
Mit der Einführung von OLAT15 stehen nun 14 verschiedene Fragetypen für eine Online-Prüfung zur Verfügung:

Detaillierte Informationen zu den einzelnen Fragetypen kriegen Sie im OLAT-Benutzerhandbuch. Selber ausprobieren können Sie die neuen und bisherigen Fragetypen unter https://lms.uzh.ch/auth/RepositoryEntry/16950329363/CourseNode/102957159219867 (ganz unten auf „Start“ klicken).
Das EPIS-Team bietet regelmässig Schulungen zu den neuen Versionen und für Einsteiger an, informieren Sie sich auf MS Teams: LMS-UZH.

Prüfungsresultate auswerten
Es ist wichtig, dass im Nachgang die Prüfung nicht nur in Hinblick auf eine Notengebung, sondern auch zur Qualitätssicherung ausgewertet wird. Die Antworten von MC-Prüfungen können sehr gut nach Schwierigkeitsgrad ausgewertet werden. Eine Trennschärfeanalayse hilft, herauszufinden, ob bei den richtigen Antworten eine hohe oder tiefe Korrelation mit der Gruppe der Studierenden mit hoher Punktzahl besteht oder nicht. Damit lassen sich schnell zu leichte oder zu schwierige Fragen sowie schlecht formulierte Fragen aufdecken und verbessern.
Besteht bei der Prüfung keine Überwachungsmöglichkeit wie eingeschaltete Kamera, dann ist es wichtig, dass die Resultate auf verschiedene Parameter untersucht werden. Das Team DLF kann Ihnen dabei Unterstützung bei der Analyse bieten.

Die Sicht der Studierenden
Haben Sie sich schon einmal gefragt, was die Studierenden vor, während und nach einer Online-Prüfung sehen? In diesem Video werden die einzelnen Phasen anschaulich erklärt.

Links

2.2. Essay und Aufgabenabgabe via OLAT

Beschreibung
Die Studierenden erhalten zu einem bestimmten Zeitpunkt eine oder mehrere Aufgabenstellungen, welche diese innerhalb einer bestimmten Zeit lösen und einreichen müssen. Diese Art von Prüfung eignet sich besonders für Essay-Aufgaben, also für das Schreiben von längeren Texten, für Berechnungen oder Auswertungen mit Drittanwendungen ausserhalb von OLAT.

Vorteile
+ Geringer Aufwand für die Erstellung der Prüfung
+ Die Studierenden können mit dem ihnen vertrauten Programmen arbeiten
+ Technische Probleme sind kleiner, da offline gearbeitet werden kann

Nachteile
– Hoher Korrekturaufwand
– Das regelmässige Speichern des Textes geschieht nicht automatisch, sondern muss individuell gemacht werden.
– Die Studierenden sind für Datenverluste selber verantwortlich.

Vorgehen / Prozess
Für diesen Prüfungstyp wird der Aufgabenbaustein in OLAT empfohlen.

Link

2.3. Mündliche Prüfungen auf MS Teams oder ZOOM

Mündliche Prüfungen werden via Webconference-Software durchgeführt. Zur Verfügung stehen dabei folgende Dienste:

Für die Benotung von Vorträgen kann sowohl ein synchrones wie auch asynchrones Vorgehen gewählt werden. Bei einem synchronen Vorgehen präsentieren die Studierenden ihren Vortrag via Screensharing live in ZOOM oder in Teams den anwesenden Personen. Anschliessend ist eine Diskussion möglich. Der Live-Charakter bleibt bei diesem Vorgehen bestehen.
Bei einem asynchronen Vorgehen bereiten die Studierenden ihren Vortrag als Podcast vor und laden ihn anschliessend auf eine Streaming-Plattform wie SWITCHtube. Im Vorfeld zur Diskussion kann der Podcast individuell angeschaut werden. Durch die Erstellung des Podcasts werden neben inhaltlichen und kommunikativen Aspekten auch medienspezifische Kompetenzen gestärkt.

Tipps für mündliche Einzelprüfungen

  • Sichern Sie den «Raum» in Zoom mit einem Passwort.
  • Richten Sie in Teams für jeden Prüfling einen separaten privaten Channel ein, in den sie jeweils nur die anwesenden Teilnehmenden einladen.
  • Testen Sie die Verbindung aller beteiligten Personen 15 Minuten vor Beginn der Prüfung.
  • Bei älteren Computern sollten die Personen ein Headset verwenden, da dadurch die Audioqualität deutlich besser ist als mit den in Computern verbauten Mikrophonen und Lautsprechern. Als Headset genügt in den allermeisten Fällen ein Kopfhörer, wie er mit Smartphones mitgeliefert wird.
  • Soll die Prüfung aufgezeichnet werden, so müssen Sie dies den Studierenden unbedingt vor der Prüfung mitteilen.

Link
Teaching Tools der Hochschuldidaktik zu mündlichen Remote-Prüfungen

3. MC-Prüfungsfragen erstellen

Bei online Prüfungen mit vielen Teilnehmenden ist es naheliegend, Multiple-Choice-Fragen zu verwenden, da die Antworten automatisiert ausgewertet werden können. Gute MC-Fragen zu erstellen, die nicht nur Faktenwissen abfragen sondern auch Verständnis, Analysefähigkeiten oder gar Anwendungskompetenzen erfordern, ist allerdings eine Herausforderung. Deswegen gibt es bei der Erstellung einer guten MC-Prüfung viele Aspekte zu beachten. Für den Einstieg und als Vorbereitung empfehlen wir Ihnen, untenstehende Linkinhalte zu konsultieren. Daneben bieten wir ein “Coaching Prüfungsfragen” an, bei dem Sie Ihre Prüfungsfragen mit einer Expertin aus dem Psychologischen Institut diskret besprechen können.

Coaching
Kontakt für das Coaching: dlf@phil.uzh.ch

Links

4. Plagiatsprüfung

Um Plagiate einfacher aufzudecken, steht an der UZH die Plagiatsoftware PlagScan zur Verfügung. Die Software vergleicht die eingereichten Texte mit Quellen aus dem Internet sowie lizensierter Fachliteratur. Zudem können Arbeiten von Studierenden untereinander verglichen werden, um so unerlaubte Zusammenarbeit aufzudecken.
UZH-Angehörige können mit ihrem UZH-Login PlagScan nutzen:
https://plagscan.uzh.ch/uzh (von Ausserhalb ist ein Zugriff nur über das VPN möglich)
Auf der Startseite gibt es eine gute Anleitung und zahlreiche Video-Tutorials.

Weitere Informationen
https://www.plagscan.com/plagiat-check/
https://www.teaching.uzh.ch/de/infrastruktur/plagiate.html

5. Rechtliche Aspekte

Mit der Durchführung von Prüfungen, insbesondere von Remote-Open-Book-Prüfungen, sind viele rechtliche Fragen verbunden. Wir empfehlen Ihnen, die nachfolgenden Links sowie die Teilnahme an unserer Community «Open Channel Distance Learning»  auf Teams, wo Sie im Channel “Rechtliche Fragen” bereits beantwortete Fragen einsehen und neue direkt stellen können.

Letzte Aktualisierung am 20.09.2021 (aho)

 

Posted on 1 Comment

Gute Multiple Choice Prüfungen gestalten

Marina Haller, Psychologisches  Institut, hat in einem spannenden Webinar auf unserem Open Channel Distance Learning vorgestellt, wie sie Multiple Choice Prüfungen gestaltet. Sie hat eine Leidenschaft für ihr Gebiet und für das Unterrichten – perfekt, um auch Ungeübten das Thema näher zu bringen.

Im Webinar stellte sie uns verschiedene Fragetypen und Bewertungsmethoden vor. Damit diese verschiedenen Fragetypen adäquat eingesetzt werden, macht es Sinn, sich schon vor Beginn der Fragenformulierung und Typenwahl eine Übersicht über die eigenen Lerninhalte zu verschaffen. Nicht nur, welche thematischen Blöcke unterrichtet, sondern auch, auf welchen Ebenen des Lernens diese abgefragt werden sollen. Dazu eignet sich ein «Blueprint» besonders gut:

Dimension 2: Taxonomie
Dimension 1:    Thema Kennen Verstehen Anwenden Anteil Fragen
Thema 1 40%
Thema 2 40%
Thema 3 20%
Total 20% 30% 50%

Abb 1: Blueprint einer fiktiven Veranstaltung.

Die Zeilen bilden die verschiedenen thematischen Blöcke der Veranstaltung ab, die Spalten die Ebenen des Lernens. In diesem Beispiel sind sie auf drei Stufen aufgeteilt: Kennen, Verstehen, Anwenden. Nun möchte man im Beispiel im ersten Thema 40% der Fragen ansiedeln. Davon wiederum sollen 20% nur Wissensfragen sein, 30% Verstehensfragen und 50% Fragen, die die Anwendung des Gelernten prüfen.

Ist dieser Blueprint der Prüfung einmal angelegt, kann die Anzahl Fragen pro Block schnell und übersichtlich ermittelt werden. Dies macht es wiederum einfacher, die angemessene Frageform für jeden Block zu finden.

Fragen sollen fokussiert und authentisch sein

Fragen sollten inhaltlich keine Spitzfindigkeiten oder Trivialitäten abfragen, sondern Themen, die häufig vorkommen, häufige Fehlerquellen sind oder gravierende Folgen bei Nichtwissen haben. Die Fragestellung soll «authentisch» sein, d.h. bottom-up (nicht von der Theorie her kommend), fokussiert auf die eigentliche Frage und möglichst real bzw. konkret sein. Dazu gehört auch, dass keine Fangfragen gestellt werden, doppelte Verneinungen und vage Quantifizierungen wie «häufig», «oft», etc., aber auch umgekehrt «nie», «immer» vermieden werden.

Am Psychologischen Institut werden die Prüfungen nach der Bewertung mit statistischen Tests analysiert, u.a. indem ermittelt wird, wie viele Studierenden welche Antwortmöglichkeit gewählt haben – so kann man z.B. feststellen, ob die richtige Antwort genug «weit weg» von den falschen Antworten war oder ob Studierende gleich häufig die falschen Antworten gewählt haben wie richtige. Sollte dies der Fall sein, wäre es – so Haller – gut zu überlegen, ob in den Antwortmöglichkeiten womöglich verwirrende Hinweise enthalten waren und damit eine Reformulierung benötigen.

Die Fragetypen

Typ A+: Die positive Einfachwahl

Dieser Fragetyp fragt einen Sachinhalt ab. Es ist eine Single Choice Frage, d.h. von den vorgegebenen Antworten ist genau eine Antwort die «beste Antwort». Wichtig ist, dass die beste Antwort eine grosse Distanz zur zweitbesten Antwort hat. Distanz heisst, dass das unterscheidende Kriterium gut erkennbar sein muss. Dennoch dürfen die falschen Antworten, die sogenannten Distraktoren, nicht einfach Lückenfüller sein, sondern sollten ebenfalls plausibel sein, so dass das unterscheidende Kriterium für die richtige Wahl wirklich notwendig wird. Umgekehrt muss bei jeder falschen Antwort klar werden, weshalb diese nicht gut genug für die «beste Antwort» ist.

Typ A-: Die negative Einfachwahl

Mit diesem Fragetypen können gut wichtige Ausnahmen abgefragt werden, da man fragt, welche Antwort ist nicht korrekt ist. Es gelten dieselben Bedingungen wie bei Typ A+. Zusätzlich sollten die Antworten zwingend positiv formuliert werden, um doppelte Verneinungen und damit unnötige Verwirrung zu verhindern. Auch diese Fragen brauchen eine grosse Distanz zwischen der richtigen (d.h. falschen) Antwort und den Distraktoren. Wichtig ist bei diesem Fragetypen, dass graphisch hervorgehoben wird, dass es sich um eine Negativwahl handelt (z.B. das NICHT in der Frage gross oder fett schreiben).

Typ B: Zuordnung

Bei diesem Typ hat man mehrere kurze Aussagen vorgegeben und muss dann Begriffe oder Kurzantworten zuordnen, z.B. Antwort A gehört zu Aussage B etc. Er eignet sich gut, wenn unterschiedliche Aspekte eines Themas bedeutsam sind. Die Aussagen sollten positiv formuliert werden. Wichtig ist hier, dass plausible Aussagen formuliert werden, die nicht gegenseitig Definitionen oder Eigenschaftsbeschreibungen mitliefern, da man sonst mit der Beantwortung eines Teils der Fragen gleich die anderen Antworten erraten kann. Als Richtwert wird vorgeschlagen, für fünf Wahlantworten nicht mehr als drei Fragen zu stellen.

Typ PickN

Der Fragetyp funktioniert ähnlich wie die positive Einfachwahl, hat aber mehr als eine richtige Antwort, nämlich N richtige Antworten. So kann man später mehr Teilpunkte vergeben – zu den Bewertungen später mehr. In jedem Fall soll man hier explizit nennen, wie viele Antworten aus der Auswahl korrekt sind. Wie bei Typ A Fragen sollte hier die Distanz zwischen den richtigen und falschen Antworten genügend gross sein.

Typ Kprim

Es werden vier Antwortalternativen vorgelegt. Im Unterschied zu den vorherigen Fragetypen wird hier nicht eine «beste Antwort» abgefragt, sondern es muss für jede Frage richtig/falsch angekreuzt werden. Man macht vier verschiedene Aussagen, die möglichst verschiedene Aspekte eines Themas abfragen. Jede Aussage muss eindeutig richtig oder falsch sein. Man weist nicht darauf hin, wie viele Antworten richtig oder falsch sind. Auch sollte jede Aussage unabhängig von der anderen sein, damit andere Fragen die nächste nicht mitbeantworten. Über die ganze Prüfung hinweg macht es Sinn, die Anzahl richtigen/falschen Antworten ungefähr auszubalancieren (d.h. ca. 50% richtige und umgekehrt).

Wie kann man diese Fragen nun bewerten?

Es wurden vier Bewertungsmethoden vorgestellt:

  • Pattern: Hier gilt alles oder nichts, d.h. 1 Punkt oder kein Punkt wird vergeben. Diese Bewertung eignet sich für Single Choice Fragen (positiv oder negativ) oder für die Zuordnung. Wichtig ist, dass bei dieser Bewertungsmethode viele Fragen gestellt werden (rund 40).
  • Partial Credit: Hier werden Teilpunkte vergeben, dies eignet sich für den Typ PickN. Werden alle richtigen Antworten angewählt (d.h. alle richtigen sind korrekt angekreuzt, alle falschen Antworten sind nicht angekreuzt), gibt es 3 Punkte. Bei einem Fehler (eine korrekte Antwort nicht angekreuzt oder eine falsche Antwort angekreuzt) gibt es 2 Punkte, etc. Diese Bewertungsmethode sollte nicht angewendet werden, wenn es nur zwei Antwortmöglichkeiten gibt und davon nur eine richtig ist, da die Studierenden dann i.d.R. alles ankreuzen, um noch Teilpunkte zu erhalten.
  • Response Options: Jede korrekte Antwort gibt einen Punkt – d.h. pro Frage können die Studierenden so viele Punkte machen, wie Antworten da sind. Dies kann zu sehr vielen Punkten führen.
  • Kprim: Die Frage wird mit einem Punkt bewertet, wenn alle Antwortalternativen korrekt beurteilt worden sind. Bei drei von vier korrekten Antworten gibt es noch einen halben Punkt, bei weniger als drei korrekten Antworten noch 0 Punkte. Werden in einer Frage beide Antworten angekreuzt (d.h. richtig und falsch), gilt die Frage als falsch beantwortet. Es hat sich gezeigt, so Haller, dass die Studierenden diesen Fragetypen als sehr fair finden und ist auf OLAT auch zu finden.

Ein Auswertungsbeispiel zeigt – hier am Beispiel einer Single Choice Frage  – wie unterschiedlich die Punktezahlen mit unterschiedlichen Bewertungsmethoden sein können. So wird bei der Pattern-Methode nur bei einer vollständig richtigen Antwort ein Punkt vergeben, mit Response Options erhält man hingegen gleich 5 Punkte. Eine Partial Credit-Methode macht hier keinen Sinn, da es nur eine beste Antwort gibt und dann auch hier nur die volle Punktzahl oder keine vergeben werden kann.

Abb. 2: Ausschnitt eines Auswertungsbeispiels für eine Single Choice Frage Typ A+ (positive Einfachwahl)

Bei der folgenden PickN Frage mit zwei korrekten Antworten wird die Verteilung schon ausgeglichener, dennoch scheint hierfür die Partial Credit-Methode am Geeignetsten zu sein:

Abb. 3: Ausschnitt eines Auswertungsbeispiels für eine PickN Frage mit zwei richtigen Antworten

Insgesamt zeigt es sich, dass es nicht trivial ist, eine gute Multiple Choice Prüfung zu entwerfen. Nicht allen stehen statistische Tests zur Verfügung, um die Prüfungen im Anschluss in diesem Detaillierungsgrad auszuwerten. Doch mit einem Blueprint und passenden Fragetypen und Bewertungsmethoden sind schon einige Hürden in der Planung überwunden. Marina Haller zeigte uns, dass Statistik nicht nur Prüfungsstoff sein kann, sondern auch dazu verwendet werden kann, die Fairness der Prüfungen für die Studierenden sicherzustellen!

Marina Haller bietet die Möglichkeit an, Feedback auf Ihre Prüfungsfragen zu geben und beantwortet Ihre Fragen: dlf@phil.uzh.ch.

Posted on

KlickerUZH 2.0 ist da!

Screenshot der KlickerUZH auf dem Smartphone

Seit dem ersten Release und dem Ersteinsatz im Jahr 2011 bestätigt die steigende Anzahl an Nutzer-Registrierungen den Bedarf eines Audience Response Systems an der Universität Zürich. 2017 wurde mit dem Update und einer Erweiterung des Tools begonnen (unterstützt durch den Lehrkredit der Universität Zürich). Seit August 2018 ist nun die neue Variante des Tools unter www.klicker.uzh.ch verfügbar. Continue reading KlickerUZH 2.0 ist da!

Posted on

Clicker-Apps – Studierendenbeteiligung in der Hochschullehre

Screenshot der Klicker-App der UZH

Ein neues Semester hat begonnen und Lehrende fragen sich, wie sie Studierende aktiver in den Unterricht einbinden können. Vor allem bei Vorlesungen mit vielen Teilnehmenden bieten sich Aktivitäten an, welche die eher passive Haltung der Studierenden aufbricht und zu aktivem Nachdenken/Tun auffordert. Zur Aktivierung von Studierenden im Unterricht sind “Clicker-Apps”, sogenannte Classroom-Response-Systeme (CRS), sehr hilfreich. Diese Art der Interaktion ist bei Studierenden sehr beliebt und bietet viele Vorteile. Schell kann ein Feedback oder ein Meinungsbild eingeholt werden, oder es wird nachgefragt, ob der zuvor behandelte Stoff verstanden wurde. Die Abstimmung erfolgt i.d.R. anonym und die Resultate können unmittelbar grafisch visualisiert und den Studierenden präsentiert werden. Für die Verwendung von Clicker-Apps wird neben dem Zugang zum Internet auch ein Smartphone, Tablet oder Laptop benötigt, damit die Studierenden die gestellten Fragen beantworten können.

Dieser Beitrag soll einen Überblick der verfügbaren “Clicker-Apps” für die Hochschullehre geben und Informationen zu deren Einsatz bieten.

Continue reading Clicker-Apps – Studierendenbeteiligung in der Hochschullehre

Posted on

From Summative To Formative Assessment in the Flipped Classroom using the Mobler App – Eduhub Days 2017

Foto: eduhub-days 2017, Lugano, by Paola Wieting

At the Eduhub Days 2017 (Show & tell) Christian Glahn (BLC, HTW Chur) and Marion Gruber presented the Mobler App for formative assessment.
Continue reading From Summative To Formative Assessment in the Flipped Classroom using the Mobler App – Eduhub Days 2017

Posted on

Eduhub Days 2017 – E-assessment from vision to practice: exploring new scenarios

Foto: Marion R. Gruber, Lugano

Bildungsinstitutionen wie Universitäten und Hochschulen nutzen digitale Technologien für Lehre und Lernen. Doch werden auch Prüfungen digital durchgeführt? Die diesjährigen Eduhub Days am 9. und 10. Februar 2017 in Lugano standen unter dem Thema “E-Assessment from vision to practice”.

Continue reading Eduhub Days 2017 – E-assessment from vision to practice: exploring new scenarios

Posted on

Save the Date: Applications of Clicker Apps in Swiss Higher Education

On Thursday, March 17, 2016, 13h00-17h00 the CIEL and the EduHub SIG Mobile Learning are organising a mini symposium on clicker apps in Swiss Higher Education.

Mobile Apps for in-class interaction: Applications of Clicker Apps in Swiss Higher Education

Venue: University of Geneva, UniMail, room MR040

Find more information here.

Register here.

Continue reading Save the Date: Applications of Clicker Apps in Swiss Higher Education

Posted on

Mobler @ IPMZ – Umfrageergebnisse 2015

Im Herbstsemester 2014 wurde die mobile Lernapp Mobler am IPMZ das erste Mal den Studierenden der UZH als Lernunterstützung zur Verfügung gestellt. Die Studierenden konnten den Stoff, der in der Vorlesung Grundlagen der Publizistik- und Kommunikationswissenschaft I und II durchgenommen wurde, mit Mobler wiederholen und ihren Lernfortschritt damit überprüfen. Als Ergänzung zu den in OLAT vorhandenen Selbsttests wurde die Mobler-App trotz Startschwierigkeiten von den Studierenden rege genutzt. Am Ende des Semesters – nach der Prüfung im Januar 2015 – wurden die Studierenden zu der Mobler-App online befragt, um den Bedarf einer solchen Lernapp zu evaluieren und die Bedürfnisse und Anforderungen der AnwenderInnen für die Weiterentwicklung der App zu erheben.

   
Continue reading Mobler @ IPMZ – Umfrageergebnisse 2015