Done-IT
LLP-Project Nr. 511485-LLP-1-2010-1-NO-KA3-KA3MP
/ LPP KA3-ICT Project 2011-13
511485-LLP-1-2010-1-NO-KA3-KA3MP

Done-IT

Develop of open systems services for smartphones that facilitates new evaluation methods, and enhances use of immediate feedback on evaluation results obtained in tests as a creative learning tool.
WP 3: Develop new evaluation models
D3.1: New Peer Learning assessment methods
Author and editor: / Regine Ringdal, Gabrielle Hansen, Trond Morten Thorseth, John B. Stav and Liviu Moldovan
Co-Authors: / Bela Gayer, Miro Uran, Gabor Markus, Per Bergegard
Version: / Final
Date: / 31.03.2013
Start month / 1
End month / 27
Package leader / HiST Contract Research
Language of the report / English

This document may not be copied, reproduced, or modified in whole or in part for any purpose without written permission from the Done-IT consortium. In addition to such written permission to copy, reproduce, or modify this document in whole or part, an acknowledgement of the authors of the document and all applicable portions of the copyright notice must be clearly referenced. All rights reserved.

This document may change without notice, but consortium members should be informed, and number of version, stage and date should be given.

Project consortium

  • Sør-Trøndelag Unievrsity College, Faculty of Technology, Trondheim, Norway
  • Centrum for Flexible Learning, Söderhamn, Sweden
  • Petru Maior University of Targu-Mures, Tirgu Mures, Romania
  • Magyar Hegesztéstechnikai és Anyagvizsgálati Egyesülés (MHtE), Budapest,Hungaria
  • Institut za Varilstvo (IzV), Ljubljana, Slovenia
  • HiST Contract Research, Trondheim, Norway

The summary is written in English, Norwegian, Swedish, Hungarian, Slovenian and Rumanian.

Table of Contents

Done-IT

1. Summary in EN, NO, SE, HU, SL and RO

2. Introduction

2.1 Assessment - the situation today

3. The DoneIT-approach: Peer Learning Assessment System

4. Requirements for use

5. Initiating

6. The questions

6.1 The nature of Multiple Choice questions

7. Rules settings

8. Identifying problems

9. Learning activities

9.1 Feedback

10. Practical possibilities with use of the new Peer Learning Assessment System (PELE).

10.1 Group activity

10.2 Immediate feedback

10.3 Active learning

11. Learning mechanisms involved

11.1 Group discussion

11.2 Verification of a group discussion

12. Feedback to the teacher

13. Big versus small assessments

14. The second chance

15. Experiences with new Peer Learning Assessment methods in Romania

15.1 Teaching in a new way...... 36

15.2 Evaluating in a new way...... 37

15.3 New type of evaluation supported by infrastructure...... 41

15.4 Conclusions...... 42

16. Literature references...... 47

1.Summary in EN, NO, SE, HU, SL and RO

How may the teacher or instructor turn PELE into a new evaluation method?

PELE in a nutshell online video is found at

PELEmay be used in assignments, exercises, laboratory work, tests and exams that are structured as multiple-choice questions with a certain number of alternatives. When your teacher account for PELE has been created (D8.1 in WP 8), you may do this:

  1. Develope a number of assignments, exercises, and laboratory related quizzez, tests of exams containing closed multiple choice questions. The tests should include the whole curriculumn, and utilize a number of conceptual questinos. The later is important for use in assessment for learning processes. Upload them into PELE
  2. In each course, organize a number of short tests. It is better to provide many, but short assessment activities. This could for instance involve one test every 3-4 weeks. Each assessment activitity may contribute with a certain percentage to the final score/grade that each student obtain at the end of a course.
  3. Distribute the assignments, exercises, laboratory related quizzez, tests or exam to the class on paper. With only a few questions, just project them on the wall.
  4. Use PELE to collect the result from each test.. Students may use hand held devices like laptops, tablets or modern smartphones to answer the test.
  5. Provide immediate feedback after closure of each test. It is recommended to do that after having a short break in class. The teahcer may for some of the questions, give the students a second chance by starting up (from PeLe) the online Student Response System.
  6. PELE may be used to collect resutls from a final exam. This requires that the questionnaries are using closed multiple choice questions. The analytical part of an exam must still be organized by using traditional hand written solutions.

With PELE, the traditional "large" final exam at the end of the course may be replaced with a set of smaller tests during the semester, and a reduced/smaller final exam that addresses the analytical part. The analytcal part usually requires reflection processes, whereby multiple choice questions cannot be used.

It is a key issue thatthe students them self register their data (inclusive the student name), making it is easy for the teacher or instructor to handle several courses, each containing several tests in large classes.

It is not necessary to reconstruct rooms or buildings in order to start using PeLe. Access to a good wireless network is enough.

Consider to use the Mobile PeLe Service Unit (MPSU) if the WI-FI network is overloaded (has too limited capacity), security rules limit the access from students hand held devices in the class room, if you don't have any WI-FI network infrastructure, or no access to Internet. MPSU is a server and built-in Access Point (AP), setting up a local WI-FI network. Additional AP and/or Wireles Routers may be connected in order to increase the capacity of the local wireless network.

During the assignments, exercises, tests or exams the students may use their hand held device to connect to Internet based resources.PeLe may not be used to collect analytical descriptions from assignments, exercises, tests or exams, since PeLe dosent yet support free text input.

PeLe gives the teacher a new learning tool, allowinghim/her to either give verification or elaborativefeedback to individual students or groups ofstudents immediately after a test.Students will, when they still remember the testquestions, learn why the correct answer is correctand why the other ones are incorrect. Thus, mobiletechnology provides new assessment and testingcriteria for education and training.

Translation of summary into Norwegian:

Oppsummering

Hvordan kan læreren eller instruktøren bruke PELE som en ny evalueringsmetode?

PELE i et nøtteskal-videoen kan finnes på nettsiden:

PELEkan brukes til oppgaver, øvelser, laboratoriumsarbeid, prøver og eksamener som er strukturert som flervalgsspørsmålmed et visst antall alternativer. Når din lærerkonto for PELE er opprettet (D8.1 i WP 8), kan du gjøre følgende:

  1. Utvikle en rekke oppgaver, øvelser, laboratorium-quizer og eksamenstester som består av lukkede flervalgsspørsmål. Testene skal omfatte hele pensumet og bruke en rekke konseptuelle spørsmål som deter viktig å bruke i vurdering av læringsprosesser. Du kan laste dem inn i PELE.
  2. Organisere en del korte tester på hvert kurs. Det er best å ha flere korte evalueringeringsrunder. Dette kan for eksempel innebære en prøve hver 3-4 uker. Hver evalueringsrunde kan bidra med en viss prosent til sluttresultatet/sluttkarakteren som hvert elev oppnår i slutten av kurset.
  3. Dele ut oppdragene, øvelsene, laboratorium-testene, prøvene eller eksamensoppgavene til klassen på papir. Når de består av noen få spørsmål, kan du bare projisere dem på veggen.
  4. Bruke PELE til å samle resultater fra enhver test. Studentene kan bruke håndholdte enheter som bærbare PC-er, tablet-PC-er eller moderne smarttelefoner til å svare på prøven.
  5. Gi umiddelbar tilbakemelding til studenetene etter slutten av hver test. Det anbefales å gjøre det etter å ha en kort pause i klassen. Lærerenkan i tillegg gi elevene en ny sjanse til å svare noen av spørsmålene ved å starte opp online Student Response System som finnes i PELE.
  6. PELE kan brukes til å samle resultater fra en slutteksamen. Dette krever at spørreskjemaene bruker lukkede flervalgsspørsmål. Den analytiske delen av eksamen må fortsatt være organisert ved hjelp av tradisjonelle håndskrevne løsninger.

Med PELE kan den tradisjonelle "store" avslutningseksamen i slutten av kurset bli erstattet med et sett av mindre tester i løpet av semesteret og en redusert/mindre avslutningseksamen som inneholder den analytiske delen. Den analytiske delen krever vanligvis refleksjonsprosesser der flervalgsspørsmål ikke kan brukes.

Det som står sentralt er at studentene selv registrerer sine data (også navnet på studenten) slik at det blir lett for læreren eller instruktøren å håndtere flere kurs som alle inneholder flere tester i store klasser.

Det er ikke nødvendig å rekonstruere rom eller bygninger for å begynne å bruke PELE. Det er nok med tilgang til et godt trådløst nettverk.

Du kan vurdere å bruke Mobile PELE service Unit (MPSU) dersom WI-FI-nettverket er overbelastet (har for dårlig kapasitet), om sikkerhetsregler begrenser tilgang fra studenters håndholdte enheter i klasserommet eller hvis du ikke har noen WI-FI-nettverkinfrastruktur eller tilgang til Internett. MPSU er en server med innebygdaksesspunkt (AP) som setter opp et lokalt trådløst nettverk. Ytterligere AP-routere og/eller trådløse routere kan bli forbundet for å øke kapasiteten til det lokale trådløse nettverket.

I løpet av oppdrag, øvelser, prøver eller eksamener kan studentene bruke sine håndholdte enheter til å koble seg til Internett-baserte ressurser. PELE kan ikke brukes til å samle analytiske beskrivelser fra oppdrag, øvelser, tester eller eksamener siden PELE ennå ikke støtter fri skriving.

PELE gir læreren et nytt læringsverktøy som det gjør det mulig for ham/henne å gi både verifiserende og elaborerende tilbakemelding til enkeltelever eller elevgrupper rett etter prøven. Studentene vil lære hvorfor det riktige svaret er riktig og hvorfor de andre er gale mens de fortsatt husker testspørsmålene. Dermed gir mobilteknologi ny vurderingskriterier og prøvekriterier for utdanning og opplæring.

Translation of summary into Swedish:

Sammanfattning

Hur kan läraren eller instruktören göra PELE till en ny bedömningsmetod?

Internetvideon ”PELE i ett nötskal” är tillgänglig på

PELE kan användas i olika uppdrag, övningar, laboratorieaktiviteter, test och prov som består av flervalsfrågor med ett visst antal alternativ. När ditt PELE-lärarkonto är skapat kan du göra följande:

1. Skapa uppdrag, övningar och laboratoriefrågesporter, -test och -prov som består av slutna flervalsfrågor. Test borde innehålla den hela läroplanen och ett antal konceptuella frågor. Det viktigt att använda konceptuella frågor i ett uppdrag för inlärningens skull. Överför dem till PELE.

2. Ordna flera korta test i varje kurs. Det är bättre att skapa fler korta uppdrag och aktiviteter, t. ex. ett test varje 3-4 veckor. Varje aktivitet kan med ett visst antal procent bidra till slutpoängvärdena/-betyget varje student uppnår vid kursslutet.

3. Dela ut uppdrag, övningar, laboratoriefrågesporter, test eller prov i pappersform. De ska bestå av bara några frågor och visas på skärm.

4. Använd PELE för att samla in svaren. Elever kan använda handhållna enheter, som t. ex. bärbara datorer, surfplattor eller moderna smartphones för att svara.

5. Ge direkt feedback efter slutet på test, helst efter en kort rast. För några frågor kan läraren ge elever andra chans genom att sätta igång (från PELE) online Elevresponssystemet (Student Response System).

6. PELE kan användas för att samla in resultat på slutprovet. Det kräver att frågeformulär som består av slutna flervalsfrågor. Den analytiska delen av provet måste fortfarande anordnas med hjälp av traditionella handskrivna lösningar.

Med hjälp av PELE kan traditionella ”stora” prov på kursslut ersättas av en uppsättning små test under terminens lopp och en begränsat/mindre slutprov som riktar sig åt den analytiska delen. Den analytiska delen kräver ofta reflektionsprocesser, som inte kan dra nytta av flervalsfrågor.

Det är mycket viktigt att elever själva registrerar sina uppgifter (inklusive elevens namn), vilket gör det lätt för läraren eller instruktören att samtidigt ta hand om flera kurser, med flera test i stora grupper.

Det är inte nödvändigt att inreda om rum eller byggnader för att börja använda PELE. Det räcker till med tillgång till ett bra trådlöst nätverk.

Tänk på att använda Mobila PELE Serviceenheten (MPSU) om WI-FI nätverket är överbelastat (har för begränsad kapacitet), om säkerhetsregler begränsar elevernas tillgång från handhållna enheter i klassrummet, om du inte har någon WI-FI nätverksutrustning eller Internettillgång. MPSU är en server med en inbyggd anslutningspunkt (AP) som skapar ett lokalt WI-FI nätverk. Ytterligare AP och/eller en trådlös router kan också kopplas till för att förbättra det lokala trådlösa nätverkets kapacitet.

Elever kan under uppdrag, övningar, test eller prov använda sina handhållna enheter för att koppla till Internetbaserade resurser. PELE kan inte användas för att samla in analytiska beskrivningar i uppdrag, övningar, test eller prov eftersom PELE inte stöder fria textinsatser än.

PELE ger läraren ett nytt undervisningsverktyg och gör det möjligt för honom/henne att antingen ge verifikation eller utvecklad feedback till enskilda elever eller elevgrupper direkt efter ett test. Elever ska lära sig varför det rätta svaret är rätt och alla andra är fel medan de fortfarande kommer ihåg testfrågorna. På så sätt skapar den mobila teknologin nya uppdrags- och testkriterier inom utbildning och yrkesträning.

Translation of summary intoHungarian:

Összefoglalás

Hogyan lehet a tanárnak, vagy az oktatónak a PELE rendszert egy új értékelési módszerként alkalmazni a munkája során?

PELE-ről dióhéjban egy online videó található web lapon.

PELE rendszer felhasználható több területen, például feladatok, gyakorlatok, laboratóriumi munka során, tesztek és vizsgák alkalmával, amelyek felépítése a feleletválasztós kérdésekre épül egy bizonyos számú alternatíva megadásával.

Ha az oktatónak érvényes belépési kódja van a PELE rendszerhez, (D8.1 a WP 8), akkor ezeket a feladatokat végezheti el:

1.. Fejleszthet számos feladatot, gyakorlatot és laboratóriumi munkával kapcsolatos vetélkedőket, teszteket vizsgákhoz, zárt feleletválasztós kérdésekkel. A kérdéseknek célszerű kiterjednie az egész tananyagra, így használhat számos koncepcionális kérdést is. A későbbiekben fontos olyan értékelés elkészítése is, ami a tanulási folyamatokra világít rá.

Ezek feltölthetőek a PELE rendszerbe is.

2.. Minden kurzushoz, készíthet számos rövid tesztet. Jobb ha sok, de rövid értékelési tevékenységet végez az oktató. Például adott testet 3-4 hetente ismételnek. Az egyes értékelési tevékenységek hozzájárulhatnak egy bizonyos százalékban, hogy a végeredmény / rangsor, pontos legyen és minden diák megkaphassa azt végén.

3.. Osszuk ki a feladatokat, gyakorlatokat, laboratóriumi munkával kapcsolatos feladatokat, tesztek és vizsga anyagokat az osztálynak papíron. Csak néhány kérdést, amiket kivetíthetünk a falra is.

4.. Használja PELE rendszert begyűjteni az eredményeket minden teszt végén. A hallgatók használhatnak kézi eszközöket persze, mint a laptopok, Tablet vagy modern okos telefonok a válaszok megadásához.

5. Azonnali visszajelzést ad a lezárása után minden PELE teszt. Javasoljuk, hogy miután egy rövid szünetet tartottunk az osztályban. A tanár néhány kérdést a hibásan megválaszoltak közül vissza ad szavazásra, hogy a diákok egy második esélyt kapjanak és használják a válaszokhoz az SRS Hallgatói Válaszadó Rendszert.

6. PELE-t lehet egy záróvizsga eredményének gyűjtésére is használni. Ez megköveteli, hogy a kérdőívek segítségével zárt feleletválasztós kérdésekre adjanak választ a hallgatók. A vizsga analitikai részéhez kell még a hagyományos kézzel írott megoldásokat is alkalmazni persze.

A Pelé rendszer használatával a hagyományos "nagy" vizsgák a kurzus végén helyettesíthetőek egy sor kisebb teszt használatával a félév során, és egy redukált / kisebb záróvizsgával, amely foglalkozik az elemző részekkel. Az analitikai rész általában csak gondolkodás folyamatait méri, amely feleletválasztós kérdések esetében nem használhatók.

Az egyik legfontosabb kérdés, hogy a tanulók saját adataikat regisztrálják (beleértve a hallgató nevét is), így könnyen megtalálhatja a tanár, vagy az oktató, és könnyen tudja kezelni több tanfolyam esetében is. Nem baj ha mindenki több vizsgát akar tenni vagy nagy osztálylétszámok vannaka vizsgázó csorportoknál.

Nem szükséges átépíteni semmit a helyiségekben vagy épületekben a PELE használatának megkezdése érdekében. A használathoz egy jó vezeték nélküli hálózat is elég.

Fontoljuk meg, hogy a Mobil PELE Service Unit (MPSU)használható-e, ha a Wi-Fi hálózat túlterhelt (túl korlátozott kapacitással rendelkezik), a biztonsági szabályok korlátozzák a hozzáférést a diákok kézi eszközeihez a tanteremben, vagy ha nincs WI-FI hálózati infrastruktúra, illetve nincs internet hozzáférés. MPSU egy szerver és a beépített hozzáférési pont (AP), amely létrehozta a helyi Wi-Fi hálózatot. Kiegészítő AP-vel és / vagy vezeték nélküli routerel lehet csatlakoztatni a készülékeket annak érdekében, hogy növeljék a kapacitását a helyi vezeték nélküli hálózat terhelése nélkül.

A feladatok, gyakorlatok, tesztek vagy vizsgák alkalmával a diákok használhatják a kézi eszközöket, csatlakozhatnak az internetes forrásokhoz. PELE nem alkalmas gyűjteni az analitikus leírásokat feladatokat, gyakorlatokat, teszteket és az ilyen vizsgákhoz sem jó, mert PELE még nem támogatja a szabad szövegbevitelt.

PELE ad a tanárnak egy új tanulási eszközt, amely lehetővé teszi számára / neki, hogy vagy ellenőrzéshez használja, vagy elaborative visszajelzést ad az egyes tanulóknak vagy csoportoknak a teszt után. A hallgatók, ha még emlékeznek a vizsgálati kérdésekre, hogy miért a helyes válasz helyes, és helytelen helytelen, akkor újra tudják gondolni a megoldásaikat. Így a mobil technológia új értékelési kritériumokat és vizsgálati módszert ad az oktatáshoz és a képzéshez.

Translation of summary intoSlovenian:

Povzetek

Kako lahko učitelj ali inštruktor uvede metodo PeLe (Peer Learning Assessment Service) kot novo metodo ocenjevanja?

Spletni prikaz PeLe metode je na voljo na

Metodo PeLe lahko uporabljamo pri vajah, delu v laboratoriju, reševanju vprašalnikov, testov in izpitov, ki so sestavljeni na način reševanja z več možnimi odgovori in z določenim številom alternativ. Ko ustvariš svoj PeLe učiteljski račun (D8.1 v DP 8), ti program zagotavlja dostopanje do sledečih možnosti:

1. Razvoj številnih nalog, vaj in laboratorijsko povezanih vprašalnikov, testnih pol in izpitov z več možnimi odgovori. Testi morajo vključevati celoten učni načrt, vključno s številnimi konceptualnimi vprašanji. Zlasti slednje je pomembno za uporabo v procesih ocenjevanja za učenje. Naložite jih v v PeLe sistem.

2. V vsakem ciklu izobraževanja organizirajte več kratkih testov. Dosedanja testiranja so namreč pokazala, da so dobljeni rezultati boljši, če zagotovimo pogostejše a hkrati krajše ocenjevanje. To lahko na primer vključuje en preizkus vsake 3-4 tedne. To na končni ravni lahko rezultira z višjim odstotkom uspešnosti.

3. Razdelite naloge, vaje, vprašalnike, teste ali izpite za razred v papirni obliki. Z le nekaj vprašanji jih projicirajte na steno.

4. Uporabite metodo PeLe za analizo posameznega testa. Slušatelji lahko za reševanje uporabljajo ročne naprave, kot so prenosni računalniki, tablica ali sodobni pametni telefon.

5. Po zaključku posameznega testa ali izpita zagotovite takojšnjo povratno informacijo Priporočljivo je, da to naredite po kratkem odmoru. Učitelj lahko da študentom pri reševanju nekaterih vprašanj možnost ponovnega odgovarjanja, tako da zažene v programu PeLe aplikacijo online Student Response System (“second chance” - druga možnost).

6. Sistem PeLe lahko uporabimo za zbiranje rezultatov zaključnih izpitov. Vprašalniki morajo biti sestavljeni na način z zaprtimi večmožnostnimi odgovori. Analitični del moramo še vedno narediti ročno.

S sistemom PeLe lahko običajni zaključni izpit nadomestimo z nizom manjših testov med semestrom. Tako zmanjšamo analitični del zaključnega izpita. Ta običajno zahteva procese refleksije, pri čemer uporaba sistema več možnih odgovorov ni mogoča

Ključno je, da študenti sami vnesejo svoje podatke (vključujoč ime študenta), zaradi česar je postopek za učitelja enostavnejši, še posebno kadar učijo več različnih predmetov z več predvidenimi testiranji in v velikih razredih.

Za uspešen začetek dela po PeLe metodi ni potrebno preurejati dosedanjih prostorov. Zagotoviti je potrebno le dostop do dobrega brezžičnega omrežja.

V primeru, da je brezžično omrežje preobremenjeno (ima tudi omejene zmogljivosti), ali varnostna pravila omejujejo dostop študentom z ročnimi napravami v učilnicah, če nimate vzpostavljenega brezžičnega omrežja, ali nimate sploh dostopa do interneta, lahko uporabite Mobile PeLe storitev (MPSU). MPSU je v tem primeru strežnik in vgrajen Access Point (AP) je nastavljen kot nosilec lokalnega brezžičnega omrežja. Dodatne AP in /ali brezžični Router-ji so lahko povezani, da povečamo zmožnost lokalnega brezžičnega omrežja.

Med reševanjem nalog, vaj, testov ali izpitov lahko slušatelji uporabljajo svoje ročne elektronske naprave, da se brezžično povežejo z osnovnimi bazami v PeLe sistemu. PeLe ne moremo uporabiti za zbiranje analitičnih tolmačenj nalog, vaj, testov ali izpitov, ker sistem PeLe še ne podpira brezplačnega vnosa besedil.

Sistem PeLe daje učitelju na voljo novo učno orodje. Omogoča mu sprotno preverjanje in mu daje povratne informacije za posameznike ali skupine študentov takoj po opravljenem testu. Za študente je pomembno, da takoj po zaključku testa izvedo, zakaj je nek odgovor pravilen in zakaj so ostali napačni.

Translation of summary intoRomanian:

Cum poate profesorul sau instructorul transforma PELE într-o nouă metodă de evaluare?

Videoclip-ul despre PELE se găsește la adresa

Pele pot fi folosit în evaluări, exerciții, lucrări de laborator, teste și examene, care sunt structurate sub formă de întrebări cu răspunsuri multiple, cu un anumit număr de alternative. Dacă vă creați contul de profesor (D8.1 în WP 8), cu ajutorul PeLe puteți face următoarele:

1. Dezvolta o serie de evaluări, exerciții, chestionare legate de laborator, teste de examene care conțin întrebări cu răspunsuri multiple închise. Testele trebuie să cuprindă întregul curriculum și să utilizeze o serie de întrebări conceptuale. Sub această formă pot fi utilizate în evaluarea procesului de învățare. Încărcați-le în PELE

2. In fiecare curs, se pot efectua o serie de teste scurte. Activitățile de evaluare este mai bine să le efectuați mai multe și de scurtă durată. De exemplu, se poate efectua un test la fiecare 3-4 săptămâni. Fiecare activitate de evaluare poate contribui cu un anumit procent la nota pe care studentul o obține la finalizarea cursului.

3. Se distribuie cursanților evaluările, exercițiile, chestionarele de laborator, testele sau examenele pe suport de hârtie. Dacă acestea constau din câteva întrebări, se pot proiecta pe perete.

4. Se utilizează PELE pentru colectarea rezultatelor testelor. Studenții pot folosi dispozitive portabile cum ar fi: laptop-uri, tablete sau telefoane inteligente moderne, pentru a răspunde la test.

5. Se comunică rezultatele imediat după finalizarea testului. Acest lucru este recomandat după o scurtă pauză. Pentru anumite întrebări profesorul poate să le ofere studenților încă o șansă prin activarea (din Pele) Sistemului de Răspuns al Studenților.

6. PELE pot fi folosit pentru colectarea rezultatelor de la un examen final. Acest lucru necesită utilizarea de chestionare cu întrebări cu răspunsuri multiple închise. În continuare, partea analitică a examenului trebuie să fie susținută sub forma clasică, scrisă de mână.

Cu Pele, examenul tradițional "amplu" de la finalizarea cursului, poate fi înlocuit cu un set de teste mai mici susținute pe parcursul semestrului și un examen final restrâns / mai mic, care se referă la partea analitică a cursului. Aceasta necesită, de obicei, reflecție, în cursul căreia nu se pot utiliza întrebări cu mai multe variante de răspuns.