Veelgestelde vragen over de AI-herkenning van Turnitin

Hoe werken de AI-herkenning van Turnitin?

Biedt Turnitin een oplossing om AI-schrijven te herkennen in inzendingen in het Nederlands?

Ja. Turnitin heeft zijn AI-herkenning in het Nederlands gelanceerd om docenten te helpen de academische integriteit te waarborgen en er tegelijkertijd voor te zorgen dat studenten eerlijk worden behandeld. Dit komt bovenop onze mogelijkheden voor het detecteren van door AI geschreven teksten in het Engels, Spaans, Arabisch en Japans.

We hebben een AI-schrijfindicator toegevoegd aan het Similarity Report. Hier zie je het totale percentage van het document dat mogelijk door AI is gegenereerd. De indicator verwijst verder naar een rapport waarin de tekstfragmenten worden gemarkeerd waarvan ons model voorspelt dat ze waarschijnlijk door AI zijn geschreven. Let op: alleen docenten en beheerders kunnen de indicator zien.

Ons AI-herkenningmodel is misschien niet altijd even nauwkeurig (het kan door mensen geschreven tekst verkeerd herkennen), dus het mag niet als enige basis worden gebruikt voor negatieve maatregelen tegen een student. Er is nader onderzoek en menselijk inzicht nodig, in combinatie met de manier waarop een organisatie haar specifieke academische regels toepast, om te bepalen of er sprake is geweest van academisch wangedrag.

Hoe berekenen we de scores?

Als er een werkstuk bij Turnitin wordt ingediend, gebruiken we een model om scores aan zinnen toe te kennen, waarbij we kijken naar de zin in de context van de omringende tekst (zie de volgende veelgestelde vraag, ‘Wanneer wordt tekst buiten beschouwing gelaten bij herkenning van AI-gegenereerde tekst?’, voor een beschrijving van de tekst die we beoordelen). Het model geeft elke zin een score tussen 0 en 1 die aangeeft of die door een mens of door AI is geschreven.

Zinnen die boven een bepaalde drempelwaarde liggen, worden aangeduid als ‘AI’, en de overige als ‘Human’.

De AIW-score op documentniveau is het percentage zinnen dat boven de drempelwaarde ligt. We vermelden geen scores onder de 20% in het AIW-rapport.

Op dit moment kan het AI-model van Turnitin (Nederlands) voor het opsporen van geautomatiseerd geschreven teksten inhoud herkennen van:

Wanneer wordt tekst niet meegenomen bij herkenning van AI-gegenereerde tekst?

Tijdens de verwerking verwijdert ons model tekstfragmenten waarvan het voorspelt dat het geen echte zinnen zijn, zoals lijstjes, kopteksten, bronvermeldingen, gegevenstabellen en tekst die op formules of code lijkt. Dit kan per taal een beetje verschillen.

Als we de totale score voor herkenning van AI-gegenereerde tekst in het document berekenen, is dat het percentage van de beoordeelde zinnen dat als AI wordt aangemerkt. Geschrapte zinnen tellen niet mee voor het percentage.

Afhankelijk van de taal verwerken we geen documenten als het totale aantal woorden in de geëvalueerde zinnen minder dan 300 woorden bedraagt.

Hoe is het model getraind?

Ons model is getraind op een representatieve steekproef van gegevens uit een bepaalde periode, die zowel door AI gegenereerde als authentieke academische teksten uit verschillende regio’s en vakgebieden omvat. 

Herkent de detector door AI geherformuleerde inhoud als er tools zoals Quillbot enz. worden gebruikt om door AI gegenereerde inhoud te herformuleren?

Onze detector is getraind om inhoud te herkennen die waarschijnlijk door grote taalmodellen (LLM’s) is gegenereerd en als je door AI gegenereerde tekst aanpast met behulp van parafrasetools, heeft dat invloed op het vermogen van onze detector om AI-schrijven te herkennen. Op dit moment zijn de functies voor het herkennen van AI-parafraseringen alleen beschikbaar in onze Engelse AI-detector.

Kan ik eerder ingeleverde opdrachten controleren op AI-schrijven?

Ja. Eerder ingeleverde opdrachten kunnen worden gecontroleerd op AI-herkenning als ze opnieuw bij Turnitin worden ingeleverd en als je AI-herkenning voor je account hebt ingeschakeld. 

Welke talen worden ondersteund?

De AI-herkenning van Turnitin kunnen inhoud die waarschijnlijk door AI is gegenereerd, opsporen in lange documenten die in het Engels, Spaans, Japans, modern standaard-Arabisch, Turks, Duits en Nederlands zijn geschreven. Onze functies voor het herkennen van AI-parafraseringen zijn echter alleen beschikbaar voor inzendingen in het Engels.

Wat gebeurt er als er een werkstuk in een taal wordt ingediend die niet wordt ondersteund? 

Als er een werkstuk in een taal wordt ingediend die niet wordt ondersteund, zal de detector de inzending niet verwerken. De indicator zal een lege/foutstatus weergeven met 'in-app'-begeleiding die gebruikers vertelt dat deze functie alleen werkt voor ondersteunde talen. Er wordt geen rapport gegenereerd als de ingediende inhoud niet in een van de ondersteunde talen is opgesteld.

Kan ik of mijn beheerder die nieuwe indicator en het bijbehorende rapport uitschakelen als we die niet willen zien? 

Ja, beheerders kunnen de AI-schrijffunctie in- of uitschakelen via hun beheerpagina.  Als je deze functie uitschakelt, verdwijnen de AI-schrijfindicator en het rapport uit het Similarity Report en zijn ze niet meer zichtbaar voor docenten en beheerders, totdat ze de functie weer inschakelen. Dit betekent dat inzendingen die naar Turnitin worden gestuurd, niet worden gecontroleerd op AI-schrijven.

Zal de toevoeging van de AI-detectiefunctie van Turnitin aan het Similarity Report mijn workflow of de manier waarop ik het Similarity Report gebruik veranderen?

Nee. Deze extra functie heeft geen invloed op de manier waarop je het Similarity Report gebruikt of op je bestaande workflows. Onze AI-detectiefuncties zijn toegevoegd aan het Similarity Report om onze klanten een naadloze ervaring te bieden. 

Zullen de AI-detectiefuncties beschikbaar zijn via LMS-systemen zoals Moodle, Blackboard, Canvas, enzovoort?

Ja, gebruikers kunnen de indicator en het rapport bekijken via het LMS dat ze gebruiken. We hebben de detectie van AI-schrijven beschikbaar gemaakt via het Similarity Report. Er is geen indicator of score voor AI-geschreven teksten die rechtstreeks in de gebruikersinterface van het LMS is geïntegreerd; gebruikers moeten het rapport openen om de AI-score te kunnen zien.

Waarin verschilt het opsporen van authorship in Originality van het opsporen van teksten die door AI zijn geschreven?

De AI-herkenningtechnologie van Turnitin verschilt van de technologie die in Authorship (Originality) wordt gebruikt. Ons model voor het opsporen van door AI-schrijven berekent het totale percentage van de tekst in het ingediende document dat waarschijnlijk door een AI-schrijftool is gegenereerd. Bij Authorship wordt daarentegen gebruikgemaakt van zowel metadata als forensische taalanalyse om te achterhalen of de ingeleverde opdracht door iemand anders dan de student is geschreven; bijvoorbeeld door een paper mill. Het zal niet kunnen aangeven of de tekst door AI is geschreven; alleen dat de inhoud niet het eigen werk van de student is.

Resultaten en interpretatie van AI-detectie

Wat betekent het percentage in de indicator voor het herkennen van AI-geschreven teksten? 

Het percentage geeft aan hoeveel van de tekst in de inzending volgens het AI-herkenningmodel van Turnitin waarschijnlijk door AI is gegenereerd. Deze selectiecriteria omvatten uitsluitend prozazinnen, wat betekent dat we alleen tekstblokken analyseren die zijn geschreven in grammaticaal correcte zinnen en geen andere soorten teksten zoals lijsten, opsommingstekens of andere niet-zinsstructuren omvatten.

Dit percentage is niet per se het percentage van de hele inzending. Als de tekst in de inzending niet als lange prozatekst wordt beschouwd, wordt deze niet meegenomen. 

Hoe nauwkeurig is de AI-schrijfindicator van Turnitin?

We streven ernaar de effectiviteit van onze detector te maximaliseren en tegelijkertijd ons percentage valse positieven, waarbij volledig door mensen geschreven tekst ten onrechte als door AI gegenereerd wordt aangemerkt, onder de 1% te houden voor documenten waarin meer dan 20% door AI is geschreven. Met andere woorden: bij één op de honderd documenten die helemaal door mensen zijn geschreven, zou het kunnen dat we zo’n document ten onrechte als door AI geschreven markeren. 

Het weergegeven percentage komt soms niet overeen met de hoeveelheid gemarkeerde tekst. Hoe komt dat? 

In tegenstelling tot ons Similarity Report hangt het percentage door AI-schrijven niet per se samen met de hoeveelheid tekst in de inzending. Het AI-herkenningmodel van Turnitin zoekt alleen naar prozazinnen in langere teksten. Proza in langere teksten bestaat uit afzonderlijke zinnen in alinea’s die samen een langer geschreven werk vormen, zoals een essay, een proefschrift of een artikel, enz. Het model detecteert niet op betrouwbare wijze tekst die waarschijnlijk door AI is gegenereerd in de vorm van niet-proza of code, noch detecteert het korte of onconventionele teksten, zoals opsommingen.

Dit betekent dat bij een document met verschillende tekstsoorten er een verschil zou ontstaan tussen het percentage en de gemarkeerde stukken.

Wat betekenen de verschillende indicatoren?

Zodra je het Similarity Report opent, zal de indicator voor AI-herkenning na een korte verwerkingstijd een van de volgende uitkomsten weergeven:

1. Blauw met een percentage tussen 20 en 100: De inzending is verwerkt. Het weergegeven percentage geeft aan welk deel van de ingediende tekst volgens het AI-herkenningmodel van Turnitin waarschijnlijk door AI is gegenereerd.

Zoals eerder opgemerkt, is dit percentage niet per se het percentage van de totale inzending. Als de tekst in de inzending niet als een lang proza-stuk werd beschouwd, wordt deze niet opgenomen. Om de resultaten van de AI-detectiefuncties voor geschreven tekst te bekijken, klik je op de indicator om het AI-schrijfrapport te openen.

Uit onze tests is gebleken dat er vaker valse positieven voorkomen als het percentage lager is dan 20. Om de kans op verkeerde interpretaties te verkleinen, geeft de AI-indicator een sterretje weer en wordt er geen score getoond voor percentages onder de 20, om je erop te wijzen dat de score dan minder betrouwbaar is.

Om de resultaten van de AI-detectiefuncties voor geschreven tekst te bekijken, klik je op de indicator om het AI-schrijfrapport te openen. Het AI-schrijfrapport wordt geopend in een nieuw tabblad van het venster waarin je het Similarity Report hebt gestart. Als u een pop-up blocker hebt geïnstalleerd, zorg er dan voor dat Turnitin-pop-ups worden toegestaan.

2. Laag percentage (*%):

Bij AI-modellen kan het voorkomen dat er valse positieven optreden (waarbij door mensen geschreven tekst ten onrechte als door AI gegenereerd wordt aangemerkt). Om mogelijke valse positieven te voorkomen, worden er geen scores of markeringen toegekend aan AI-detectiescores die tussen de 1% en 19% liggen. Als er in het rapport AI wordt gedetecteerd onder de drempel van 20%, wordt dit nu aangegeven met een sterretje (*%) en wordt er geen percentage vermeld. Deze wijziging geldt alleen voor nieuwe inzendingen en wordt niet met terugwerkende kracht toegepast op bestaande inzendingen.]

3. Grijs zonder weergegeven percentage (- -): De indicator voor het herkennen van AI-schrijven kan deze inzending niet verwerken. Dit kan te wijten zijn aan één of meerdere van de volgende redenen:

- De inzending vond plaats voordat Turnitin de functie voor het detecteren van AI-schrijven had gelanceerd. De enige manier om de indicator/het rapport voor AI-herkenning bij eerdere inzendingen te zien, is door ze opnieuw in te dienen.

- Het bestand voldoet niet aan de vereisten die nodig zijn om het succesvol te verwerken voor het detecteren van AI-schrijven. Om ervoor te zorgen dat er voor een inzending een AI-schrijfrapport en een percentage wordt gegenereerd, moet de inzending voldoen aan de volgende vereisten voor inzendingen in het Nederlands:

• De bestandsgrootte moet kleiner zijn dan 100 MB
• Het bestand moet minstens 300 woorden proza bevatten in de vorm van een lang artikel
• Het bestand mag niet meer dan 30.000 woorden bevatten 
• Geaccepteerde bestandstypen: .doc, .docx, .pdf, .txt, .rtf
• Het bestand moet in het Nederlands zijn opgesteld

Aanbevolen werkwijze: Als je de AI-herkenning van Turnitin gebruikt voor opdrachten, is het aan te raden om alle studenten hun werk in hetzelfde bestandsformaat in te laten leveren (bijvoorbeeld allemaal als .docx of allemaal als .pdf). Dit zorgt ervoor dat inzendingen altijd op dezelfde manier worden verwerkt.

1. Fout ( ! ): Deze foutmelding betekent dat Turnitin de inzending niet heeft kunnen verwerken.  Turnitin werkt er voortdurend aan om zijn dienstverlening te verbeteren, maar helaas kunnen dit soort dingen soms gebeuren. Probeer het later opnieuw. Als het bestand aan alle hierboven genoemde vereisten voldoet en deze foutmelding nog steeds verschijnt, neem dan contact op via ons ondersteuningscentrum, zodat we dit voor je kunnen onderzoeken.

Wat kan ik doen als ik denk dat de AI-indicator niet klopt? Hoe gaat de indicator van Turnitin om met valse positieven? 

Mocht je door AI geschreven documenten tegenkomen die wij over het hoofd hebben gezien, of authentiek werk van studenten opmerken dat wij ten onrechte als waarschijnlijk door AI gegenereerd hebben aangemerkt, laat het ons dan weten. Jouw feedback is van cruciaal belang om onze technologie verder te kunnen verbeteren. Je kunt feedback geven via de knop ‘feedback’ in het AI-schrijfrapport.

Soms kunnen valse positieven (waarbij door mensen geschreven tekst ten onrechte wordt aangemerkt als waarschijnlijk door AI gegenereerd) bestaan uit lijsten zonder veel structurele variatie, tekst die letterlijk in herhaling valt, of tekst die is geparafraseerd zonder dat er nieuwe ideeën worden ontwikkeld. Als onze indicator aangeeft dat er in dergelijke teksten waarschijnlijk een groter aandeel door AI geschreven tekst voorkomt, raden wij je aan daar rekening mee te houden bij het bekijken van het aangegeven percentage.

In een langer document waarin authentieke tekst en tekst die waarschijnlijk door AI is gegenereerd door elkaar staan, kan het lastig zijn om precies vast te stellen waar de tekst die waarschijnlijk door AI is geschreven begint en de originele tekst eindigt, maar ons model zou je een leidraad moeten bieden om een gesprek aan te knopen met de student die het werk heeft ingediend.

Bij kortere documenten van slechts een paar honderd woorden zal de voorspelling meestal ‘alles of niets’ zijn, omdat we voorspellingen doen op basis van één enkel segment zonder dat er overlap mogelijk is. Dit betekent dat sommige teksten, die een mix zijn van waarschijnlijk door AI gegenereerde en originele inhoud, als volledig waarschijnlijk door AI gegenereerd kunnen worden aangemerkt. 

Houd deze punten in gedachten als je de gegevens bekijkt en contact opneemt met studenten of anderen. 

Zullen de studenten de resultaten kunnen zien?

De AI-herkenning-indicator en het rapport zijn niet zichtbaar voor studenten. Met de functie voor het downloaden van PDF-bestanden kunnen docenten het AI-rapport echter downloaden en met studenten delen.

Wordt het werkstuk van een student via de AI-indicator automatisch naar een opslag gestuurd?

Nee, dat is niet zo. Er is geen aparte opslag voor het opsporen van door AI geschreven teksten, en klanten kunnen zelf kiezen of ze de opstellen van hun studenten wel of niet aan de opslag willen toevoegen. Onze AI-herkenning maken deel uit van onze bestaande workflow voor het Similarity Report. Voor instellingen die de AI-schrijffunctie hebben ingeschakeld: als we inzendingen ontvangen, worden die vergeleken en beoordeeld met behulp van onze eigen algoritmen, zowel op tekstovereenkomst als op de kans dat het om AI-geschreven tekst gaat (gegenereerd door LLM’s). 

Als deze optie is ingeschakeld, wordt bij een inzending AI-herkenning uitgevoerd en worden de resultaten weergegeven in het Similarity Report. De resultaten over het percentage AI-schrijven dat door de detector is herkend, samen met de fragmenten die waarschijnlijk door AI zijn geschreven, worden opgenomen in het Similarity Report.

Wat is het verschil tussen de similarity score en het percentage AI-herkenning? Zijn die twee helemaal los van elkaar of beïnvloeden ze elkaar?

De similarity score en het percentage voor AI-herkenning staan volledig los van elkaar en beïnvloeden elkaar niet. De Similarity score geeft aan hoeveel procent van de tekst in het ingediende document overeenkomt met de uitgebreide verzameling van Turnitin die wordt gebruikt voor het controleren op overeenkomsten. 

Het percentage AI-herkenning geeft daarentegen het totale percentage tekst in een ingezonden stuk weer waarvan het AI-herkenningmodel van Turnitin voorspelt dat het waarschijnlijk door AI-schrijftools is gegenereerd. 

Hoe kan ik het AI-indicatorpercentage in de cursus met de studenten gebruiken?

De AI-detectie-indicator van Turnitin geeft aan welk percentage van de tekst waarschijnlijk door een AI-schrijftool is gegenereerd, terwijl het rapport de stukken markeert die mogelijk door AI zijn geschreven. De uiteindelijke beslissing of er sprake is van wangedrag ligt bij de beoordelaar/docent. Turnitin stelt niet vast of er sprake is van wangedrag, maar levert gegevens waarmee onderwijskundigen een weloverwogen beslissing kunnen nemen op basis van hun academische en institutionele beleid. 

Kan ik het AI-rapport net als het Similarity Report downloaden?

Ja. Het AI-detectierapport kan als PDF worden gedownload via de knop ‘downloaden’ in de rechterhoek van het rapport.

Kan ik de samengevoegdeAI-scores van alle inzendingen voor mijn instelling bekijken?

Ja, beheerders kunnen de samengevoegde AI-scores voor hun instelling bekijken. Deze functie is nu alleen beschikbaar voor beheerders en toont statistieken op instellings- of overkoepelend niveau. Houd er rekening mee dat we in deze eerste versie geen onderscheid kunnen maken tussen scores op basis van de taal waarin de inzending is ingediend. We gaan proberen deze statistieken gedetailleerder te maken terwijl we deze functie verder uitbouwen.

Detectiebereik

Welke AI-schrijfmodellen kan het AI-schrijfmodel van Turnitin (Nederlands) detecteren? (Bijgewerkt op 26 juni)

Op dit moment kan het AI-model van Turnitin (Nederlands) voor het opsporen van geautomatiseerd geschreven teksten inhoud herkennen van:

Op welk model is het AI-detectiemodel van Turnitin gebaseerd?

Ons huidige systeem maakt gebruik van een moderne deep learning-aanpak op basis van de transformatorarchitectuur. We hebben voor deze aanpak gekozen omdat op transformatoren gebaseerde modellen sterke prestaties hebben laten zien bij een breed scala aan taaltaken en de basis vormen van veel toonaangevende hedendaagse AI-systemen. Dat gezegd hebbende, vertrouwen we niet alleen op kant-en-klare transformatorarchitectuur. In plaats daarvan verbeteren we de architectuur voortdurend, waarbij we gebruikmaken van de nieuwste ontwikkelingen uit ons eigen onderzoekslab en uit de bredere onderzoeksgemeenschap op het gebied van deep learning. Wat nog belangrijker is: onze modellen worden ook getraind op basis van ons uitgebreide interne corpus van academische gegevens. Hoewel ons huidige systeem op transformatoren is gebaseerd, kunnen we in de toekomst misschien andere deep learning-architecturen gaan gebruiken als die voor flinke verbeteringen zorgen.

Deze aanpak verschilt van klassieke AI-methoden, die vaak gebaseerd zijn op handmatig opgestelde regels of handmatig gedefinieerde kenmerken. Ons model is niet specifiek geprogrammeerd om bepaalde signalen te beoordelen, zoals ‘burstiness’, ‘perplexity’ of andere afzonderlijke maatstaven die soms in openbare discussies ter sprake komen. In plaats daarvan leert het statistische patronen uit onze trainingsgegevens. Daardoor worden de resultaten gegenereerd door vele aangeleerde patronen die samenwerken, in plaats van door een kleine set transparante, voor mensen leesbare regels. Daarom zijn individuele voorspellingen misschien niet altijd eenvoudig uit te leggen door elk kenmerk afzonderlijk te bekijken.

Toegang en licenties

Hoe kunnen klanten gebruikmaken van de AI-herkenning? 

De AI-herkenning is alleen beschikbaar voor klanten met een licentie voor Turnitin Originality. Als je klant bent van Turnitin Similarity, Turnitin Feedback Studio (TFS) of Originality Check, neem dan contact op met je Turnitin-accountmanager voor toegang tot de AI-herkenning.

Let op: voor klanten met een TFS-licentie geldt dat de ‘OriginalityCheck’ die wordt vermeld bij de beschikbare producten wanneer je het dashboard van je instellingsaccount opent, verwijst naar het onderdeel van de TFS-licentie van je instelling waarmee werkstukken tegen onze database kunnen worden gecontroleerd en er Similarity Reports kunnen worden gegenereerd. Dit is iets anders dan Turnitin Originality.

Klanten van iThenticate 2.0 kunnen toegang krijgen tot deze functie als ze de AI-schrijfmogelijkheden als add-on aanschaffen. Neem voor meer informatie contact op met je accountmanager.

Is de AI-herkenning van Turnitin een op zichzelf staande oplossing of maakt die deel uit van een ander product? 

De AI-herkenning van Turnitin zijn een aparte functie van het Similarity Report en zijn beschikbaar voor klanten die een licentie nemen op Turnitin Originality als aanvulling op hun bestaande product, of op de AI-schrijf-add-on, als je iThenticate 2.0 gebruikt.

Gaat Turnitin mijn inzending dan toch controleren op AI-schrijven als mijn instelling die functie niet gebruikt?

Nee, we verwerken alleen inzendingen voor het detecteren van AI-geschreven teksten als de instelling die functie heeft ingeschakeld.

Kan mijn instelling zich hiertegen verzetten als we niet willen dat Turnitin onze inzendingen verwerkt voor het opsporen van AI-schrijven?

Ja, als je instelling niet wil dat inzendingen worden gecontroleerd op AI-geschreven teksten, kunnen ze zich hiervoor afmelden door de AI-herkenning uit te schakelen via de instellingenpagina van hun beheerdersaccount.

Als ik de AI-herkenning weer inschakel, krijg ik dan automatisch scores te zien voor inzendingen die zijn gedaan voordat deze functie was ingeschakeld?

Nee, we kunnen inzendingen niet met terugwerkende kracht verwerken. Als je eerdere inzendingen voor AI-schrijven wilt verwerken, moet je het document opnieuw indienen.

Kan ik vragen om de gegevens van mijn instelling te verwijderen voordat de functie wordt uitgeschakeld?

Ja, klanten kunnen een volledige verwijdering van hun inzendingen aanvragen. We kunnen geen verzoeken tot gedeeltelijke verwijdering van gegevens ondersteunen, waarbij alleen het AI-schrijfgedeelte van de inzendinggegevens verwijderd moet worden.