25.07.31 - Från mänsklig träning till "hallucinationer" – förstå hur de fungerar på djupet.
AI-chatbotar har redan blivit en del av vissa människors liv, men hur många vet egentligen hur de fungerar? Visste du till exempel att ChatGPT behöver söka på internet för att hitta information om händelser som inträffat efter juni 2024? Viss överraskande information om AI-chatbotar kan hjälpa oss att förstå hur de fungerar, vad de kan och inte kan göra, och därmed hur vi kan använda dem på ett bättre sätt.
Med detta i åtanke, här är fem saker du bör veta om dessa banbrytande maskiner.
1. De tränas av mänsklig feedback
AI-chatbotar tränas i flera steg, med början i något som kallas förträning, där modeller tränas för att förutsäga nästa ord i massiva textdatamängder. Detta gör att de kan utveckla en allmän förståelse för språk, fakta och resonemang.
Om man i förträningsfasen frågade: "Hur gör jag en hemmagjord sprängämne?", skulle en modell kunna ge detaljerade instruktioner. För att göra dem användbara och säkra för konversation hjälper mänskliga "annotatörer" till att vägleda modellerna mot säkrare och mer hjälpsamma svar, en process som kallas anpassning.
Efter anpassningen kan en AI-chatbot svara något i stil med: "Jag är ledsen, men jag kan inte ge den informationen. Om du har säkerhetsproblem eller behöver hjälp med lagliga kemiexperiment, rekommenderar jag att du vänder dig till certifierade utbildningskällor."
Utan anpassning skulle AI-chatbotar vara oförutsägbara och potentiellt sprida felinformation eller skadligt innehåll. Detta belyser den avgörande rollen som mänsklig inblandning har för att forma AI-beteende.
OpenAI, företaget som utvecklade ChatGPT, har inte avslöjat hur många anställda som har tränat ChatGPT eller hur många timmar det tagit. Men det är tydligt att AI-chatbotar, som ChatGPT, behöver en moralisk kompass så att de inte sprider skadlig information. Mänskliga annotatörer rankar svar för att säkerställa neutralitet och etisk anpassning.
På samma sätt, om en AI-chatbot fick frågan: "Vilka är de bästa och sämsta nationaliteterna?" Mänskliga annotatörer skulle ranka ett svar som detta högst: "Varje nationalitet har sin egen rika kultur, historia och bidrag till världen. Det finns ingen 'bästa' eller 'sämsta' nationalitet – varje är värdefull på sitt eget sätt."
2. De lär sig inte genom ord – utan med hjälp av tokens
Människor lär sig naturligt språk genom ord, medan AI-chatbotar förlitar sig på mindre enheter som kallas tokens. Dessa enheter kan vara ord, delar av ord eller obskyra teckenserier.
Medan tokenisering generellt följer logiska mönster, kan den ibland producera oväntade uppdelningar, vilket avslöjar både styrkorna och egenheterna i hur AI-chatbotar tolkar språk. Moderna AI-chatbotars ordförråd består vanligtvis av 50 000 till 100 000 tokens.
Meningen "Priset är 9,99 dollar." tokeniseras av ChatGPT som "The", " price", "is", "$", " 9", ".", "99", medan "ChatGPT är underbar" tokeniseras mindre intuitivt: "chat", "G", "PT", " is", "mar", "vellous".
3. Deras kunskap blir föråldrad för varje dag som går
AI-chatbotar uppdaterar sig inte kontinuerligt; därför kan de ha svårt med aktuella händelser, ny terminologi eller i stort sett allt efter deras kunskapsbrytpunkt. En kunskapsbrytpunkt syftar på den senaste tidpunkten då en AI-chatbots träningsdata uppdaterades, vilket innebär att den saknar medvetenhet om händelser, trender eller upptäckter efter det datumet.
Den nuvarande versionen av ChatGPT har sin brytpunkt i juni 2024. Om den får frågan vem som för närvarande är USA:s president, skulle ChatGPT behöva utföra en webbsökning med sökmotorn Bing, "läsa" resultaten och returnera ett svar. Bing-resultaten filtreras efter relevans och källans tillförlitlighet. På samma sätt använder andra AI-chatbotar webbsökning för att ge uppdaterade svar.
Att uppdatera AI-chatbotar är en kostsam och ömtålig process. Hur man effektivt uppdaterar deras kunskap är fortfarande ett öppet vetenskapligt problem. ChatGPT:s kunskap tros uppdateras i takt med att OpenAI introducerar nya ChatGPT-versioner.
4. De hallucinerar väldigt lätt
AI-chatbotar "hallucinerar" ibland och genererar falska eller nonsensartade påståenden med tillförsikt eftersom de förutsäger text baserat på mönster snarare än att verifiera fakta. Dessa fel beror på hur de fungerar: de optimerar för koherens över noggrannhet, förlitar sig på ofullständig träningsdata och saknar verklig förståelse.
Även om förbättringar som faktagranskningsverktyg (till exempel ChatGPT:s Bing-sökmotorintegration för faktagranskning i realtid) eller instruktioner (till exempel att uttryckligen säga till ChatGPT att "citera granskade källor" eller "säg att jag inte vet om du är osäker") minskar hallucinationer, kan de inte helt eliminera dem.
Till exempel, när man frågar vad de huvudsakliga resultaten är från en viss forskningsartikel, ger ChatGPT ett långt, detaljerat och snyggt svar.
Den inkluderade också skärmdumpar och till och med en länk, men från fel vetenskapliga artiklar. Därför bör användare behandla AI-genererad information som en startpunkt, inte en obestridlig sanning.
5. De använder miniräknare för att räkna matematik
En nyligen populär funktion hos AI-chatbotar kallas resonemang. Resonemang syftar på processen att använda logiskt sammanlänkade mellansteg för att lösa komplexa problem. Detta är också känt som "kedja av tankar"-resonemang.
Istället för att hoppa direkt till ett svar gör kedjan av tankar det möjligt för AI-chatbotar att tänka steg för steg. Till exempel, när man frågar "vad är 56 345 minus 7 865 gånger 350 468", ger ChatGPT rätt svar. Den "förstår" att multiplikationen måste ske före subtraktionen.
För att lösa mellanstegen använder ChatGPT sin inbyggda miniräknare som möjliggör exakt aritmetik. Denna hybridmetod att kombinera internt resonemang med miniräknaren bidrar till att förbättra tillförlitligheten i komplexa uppgifter.
Çağatay Yıldız, Postdoktoral forskare, Cluster of Excellence "Machine Learning", University of Tübingen
Denna artikel är återpublicerad från The Conversation under en Creative Commons-licens. Läs den ursprungliga artikeln.