Home-theater-designers
ChatGPT har tagit den tekniska världen med storm, och det råder ingen brist på framsteg och uppdateringar. Men trots användningen av avancerad teknik finns det en hel del begränsande faktorer inom den nuvarande versionen.
En sådan faktor är tokensystemet, som fortsätter att bryta utvecklingscykeln, vilket gör att appens användbarhet går på knä. Om du använder ChatGPT kanske du vill veta mer om ChatGPTs tokens och vad du ska göra när du får slut på tokens.
MAKEUSE AV DAGENS VIDEO SCROLL FÖR ATT FORTSÄTTA MED INNEHÅLL
Låt oss ta ett steg tillbaka och ge dig en inblick i allt som finns att veta om appens underliggande arbetsmekanismer.
hur tar jag bort drm från epub
Vad är en ChatGPT-token?
Om du går efter appens fasad är allt du ser ett datorspråk som lyder dina kommandon och ger dig de svar du söker. Dock är backend bara massor av kod, att lära sig varje minut och komma igång med frågorna den svarar på.
ChatGPT konverterar varje ord till en läsbar token när du ställer en fråga. För att bryta ner det ytterligare är tokens textfragment, och varje programmeringsspråk använder en annan uppsättning tokenvärden för att förstå kraven.
Eftersom datorer inte förstår textvärden direkt bryter de ner dem i en kombination av tal, ofta kallade inbäddningar. Du kan till och med överväga inbäddningar som Python-listor , som liknar en lista med relaterade nummer, såsom [1.1,2.1,3.1,4.1…n].
När ChatGPT tar den första inmatningen försöker den förutsäga nästa möjliga inmatning baserat på den tidigare informationen. Den plockar ut hela listan över tidigare tokens och försöker, med hjälp av sin kodningssyntes, förhindra efterföljande inmatning från användaren. Den använder och förutsäger en token i taget för att göra det enklare för språket att förstå användningen.
För att förbättra förutsägelser och förbättra noggrannheten, plockar den upp hela listan med inbäddningar och skickar den genom transformatorlager för att etablera associationer mellan ord. Till exempel, när du ställer en fråga som 'Vem är Thomas Edison?', plockar ChatGPT upp de mest värdefulla orden i listan: WHO och Edison .
Transformatorlager har sin roll att spela i hela processen. Dessa lager är en form av neural nätverksarkitektur tränad för att plocka upp de mest relevanta sökorden från en rad ord. Träningsprocessen är dock inte så enkel som den låter, för det tar lång tid att träna transformatorlager på gigabyte data.
Även om ChatGPT bara förutser en token åt gången, är dess autoregressiva teknologi programmerad att förutsäga och återkoppla till den primära modellen för att släppa ut utgången. Modellen är inställd för att köras endast en gång för varje token, så resultatet skrivs ut ett ord i taget. Utmatningen stoppas automatiskt när applikationen stöter på ett stopptoken-kommando.
Om du till exempel tittar på token-kalkylatorn på ChatGPT-webbplatsen kan du beräkna din tokenanvändning baserat på dina frågor.
Låt oss skriva in lite exempeltext, till exempel:
How do I explain the use of tokens in ChatGPT?
Enligt kalkylatorn finns det 46 tecken i denna sträng, som kommer att förbruka 13 tokens. Om du delar upp det i Token-ID:n ser det ut ungefär så här:
[2437, 466, 314, 4727, 262, 779, 286, 16326, 287, 24101, 38, 11571, 30]
Enligt OpenAI token-kalkylator :