AI EvoliucijaKaip modelis iš tikrųjų sudaro atsakymą
Modelis neieško atsakymo lentelėje ir neturi savyje interneto kopijos. Mokymosi metu jis peržiūrėjo milžinišką teksto kiekį ir išmoko, kokie žodžiai kokiame kontekste eina vienas po kito. Rašydamas atsakymą jis kaskart pasirenka labiausiai tikėtiną tęsinį, prideda jį prie jau parašyto teksto ir kartoja iš naujo.
Iš to seka du praktiškai svarbūs dalykai. Pirma, tas pats klausimas gali duoti šiek tiek skirtingus atsakymus, nes renkamasi iš tikimybių. Antra, modelis niekada „nežino“, ko nežino: jei fakto neturi, jis vis tiek sudėlioja sklandžiai skambantį sakinį. Tai vadinama halucinacija, ir tai ne gedimas, o tiesioginė veikimo principo pasekmė.
Todėl taisyklė paprasta: viską, kas yra skaičius, data, pavardė ar teisės norma, tikrina žmogus. Tekstą modelis paruošia greitai, o atsakomybė lieka jums.
Konteksto langas
Modelis vienu metu gali matyti tik ribotą teksto kiekį: jūsų klausimą, pridėtus dokumentus ir ankstesnį pokalbį. Ši riba vadinama konteksto langu. Kai jis prisipildo, seniausia pokalbio dalis iškrenta, ir modelis ima pamiršti, kas buvo sutarta pradžioje.
Būtent čia dažniausiai lūžta bandymai dirbti su įmonės dokumentais vien pokalbio lange. Kiekvieną kartą įklijuoti tuos pačius duomenis ranka nėra automatizacija, o kai duomenų daug, jie tiesiog nebetelpa.
Pavyzdys iš mūsų darbo
Audito įmonėje „Moore Mackonis“ būtent ši riba ir buvo tikrasis uždavinys. Komanda ChatGPT naudojo kasdien, bet dirbti reikėjo su banko išrašais, didžiąja knyga ir sutarčių registrais. Sprendimas buvo ne kitas modelis, o asistentas, turintis prieigą prie žmogaus aplanko ir žinantis įmonės kontekstą, todėl duomenų nebereikia klijuoti į pokalbį kaskart iš naujo. Visas atvejis.
Kelios sąvokos, kurios eina kartu
- Tokenas. Teksto dalis, kuria modelis matuoja įvestį ir atsakymą. Vienas tokenas maždaug atitinka žodžio dalį, todėl lietuviškas tekstas jų sunaudoja daugiau nei angliškas;
- Mokymo duomenys. Tekstas, iš kurio modelis mokėsi. Jis turi pabaigos datą, todėl apie visai naujus įvykius modelis nežino, jei jam jų nepateikiate patys;
- Halucinacija. Įtikinamai suformuluotas, bet neteisingas teiginys;
- Modelio versija. Tas pats įrankis gali veikti su skirtingais modeliais, o jie skiriasi tikslumu, greičiu ir kaina.
Ką tai reiškia renkantis įrankį įmonei
Modeliai keičiasi greitai, ir gaudyti kiekvieną naujieną nėra prasmės. Praktiškai svarbiau kitkas: ar įrankis pasiekia jūsų failus, ar jis padoriai rašo lietuviškai, kur keliauja duomenys ir ar komanda moka juo naudotis. Modelio pavadinimas yra lengviausiai pakeičiama sprendimo dalis.
Populiariausius įrankius ir jų skirtumus aprašėme ChatGPT įraše.