„Ko man reikia golfui šaltu oru?

„Kuo skiriasi bėgimo ir bėgimo bateliai?

„Kokie yra geriausi dinozaurų žaislai penkerių metų vaikui?

Tai yra keletas atvirų klausimų, kuriuos klientai gali užduoti naudingam pardavėjui tradicinėje parduotuvėje. Tačiau kaip pirkėjai gali gauti atsakymus į panašius klausimus pirkdami internetu?

„Amazon“ atsakymas yra Rufus, apsipirkimo asistentas, maitinamas generatyvaus AI. „Rufus“ padeda „Amazon“ klientams priimti labiau pagrįstus apsipirkimo sprendimus, atsakydamas į įvairius klausimus „Amazon“ programoje. Vartotojai gali gauti išsamią informaciją apie produktą, palyginti parinktis ir gauti produktų rekomendacijas.

Vadovauju mokslininkų ir inžinierių komandai, sukūrusiai didelį kalbos modelį (LLM), įgalinantį Rufusą. Siekdami sukurti naudingą pokalbio apsipirkimo padėjėją, naudojome novatoriškus metodus įvairiuose generatyvaus AI aspektuose. Sukūrėme individualų LLM, skirtą apsipirkti; panaudota paieška papildyta karta su įvairiais naujais įrodymų šaltiniais; sverto sustiprinimo mokymasis, siekiant pagerinti atsakymus; padarė pažangą didelio našumo skaičiavimo srityje, kad pagerintų išvadų efektyvumą ir sumažintų delsą; ir įdiegė naują srautinio perdavimo architektūrą, kad pirkėjai greičiau gautų atsakymus.

Kaip Rufusas gauna atsakymus

Dauguma LLM pirmiausia apmokomi plačiu duomenų rinkiniu, kuris informuoja apie bendras modelio žinias ir galimybes, o vėliau yra pritaikyti konkrečiai domenui. „Rufus“ tai neveiktų, nes mūsų tikslas buvo nuo pat pradžių mokyti jį apie apsipirkimo duomenis – pradedantiesiems visą „Amazon“ katalogą, taip pat klientų atsiliepimus ir informaciją iš bendruomenės klausimų ir atsakymų. Taigi mūsų mokslininkai sukūrė pasirinktinį LLM, kuris buvo apmokytas remiantis šiais duomenų šaltiniais ir vieša informacija žiniatinklyje.

Tačiau, kad būtų pasirengęs atsakyti į daugybę klausimų, kurie gali būti užduoti, Rufus turi būti įgaliotas peržengti pradinius treniruočių duomenis ir pateikti naujos informacijos. Pavyzdžiui, atsakyti į klausimą: „Ar šią keptuvę galima plauti indaplovėje? LLM pirmiausia analizuoja klausimą, tada išsiaiškina, kurie paieškos šaltiniai padės sugeneruoti atsakymą.

Mūsų LLM naudoja paieškos papildytą generaciją (RAG), kad gautų informaciją iš žinomų patikimų šaltinių, pvz., produktų katalogo, klientų atsiliepimų ir bendruomenės klausimų ir atsakymų; ji taip pat gali iškviesti atitinkamas „Amazon Stores“ API. Mūsų RAG sistema yra nepaprastai sudėtinga tiek dėl naudojamų duomenų šaltinių įvairovės, tiek dėl skirtingo kiekvieno iš jų svarbos, priklausomai nuo klausimo.

Kiekvienas LLM ir kiekvienas generatyvaus AI naudojimas yra nebaigtas darbas. Kad Rufus laikui bėgant pagerėtų, jis turi sužinoti, kurie atsakymai yra naudingi, o kuriuos galima patobulinti. Klientai yra geriausias šios informacijos šaltinis. „Amazon“ skatina klientus pateikti „Rufus“ atsiliepimus, pranešdami modeliui, ar jiems patiko atsakymas, ar nepatiko, ir tie atsakymai naudojami mokymosi procese. Laikui bėgant Rufus mokosi iš klientų atsiliepimų ir tobulina savo atsakymus.

Specialūs Rufus lustai ir tvarkymo būdai

Rufus turi turėti galimybę vienu metu bendrauti su milijonais klientų be jokio pastebimo delsimo. Tai ypač sudėtinga, nes generacinės AI programos reikalauja daug skaičiavimų, ypač „Amazon“ mastu.

Siekdami sumažinti atsakymų generavimo vėlavimą ir maksimaliai padidinti atsakymų, kuriuos galėtų apdoroti mūsų sistema, skaičių, kreipėmės į specializuotus „Amazon“ AI lustus „Trainium“ ir „Inferentia“, kurie yra integruoti su pagrindinėmis „Amazon Web Services“ (AWS). Bendradarbiavome su AWS optimizuodami modelių išvadų efektyvumą, kurie vėliau buvo prieinami visiems AWS klientams.

Tačiau standartiniai vartotojų užklausų apdorojimo paketais metodai sukels delsos ir pralaidumo problemų, nes sunku nuspėti, kiek žetonų (šiuo atveju teksto vienetų) sugeneruos LLM, sudarydamas kiekvieną atsakymą. Mūsų mokslininkai dirbo su AWS, kad „Rufus“ galėtų naudoti nepertraukiamą paketų siuntimą – naują LLM techniką, kuri leidžia modeliui pradėti teikti naujas užklausas, kai tik baigiasi pirmoji partijos užklausa, o ne laukti, kol bus baigtos visos partijos užklausos. Ši technika pagerina AI lustų skaičiavimo efektyvumą ir leidžia pirkėjams greitai gauti atsakymus.

Norime, kad Rufus pateiktų tinkamiausią ir naudingiausią atsakymą į bet kurį klausimą. Kartais tai reiškia ilgos formos tekstinį atsakymą, bet kartais tai trumpos formos tekstas arba spustelėjama nuoroda, skirta naršyti parduotuvėje. Ir mes turėjome užtikrinti, kad pateikta informacija būtų logiška. Jei netinkamai sugrupuosime ir nesuformatuosime dalykų, galime gauti painų atsakymą, kuris klientui nebus labai naudingas.

Štai kodėl Rufus naudoja pažangią srautinio perdavimo architektūrą atsakymams pateikti. Klientams nereikia ilgai laukti, kol bus visiškai sugeneruotas atsakymas – jie gauna pirmąją atsakymo dalį, kol generuojama likusi dalis. Rufus užpildo srautinio perdavimo atsakymą tinkamais duomenimis (procesas vadinamas hidratacija), pateikdamas užklausas vidinėms sistemoms. Be atsakymo turinio generavimo, jis taip pat generuoja formatavimo instrukcijas, kurios nurodo, kaip turi būti rodomi įvairūs atsakymo elementai.

Nors „Amazon“ jau daugiau nei 25 metus naudoja dirbtinį intelektą, kad pagerintų klientų patirtį, generatyvus AI yra kažkas naujo ir transformuojančio. Didžiuojamės Rufus ir naujomis galimybėmis, kurias jis suteikia mūsų klientams.

Iš jūsų svetainės straipsnių

Susiję straipsniai visame internete



Source link

By admin