რა არის ტოკენი ხელოვნურ ინტელექტში? [ვიდეო და ვიქტორინა]

მოკლე პასუხი: ტოკენი არის ტექსტის ან მონაცემების მცირე ნაწილი, რომელსაც ხელოვნური ინტელექტის მოდელი გარდაქმნის რიცხვებად და პროცესებად. ტოკენები გავლენას ახდენენ ღირებულებაზე, სიჩქარეზე, მეხსიერებასა და გამომავალი მონაცემების სიგრძეზე. როდესაც მოთხოვნა სცილდება კონტექსტურ ფანჯარას, მნიშვნელოვანი შინაარსი შეიძლება შემოკლდეს, შეჯამდეს ან გამოირიცხოს.

ძირითადი დასკვნები:

ტოკენიზაცია: სიტყვები, პუნქტუაცია, სივრცეები და კოდი შეიძლება სხვადასხვაგვარად დაიყოს.

კონტექსტი: შეინახეთ არსებითი ინფორმაცია მოდელის ხელმისაწვდომი ტოკენების ფანჯარაში.

ღირებულება: შეამცირეთ განმეორებითი ინსტრუქციები და არასაჭირო ტექსტი დიდი მოცულობის ხელოვნური ინტელექტის სამუშაო პროცესებში.

სიცხადე: ადრევე ჩამოაყალიბეთ მთავარი ამოცანა და მოთხოვნები მკაფიო წარწერებით დაალაგეთ.

ეფექტურობა: დასკვნების გაერთიანებამდე დიდი ზომის დოკუმენტები ლოგიკურ სექციებად დაყავით.

სტატიები, რომელთა წაკითხვაც შეიძლება მოგეწონოთ ამის შემდეგ:

🔗 რა ტიპის ხელოვნური ინტელექტი არსებობს?
გაიგეთ ხელოვნური ინტელექტის კატეგორიები შესაძლებლობების, ფუნქციონალურობის, ვარჯიშის სტილისა და პრაქტიკული გამოყენების მიხედვით.

🔗 რა არის ხელოვნური ინტელექტის სათვალე?
გაეცანით ჭკვიანი სათვალის ფუნქციებს, ხელების გარეშე გამოყენებას, კონფიდენციალურობას და პრაქტიკულ შეზღუდვებს.

🔗 რა არის ხელოვნური ინტელექტის ტელევიზია?
გაიგეთ, როგორ აუმჯობესებს ხელოვნური ინტელექტი სურათს, ხმას, ძიებას, რეკომენდაციებსა და ხელმისაწვდომობას.

🔗 რა არის ხელოვნური ინტელექტის ნაკლოვანებები?
ამოიცანით დაბალი ხარისხის ხელოვნური ინტელექტის კონტენტი და გააუმჯობესეთ მისი სიზუსტე, ორიგინალურობა და მიზანდასახულობა.

---

1. რა არის ტოკენი ხელოვნურ ინტელექტში? მარტივი პასუხი

ხელოვნურ ინტელექტში ტოკენი არის ტექსტის ერთეული, რომელსაც მოდელი იყენებს ენის გასაგებად და გენერირებისთვის .

მაგალითად, წინადადება:

მე მიყვარს პიცა.

შეიძლება დაიყოს ტოკენებად, როგორიცაა:

• მე

• სიყვარული

• პიცა

• .

საკმარისად მარტივი.

თუმცა ეს ყოველთვის ასე მოწესრიგებული არ არის. უფრო გრძელი ან უჩვეულო სიტყვა შეიძლება დაიყოს უფრო პატარა ნაწილებად. მაგალითად:

წარმოუდგენელი

შეიძლება გახდეს რაღაც მსგავსი:

• ერთი

• რწმენა

• შეუძლია

სხვადასხვა ხელოვნური ინტელექტის სისტემა სხვადასხვა ტოკენიზატორს იყენებს , ამიტომ ზუსტი დაყოფა შეიძლება განსხვავდებოდეს. სწორედ ამიტომ, ტოკენები შეიძლება გარკვეულწილად არაზუსტი ჩანდეს. ისინი არ არიან ზუსტად სიტყვები, ზუსტად ასოები და ყოველთვის არც მარცვლები.

ამაზე ფიქრის უკეთესი გზაა შემდეგი:

ტოკენები ენის მცირე ზომის ნაწილებია, რომლებსაც ხელოვნური ინტელექტის მოდელის გადამუშავება შეუძლია. 🍽️

როდესაც ჩატბოტს კითხვას უსვამთ, სისტემა თქვენს წინადადებას ერთ გლუვ ადამიანურ აზრად არ აღიქვამს. ის შეყვანილ მონაცემებს ტოკენებად ყოფს, შემდეგ რიცხვებად გარდაქმნის, ამუშავებს მათ ურთიერთკავშირებს და შემდეგ, ისევ და ისევ, პროგნოზირებს ყველაზე სავარაუდო შემდეგ ტოკენს, სანამ პასუხს არ მიიღებს.

ასე რომ, როდესაც ადამიანები კითხულობენ, თუ რა არის ტოკენი ხელოვნურ ინტელექტში?,პასუხი არ არის მხოლოდ „ტექსტის ნაწილი“. ეს არის ძირითადი სამუშაო ერთეული, რომელიც ენის ხელოვნურ ინტელექტს შესაძლებელს ხდის.

---

2. რატომ არის ტოკენები უფრო მნიშვნელოვანი, ვიდრე ხალხი მოელის

ტოკენებს მნიშვნელობა აქვს, რადგან ისინი გავლენას ახდენენ თითქმის ყველაფერზე, თუ როგორ მუშაობს ხელოვნური ინტელექტის ინსტრუმენტები.

ისინი გავლენას ახდენენ:

• რამდენი ტექსტის დამუშავება შეუძლია ხელოვნურ ინტელექტს ერთდროულად

• რა ღირს მოთხოვნა ბევრ ხელოვნური ინტელექტის სისტემაში

• რამდენად სწრაფად რეაგირებს მოდელი

• რამდენი დეტალის დამახსოვრება შეუძლია მოდელს

• რამდენად ზუსტად ესმის მოდელი თქვენს მოთხოვნას

• რამდენ ხანს შეიძლება გაგრძელდეს პასუხი?

სწორედ აქ ხდება ის გასაოცრად პრაქტიკული.

როდესაც ხელოვნური ინტელექტის ინსტრუმენტი ამბობს, რომ მას აქვს „კონტექსტური ფანჯარა“, ეს, როგორც წესი, ნიშნავს ტოკენების მაქსიმალურ რაოდენობას, რომელთა ერთდროულად განხილვაც მას შეუძლია. თქვენი მოთხოვნა, საუბრის ისტორია, ატვირთული ტექსტი, სისტემის ინსტრუქციები და მოდელის პასუხი - ყველაფერი ეს ტოკენებს ითვისებს.

ასე რომ, თუ ხელოვნური ინტელექტის ასისტენტში უზარმაზარ დოკუმენტს ჩასვამთ და შემდეგ ითხოვთ „შეაჯამეთ ეს“, მოდელმა ეს ტექსტი თავისი ჟეტონების ლიმიტის ფარგლებში უნდა მოათავსოს. თუ შინაარსი ძალიან გრძელია, ნაწილები შეიძლება ამოიჭრას, შეკუმშოს ან იგნორირებული იყოს ინსტრუმენტის დიზაინის მიხედვით.

ჟეტონები მხოლოდ ტექნიკური წვრილმანები არ არის. ისინი ხელოვნური ინტელექტის სამუშაო მაგიდის სივრცეა. მაგიდაზე ძალიან ბევრი ქაღალდის არსებობის შემთხვევაში, ნივთები კიდიდან სრიალებს 📄.

---

3. ტოკენები არ არის იგივე, რაც სიტყვები

ეს ალბათ ყველაზე დიდი გაუგებრობაა.

ჟეტონი ყოველთვის ერთი სიტყვა არ.

ზოგჯერ ერთი სიტყვა ერთ ჟეტონს უდრის. ზოგჯერ ერთი სიტყვა რამდენიმე ჟეტონად იქცევა. ზოგჯერ პუნქტუაცია ან ინტერვალი დამოუკიდებელ ჟეტონად ითვლება. შემაწუხებელია? ცოტა. მნიშვნელოვანია? ძალიან.

აქ არის უხეში მაგალითი:

ტექსტის მაგალითი	შესაძლო ტოკენის გაყოფა	რას ნიშნავს ეს
კატა	კატა	ერთი მარტივი სიტყვა, ალბათ ერთი ნიშანი
კატები	კატები ან კატა + s	დამოკიდებულია ტოკენაიზერზე
ინტერნაციონალიზაცია	საერთაშორისო + იზაცია ან უფრო მცირე ნაწილები	გრძელი სიტყვები ხშირად იყოფა
ხელოვნური ინტელექტით მომუშავე	ხელოვნური ინტელექტით + - + მძლავრი	პუნქტუაცია შეიძლება ჩაითვალოს
ჰეი!!!	ჰეი + ! + ! + !	კი, პუნქტუაციასაც შეუძლია ტოკენების ჭამა
სუპერკალიფრაგლისტური	რამდენიმე ნაჭერი, ალბათ	მოდელი შინაგანად ამოიოხრებს, ალბათ 😅

არ არსებობს უნივერსალური წესი, რომელიც იდეალურად იმუშავებს ყველა მოდელისთვის.

გავრცელებული უხეში შეფასებით, ერთი ტოკენი ხშირად რამდენიმე სიმბოლოს ან სიტყვის ნაწილს წარმოადგენს. თუმცა, ეს მხოლოდ ზოგადი წესია და არა სახარება. ინგლისური ტექსტი, როგორც წესი, უფრო ეფექტურად ტოკენირდება, ვიდრე სხვა ენები და კოდი შეიძლება სხვაგვარადაც იქცეოდეს.

სწორედ ამიტომ, მოკლე წინადადებაში შეიძლება მოსალოდნელზე მეტი ჟეტონი იყოს გამოყენებული. ხოლო გავრცელებული სიტყვებით სავსე გრძელი აბზაცი შესაძლოა უფრო შეუფერხებლად ჩამოყალიბდეს, ვიდრე ტექნიკური ტერმინებით, სიმბოლოებით ან უჩვეულო ფორმატირებით სავსე აბზაცი.

---

4. როგორ იყენებს ხელოვნური ინტელექტი ტოკენებს ტექსტის გენერირებისთვის

აი, ოდნავ ჯადოსნური ნაწილიც - თუმცა ეს მათემატიკაა ჯადოქრის ქუდით 🧙.

როდესაც თქვენ აკრიფავთ მოთხოვნას, ხელოვნური ინტელექტის სისტემა აკეთებს შემდეგს:

1. ტექსტს ტოკენებად ყოფს

2. გარდაქმნის თითოეულ ტოკენს რიცხვად ან რიცხვით წარმოდგენად

3. აანალიზებს ტოკენების ნიმუშებსა და ურთიერთობებს

4. პროგნოზირებს შემდეგ სავარაუდო ტოკენს

5. იმეორებს ამ პროგნოზირების პროცესს

6. გენერირებულ ტოკენებს ხელახლა წაკითხვად ტექსტად აქცევს

ასე რომ, თუ აკრიფებთ:

ცა არის

მოდელმა შეიძლება იწინასწარმეტყველოს:

ლურჯი

მაგრამ მას ასევე შეუძლია იწინასწარმეტყველოს:

მოღრუბლული
ცვენა,
არა ზღვარი
, სავსე ვარსკვლავებით

არჩეული შედეგი დამოკიდებულია მოდელზე, მოთხოვნაზე, კონტექსტზე და შემთხვევითობის ან კრეატიულობის მარეგულირებელ პარამეტრებზე.

სწორედ ამიტომ, ხელოვნური ინტელექტის გამოყენებით წერა ზოგჯერ თავისუფლად ჟღერს, ზოგჯერ კი რთულად იჭრება. ეს არის ტოკენების წინასწარმეტყველება შესწავლილი ნიმუშების საფუძველზე და არა დასრულებული წინადადებების საარქივო კარადიდან ამოღებით.

ეს არ ნიშნავს, რომ მოდელი „უბრალოდ ავტომატური დასრულებაა“ მოსაწყენი გაგებით. დიდი ხელოვნური ინტელექტის მოდელები სწავლობენ უკიდურესად რთულ ურთიერთობებს კონცეფციებს, ენას, სტრუქტურას, ტონს, ლოგიკასა და კონტექსტს შორის. თუმცა, გამომავალი მონაცემების დონეზე, მანქანა მაინც აწარმოებს ტექსტს თითო ტოკენზე.

პაწაწინა საფეხურები. დიდი ილუზია. ძალიან ლამაზი კიბე.

---

5. შედარების ცხრილი: ტოკენების ტიპები ხელოვნურ ინტელექტში

ტოკენები შეიძლება სხვადასხვა ფორმით გამოჩნდეს მოდელის, ტოკენიზატორის და კონტენტის ტიპის მიხედვით. აქ მოცემულია პრაქტიკული შედარება.

ტოკენის ტიპი	მაგალითი	სად ჩნდება	რატომ არის ეს მნიშვნელოვანი
სიტყვის ნიშანი	ვაშლი	მარტივი ტექსტური შეთავაზებები	ადვილად გასაგები, მოწესრიგებული და სუფთა
ქვესიტყვის ჟეტონი	თამაში + ინგი	გრძელი ან შეცვლილი სიტყვები	ეხმარება ხელოვნურ ინტელექტს უცნობი სიტყვების დამუშავებაში
სიმბოლოს ჟეტონი	ა, ბ, გ	ზოგიერთი ტოკენიზაციის სისტემა	მოქნილი, მაგრამ შეიძლება არაეფექტური იყოს
პუნქტუაციის ნიშანი	., ?, !	ყველანაირი ნაწერი, გამაღიზიანებლად	გავლენას ახდენს ტონსა და ტოკენების რაოდენობაზე
ცარიელი სივრცის ტოკენი	სივრცეები, ხაზის წყვეტები	ფორმატირებული ტექსტი და კოდი	სამწუხაროდ, ფორმატირება უფასო არ არის
კოდის ჟეტონი	ფუნქცია, {, ==	პროგრამირების მოთხოვნები	კოდს შეუძლია ტოკენების სწრაფად დაწვა
სპეციალური ჟეტონი	დაწყების/დასრულების მარკერები	კულისებს მიღმა	ხელს უწყობს მოდელის სტრუქტურის შეყვანას
უცნობი ან იშვიათი ნაწილი	უჩვეულო ფრაგმენტები	სახელები, ჟარგონი, შეცდომები	შეიძლება ოდნავ იმოქმედოს სიზუსტეზე

ყველა ხელოვნური ინტელექტის მოდელი ერთნაირად არ იყენებს ამ ყველაფერს. ზოგიერთი სისტემა დიდად არის დამოკიდებული ქვესიტყვების ტოკენიზაციაზე , რადგან ის აბალანსებს ეფექტურობასა და მოქნილობას. ის საშუალებას აძლევს მოდელს, დაამუშაოს სიტყვები, რომლებიც აქამდე არასდროს უნახავს ზუსტად, მათ ისეთ ნაწილებად დაყოფით, რომლებსაც ამოიცნობს.

მაგალითად, თუ მოდელი ესმის მიკრო, ბიოდა ლოგიკური ტერმინები, მას უკეთესი შანსი აქვს რთულ სამეცნიერო სიტყვებთან იმუშაოს, მაშინაც კი, როდესაც ისინი უჩვეულოა.

იდეალური არა. მაგრამ საკმაოდ ჭკვიანური. 🧩

---

6. რა არის ტოკენი ხელოვნურ ინტელექტში? რატომ მოქმედებს ის ფასზე

ბევრი ხელოვნური ინტელექტის ინსტრუმენტი გამოყენებას ტოკენებში ზომავს.

ეს ნიშნავს, რომ როგორც თქვენი შეყვანილი, ასევე ხელოვნური ინტელექტის მიერ გამომავალი მონაცემები შეიძლება გამოყენებულ იქნას. თუ გრძელ მოთხოვნას გაგზავნით, ეს მეტ ტოკენს გამოიყენებს. თუ მოდელი გრძელ პასუხს დაწერს, ესეც მეტ ტოკენს გამოიყენებს.

მოკლე კითხვა, როგორიცაა:

ახსენით გრავიტაცია.

შედარებით ცოტა შეყვანის ტოკენს იყენებს.

მაგრამ ეს შეთავაზებით:

ახსენით გრავიტაცია დეტალურად, დამწყებთათვის მოსახერხებელი ფორმით, მოიყვანეთ მაგალითები, შეადარეთ ის მაგნეტიზმს, დაამატეთ ცხრილი, გადაწერეთ ბავშვისთვის და შემდეგ გადააქციეთ სიტყვით გამოსვლად.

იყენებს მეტ შეყვანის ტოკენს და ასევე ითხოვს უფრო ხანგრძლივ გამომავალს.

ასე რომ, ტოკენის ღირებულება ხშირად ორივე მხრიდან მოდის:

• შეყვანის ტოკენები - რას უგზავნით მოდელს

• გამომავალი ტოკენები - რას გენერირებს მოდელი

• კონტექსტური ტოკენები - წინა საუბარი ან დოკუმენტები შედის

• სისტემის ტოკენები - ფარული ინსტრუქციები, რომლებიც ქცევას წარმართავენ

სწორედ ამიტომ, ძალიან გრძელი ჩეთები შეიძლება უფრო ნელი ან შეზღუდული ჩანდეს. ხელოვნური ინტელექტი შესაძლოა საუბრის ადრეულ ნაწილებს თავის კონტექსტში თან ატარებდეს. როგორც კუბიკებით სავსე ზურგჩანთა. ძვირფასი კუბიკები, მაგრამ მაინც კუბიკები.

API-ების მეშვეობით ხელოვნური ინტელექტის გამოყენებით მომუშავე ბიზნესებისთვის, ტოკენების ეფექტურობა შეიძლება ბიუჯეტის პრობლემად იქცეს. ჩახლართული მოთხოვნა, რომელიც ათასჯერ მეორდება, შეიძლება გასაკვირი რაოდენობით ფულის ფლანგვა გამოიწვიოს. სუფთა მოთხოვნა არა მხოლოდ უფრო ლამაზია - ის შეიძლება უფრო იაფიც იყოს.

---

7. ტოკენების ლიმიტები და ხელოვნური ინტელექტის კონტექსტის ფანჯარა

კონტექსტური ფანჯარა ტოკენებთან დაკავშირებული ერთ-ერთი ყველაზე მნიშვნელოვანი იდეაა.

ეს ეხება იმას, თუ რამდენი ტოკენის დამუშავება შეუძლია ხელოვნური ინტელექტის მოდელს ერთდროულად. ეს მოიცავს თქვენს მოთხოვნას, წინა შეტყობინებებს, ჩასმულ დოკუმენტებს, ინსტრუქციებს და გენერირებულ პასუხს.

წარმოიდგინეთ, რომ ხელოვნურ ინტელექტს თეთრი დაფა აქვს. ყველაფერი, რაც მას გასათვალისწინებელია, ამ თეთრ დაფაზე უნდა მოთავსდეს. როგორც კი დაფა შეივსება, რაღაც უნდა შეიცვალოს.

ამან შეიძლება რამდენიმე სიტუაცია გამოიწვიოს:

• მოდელმა შეიძლება დაივიწყოს ხანგრძლივი საუბრის წინა ნაწილები

• დოკუმენტის ანალიზის დაწყებამდე შეიძლება საჭირო გახდეს შეჯამება

• გრძელმა მინიშნებებმა შესაძლოა ნაკლები ადგილი დატოვოს გრძელ პასუხებზე

• განმეორებადმა კონტექსტმა შეიძლება მნიშვნელოვანი დეტალები გამორიცხოს

• მოდელი შეიძლება უფრო მეტად ფოკუსირებული იყოს უახლეს ინფორმაციაზე

სწორედ ამიტომ მნიშვნელოვანია სწრაფი დიზაინი.

შეთავაზების მსგავსი რამ:

წაიკითხეთ ეს ყველაფერი და მითხარით, რა არის მნიშვნელოვანი.

შეიძლება იმუშაოს, მაგრამ შეიძლება იდეალური არ იყოს.

უკეთესი წინადადება შეიძლება ასე ჟღერდეს:

შეაჯამეთ მთავარი არგუმენტი, ჩამოთვალეთ რისკები, დაასახელეთ წინააღმდეგობები და მიუთითეთ ხუთი ყველაზე მნიშვნელოვანი ქმედება.

ეს მოდელს უფრო მკაფიო დავალებას აძლევს და ეხმარება მას ტოკენების დახარჯვაში ღირებულ სამუშაოზე, თქვენი განზრახვის გამოცნობის ნაცვლად.

ტოკენები მხოლოდ ტექნიკური შეზღუდვა არ არის. ისინი ქმნიან ხელოვნურ ინტელექტთან კომუნიკაციის წესს.

---

8. რატომ ეხმარება ტოკენიზაცია ხელოვნურ ინტელექტს არაკონტროლირებადი ენის მართვაში

ადამიანური ენა უმართავია. აგრესიულად უმართავი.

ადამიანები იყენებენ ჟარგონს, ბეჭდვით შეცდომებს, ემოჯიებს, აბრევიატურებს, კოდების გადართვას, ბრენდის სახელწოდებებს, ჰეშთეგებს, გამოგონილ სიტყვებს და წინადადებების ფრაგმენტებს, რომლებიც ისე გამოიყურება, თითქოს კიბეებიდან გადმოვარდნენ.

ტოკენიზაცია ხელოვნურ ინტელექტს ამ ჩახლართულობის მოგვარებაში ეხმარება.

ყველა შესაძლო სიტყვის დამახსოვრების ნაცვლად, მოდელს შეუძლია უცნობი ტექსტი უფრო პატარა, ნაცნობ ნაწილებად დაყოს. ეს ხელს უწყობს:

• ორთოგრაფიული შეცდომები

• ახალი პირობები

• რთული სიტყვები

• ტექნიკური ლექსიკა

• სახელები

• ინტერნეტ ჟარგონი

• ემოჯიები და სიმბოლოები

• პროგრამირების სინტაქსი

მაგალითად, სიტყვა, როგორიცაა:

ულტრაპერსონალიზაცია

შესაძლოა, ერთი ნაცნობი სიტყვის სახით არ იქნას აღქმული. თუმცა, ხელოვნურმა ინტელექტმა შეიძლება ამოიცნოს ისეთი ნაწილები, როგორიცაა:

• ულტრა

• პირადი

• იზაცია

ეს მას ბრძოლის შანსს აძლევს.

სწორედ ამიტომ არის ტოკენიზაცია ღირებული სხვადასხვა ენაზე. ზოგიერთ ენას სიტყვებს შორის თავისუფალი სივრცეები აქვს. სხვები სივრცეებს ​​ერთნაირად არ იყენებენ. ზოგიერთს მდიდარი სიტყვაფორმები აქვს. ზოგი იდეებს გრძელ, შედგენილ სიტყვებად აერთიანებს. ტოკენების სისტემები ხელს უწყობს ამ ყველაფრის დამუშავებად ერთეულებად სტანდარტიზაციას.

ეს ზუსტად ელეგანტური არ არის. უფრო ბოსტნეულის კალკულატორით დაჭრას ჰგავს. მაგრამ მუშაობს 🥕.

---

9. ტოკენები ტექსტში, სურათებში, აუდიოსა და მულტიმოდალურ ხელოვნურ ინტელექტში

ხელოვნურ ინტელექტში ფრაზა „ტოკენი “ ჩვეულებრივ ტექსტურ მოდელებში გვხვდება, თუმცა უფრო ფართო იდეა ტექსტის მიღმაც შეიძლება გავრცელდეს.

მულტიმოდალურ ხელოვნურ ინტელექტში, სისტემებს შეუძლიათ სურათების, აუდიოს, ვიდეოს ან სტრუქტურირებული მონაცემების დამუშავება ტოკენის მსგავსი ერთეულების გამოყენებით. დეტალები განსხვავებულია, მაგრამ ძირითადი იდეა მსგავსია: რთული ინფორმაციის დაყოფა უფრო პატარა ნაწილებად, რომელთა დამუშავებაც მოდელს შეუძლია.

მაგალითად:

• ტექსტის დაყოფა შესაძლებელია სიტყვებად ან ქვესიტყვებად

• სურათები შეიძლება დაიყოს პატჩებად ან ვიზუალურ წარმოდგენებად

• აუდიო შეიძლება დაიყოს დროზე დაფუძნებულ სეგმენტებად ან დაშიფრულ ერთეულებად

• კოდი შეიძლება დაიყოს სინტაქსთან დაკავშირებულ ტოკენებად

• ცხრილები შეიძლება გარდაიქმნას სტრუქტურირებულ ტოკენების თანმიმდევრობად

ეს მნიშვნელოვანია, რადგან თანამედროვე ხელოვნური ინტელექტი სულ უფრო მეტად არ არის მხოლოდ „ჩატი“. მას შეუძლია ეკრანის ანაბეჭდების ინტერპრეტაცია, სურათების აღწერა, დიაგრამების ანალიზი, აუდიოს ტრანსკრიფცია, კოდის გამოყენებით მსჯელობა და სხვადასხვა ფორმატში რეაგირება.

მაგრამ იგივე ძირითადი პრინციპი მუდმივად ვლინდება:

შეყვანილი მონაცემები დაყავით მართვად ნაწილებად, გადააქციეთ ეს ნაწილები რიცხვებად და მიეცით მოდელს საშუალება, ისწავლოს მათ შორის კავშირები.

ეს, ზოგადად, ტოკენიზაციაა.

ეს არის ტრანსლაციის ფენა ადამიანის ტექსტურასა და მანქანით წაკითხვად სტრუქტურას შორის.

---

10. როგორ მოქმედებს ტოკენები სწრაფი ინჟინერიაზე

სწრაფი ინჟინერია უფრო მომხიბვლელად ჟღერს, ვიდრე სინამდვილეშია. ზოგჯერ ეს უბრალოდ ნიშნავს „დასვით კითხვა გარკვევით და შეწყვიტეთ თქვენი მოთხოვნის უაზრო შიგთავსით შევსება“. მკაცრი, მაგრამ ზუსტი.

ტოკენები მნიშვნელოვან როლს ასრულებენ უკეთეს შთაგონებაში.

აქ მოცემულია ტოკენების ცნობიერების გამოყენების რამდენიმე პრაქტიკული გზა:

იყავით კონკრეტული თავიდანვე

მთავარი ამოცანა დასაწყისთან ახლოს დადეთ:

დაწერეთ ბიუჯეტური მაგიდის ნათურის პროდუქტის მოკლე აღწერა.

არა:

ვფიქრობდი, რომ შესაძლოა პროდუქტის გვერდისთვის რამე გამეკეთებინა, რომელიც ნათურას ეხებოდა და სიტყვები მჭირდება...

მეორე ვერსია ტოკენებს ფლანგავს და ქულას აჭიანურებს.

ამოიღეთ არასაჭირო შემავსებელი

ხელოვნურ ინტელექტს შეუძლია ჩვეულებრივი ენის გაგება, მაგრამ დამატებითი ჩასმა კონტექსტს მოიხმარს. რობოტივით წერა არ არის აუცილებელი, თუმცა ამოჭრა დაგეხმარებათ.

სტრუქტურის გამოყენება

სათაურები, პუნქტები, დანომრილი ნაბიჯები და ეტიკეტები მოდელს დაეხმარება იმის გაგებაში, თუ რა სად მიდის.

მაგალითი:

• მიზანი:

• აუდიტორია:

• ტონი:

• ფორმატი:

• შეზღუდვები:

ეს, როგორც წესი, ტექსტის ერთ წერტილზე უკეთესად მუშაობს.

უთხარი ხელოვნურ ინტელექტს, რა უგულებელყოს

ეს ჩუმად, ძლიერია.

შეგიძლიათ თქვათ:

უგულებელყავით განმეორებითი სტანდარტული ფორმულირებები და ყურადღება მხოლოდ ფასებში განსხვავებებზე გაამახვილეთ.

ეს ხელს უშლის მოდელს, ყურადღება დაბალი ღირებულების მქონე კონტენტზე გაამახვილოს.

ორგანიზებულად შეინახეთ ხანგრძლივი ჩეთები

ხანგრძლივი საუბრების დროს, დროდადრო შეაჯამეთ ძირითადი გადაწყვეტილებები. ეს ხელს უწყობს კონტექსტის შენარჩუნებას და ამცირებს დაბნეულობას.

არსებითად, ტოკენებზე დაფუძნებული მინიშნება ჩემოდნის ჩალაგებას ჰგავს. შეგიძლიათ თან წაიღოთ აუცილებელი ნივთები, ან შეგიძლიათ თან წაიღოთ სამი ტაფა და იფიქროთ, რატომ არ გიხდებათ წინდები.

---

11. ხელოვნური ინტელექტის ტოკენების შესახებ გავრცელებული მცდარი წარმოდგენები

მოდით, რამდენიმე საკითხი დავაზუსტოთ, რადგან ჟეტონებზე საუბარი სწრაფად იბნევა.

მცდარი წარმოდგენა 1: ერთი ჟეტონი ერთ სიტყვას უდრის

არა. ზოგჯერ კი, ხშირად არა. ტოკენები შეიძლება იყოს სიტყვები, სიტყვის ნაწილები, პუნქტუაციის ნიშნები ან სხვა ნაწილები.

მცდარი წარმოდგენა 2: მეტი ჟეტონი ყოველთვის უკეთეს პასუხებს ნიშნავს

არა აუცილებლად. უფრო გრძელი მოთხოვნა შეიძლება სასარგებლო იყოს, როდესაც ის ღირებულ კონტექსტს ამატებს. თუმცა, ზედმეტად გადატვირთულმა მოთხოვნამ შეიძლება მოდელი დააბნიოს ან სივრცე დაკარგოს.

მცდარი წარმოდგენა 3: ტოკენების შეზღუდვები მხოლოდ გრძელ დოკუმენტებზე მოქმედებს

ისინი ჩვეულებრივ ჩატებზეც მოქმედებს, განსაკუთრებით თუ საუბარი რამდენიმე ეტაპს მოიცავს. მოდელს შეიძლება დასჭირდეს ადრინდელი შეტყობინებების, ინსტრუქციების და თქვენი ბოლო მოთხოვნის გათვალისწინება.

მცდარი წარმოდგენა 4: ხელოვნური ინტელექტი ტოკენებს ისევე ესმის, როგორც ადამიანები სიტყვებს

არა ადამიანური გაგებით. ადამიანები სიტყვებს უკავშირებენ ცხოვრებისეულ გამოცდილებას, სენსორულ მეხსიერებას, განზრახვასა და ემოციას. ხელოვნური ინტელექტის მოდელები სტატისტიკურ და სემანტიკურ ნიმუშებს ტოკენური თანმიმდევრობით ამუშავებენ. ამან შეიძლება შთამბეჭდავი მსჯელობა გამოიწვიოს, მაგრამ ეს ერთი და იგივე პროცესი არ არის.

მცდარი წარმოდგენა 5: ტოკენიზაცია მოსაწყენი ბექენდური საქმეა

მოსაწყენად ჟღერს. სინამდვილეში ასე არ არის. ტოკენიზაცია განსაზღვრავს ღირებულებას, სიჩქარეს, მეხსიერებას, სიზუსტეს და მომხმარებლის გამოცდილებას. პაწაწინა საკინძი, გიგანტური კარი 🚪.

---

12. ხელოვნური ინტელექტის ტოკენების რეალური მაგალითები

მოდით, ეს ნაკლებად აბსტრაქტული გავხადოთ.

მაგალითი 1: ჩატბოტის საუბარი

თქვენ აკრიფავთ:

შეგიძლიათ თავაზიანი ელფოსტის დაწერა თანხის დაბრუნების მოთხოვნით?

ხელოვნური ინტელექტი ამას ტოკენებად ყოფს, ესმის მოთხოვნის ნიმუში და ცალ-ცალკე გენერირებას უკეთებს პასუხის ტოკენს.

მაგალითი 2: დოკუმენტის ვრცელი შეჯამება

თქვენ აკრავთ პოლიტიკის დოკუმენტს. ხელოვნური ინტელექტი მთლიანად ტოკენიზაციას ახდენს. თუ ის კონტექსტურ ფანჯარაში ჯდება, შესანიშნავია. თუ არა, ინსტრუმენტს შეიძლება დასჭირდეს მისი ნაწილებად დაყოფა, შეჯამება ან შემოკლება.

მაგალითი 3: კოდირების ასისტენტი

თქვენ ჰკითხავთ:

გაასწორეთ ეს JavaScript ფუნქცია.

კოდი ხშირად იყენებს სიმბოლოებს, ჩაღრმავებას, ოპერატორებს და სპეციფიკურ სინტაქსს. ეს ყველაფერი ასევე ტოკენიზდება. სწორედ ამიტომ, კოდით დატვირთულ მოთხოვნებს შეუძლიათ სწრაფად გამოიყენონ დიდი რაოდენობით ტოკენები.

მაგალითი 4: SEO სტატიების წერა

სათაურის, მონახაზის, სათაურების, საკვანძო სიტყვების, ტონის, მაგალითებისა და მეტააღწერის მოთხოვნის შემთხვევაში, მოთხოვნა უფრო მეტ ტოკენს იყენებს, ვიდრე ჩვეულებრივი მოთხოვნა. გამომავალი ასევე ბევრ ტოკენს იყენებს, რადგან სტატია გრძელია.

მაგალითი 5: მომხმარებელთა მხარდაჭერის ავტომატიზაცია

კომპანიამ შეიძლება ხელოვნურ ინტელექტს გაუგზავნოს მომხმარებლის შეტყობინება, ანგარიშის დეტალები, პოლიტიკის ფრაგმენტები და პასუხის წესები. ეს ყველაფერი ტოკენებად იქცევა. რაც უფრო მეტი კონტექსტია ჩართული, მით უფრო ფრთხილად უნდა იყოს სისტემა ლიმიტებისა და ხარჯების მიმართ.

ჟეტონები ყველგან ჩნდება, როგორც კი მათ შემჩნევას დაიწყებ. როგორც მტვერი მზის შუქზე, მაგრამ უფრო ნერდიული.

---

13. რატომ გხდით ტოკენების გაგება ხელოვნური ინტელექტის გამოყენებაში უკეთესს

ტოკენების გაგებით სარგებლის მისაღებად არ არის საჭირო მანქანური სწავლების ინჟინერი გახდეთ.

ელემენტარული გაგება დაგეხმარებათ:

• დაწერეთ უფრო დეტალური შენიშვნები

• მოერიდეთ მოდელის გადატვირთვას

• გაიგეთ, რატომ ირღვევა ხოლმე ხანგრძლივი ჩეთები

• შეაფასეთ, რატომ ღირს ერთი მოთხოვნა მეორეზე მეტი

• შექმენით უკეთესი რეზიუმეები

• უფრო გონივრულად იმუშავეთ დოკუმენტებთან

• მიიღეთ უფრო თანმიმდევრული ხელოვნური ინტელექტის შედეგები

ეს ასევე დაგეხმარებათ, შეწყვიტოთ ხელოვნური ინტელექტის, როგორც ჯადოსნური ყუთის, მოპყრობა.

ეს კარგია. „ჯადოსნური ყუთის“ ტიპის აზროვნება დამახინჯებულ მოლოდინებს იწვევს. ტოკენებზე ორიენტირებული აზროვნება ინსტრუმენტს უფრო მართვადს ხდის.

როდესაც ხვდები, რომ ხელოვნური ინტელექტი ჟეტონების ნიმუშებით მუშაობს, იწყებ უკეთესი კითხვების დასმას. უკეთეს კონტექსტს იძლევი. თავს არიდებ ჩატში რომანის წამოყენებას და „ფიქრების?“-ს თქმას - რაც, სიმართლე გითხრათ, ჩვენს უმეტესობას ოდესმე გვინდოდა.

რაც უფრო უკეთესი იქნება თქვენი შეყვანა, მით უფრო უკეთეს კვალს გაჰყვება მოდელი.

---

14. რა არის ტოკენი ხელოვნურ ინტელექტში? პრაქტიკული დასკვნა

მაშ ასე, რა არის ტოკენი ხელოვნურ ინტელექტში? ეს არის ტექსტის ან მონაცემების მცირე ერთეული, რომელსაც ხელოვნური ინტელექტის მოდელი ამუშავებს.

მაგრამ უფრო პრაქტიკული პასუხი ასეთია:

ჟეტონი ადამიანის ენასა და მანქანურ აზროვნებას შორის კომუნიკაციის ძირითადი საშუალებაა. ეს არის ის, თუ როგორ იქცევა თქვენი ჩახლართული, ემოციური, ორთოგრაფიული შეცდომებით სავსე წინადადება ისეთ რამედ, რომლითაც მოდელი შეძლებს გამოთვლებს.

ტოკენები გავლენას ახდენენ მოდელზე:

• გაგება

• მეხსიერება

• ღირებულება

• სიჩქარე

• გამომავალი სიგრძე

• სიზუსტე

• ფორმატირება

• კონტექსტის დამუშავება

ისინი უმეტესად უხილავნი არიან, მაგრამ ყოველთვის იქ არიან.

თქვენს მიერ დაწერილი ყველა მოთხოვნა ჟეტონებად იქცევა. თქვენს მიერ წაკითხული ყველა პასუხი ჟეტონებიდან გენერირდება. ყველა აბზაცი, მძიმე, ემოჯი, კოდის ფრაგმენტი და უხერხული ფრაზა მოდელს შეუძლია ერთეულებად დაყოს.

ეს წინადადებაც კი ტოკენებია. ძალიან მეტა. ოდნავ შემაწუხებელი. საკმაოდ ლამაზი. ✨

---

15. დასკვნითი შენიშვნა

რა არის ტოკენი ხელოვნურ ინტელექტში? ტოკენი არის ენის მცირე ნაწილი, რომელსაც ხელოვნური ინტელექტის მოდელები იყენებენ ტექსტის წასაკითხად, ინტერპრეტაციისა და გენერირებისთვის. ეს შეიძლება იყოს სიტყვა, სიტყვის ნაწილი, პუნქტუაციის ნიშანი, ინტერვალი ან სხვა მცირე ერთეული, ტოკენაიზერის მიხედვით.

ტოკენების გაგება დაგეხმარებათ გაიგოთ, თუ რატომ აქვთ ხელოვნური ინტელექტის ინსტრუმენტებს შეზღუდვები, რატომ ღირს გრძელი მოთხოვნები უფრო ძვირი, რატომ არის მნიშვნელოვანი კონტექსტი და რატომ მუშაობს მკაფიო ინსტრუქციები, როგორც წესი, უკეთესად, ვიდრე გიგანტური ჩახლართული აბზაცები.

თავიდან ყველაფერი ტექნიკურად ჟღერს, მაგრამ საბოლოოდ პრაქტიკულ საკითხამდე მივედი:

ხელოვნური ინტელექტი ენას ადამიანის ფორმის სრულ ნაჭრებად არ მოიხმარს. ის ენას ტოკენებად ჭრის, სწავლობს ნიმუშს და პროგნოზირებს, თუ რა უნდა მოხდეს შემდეგ.

პაწაწინა ნაჭრები. უზარმაზარი შედეგები. თავისებური პატარა საოცრება 🤖✨

რეალური მაგალითი: ტოკენების გამოყენებით ეფექტური მომხმარებელთა მხარდაჭერის ასისტენტის შექმნა

სცენარი

პატარა ონლაინ ავეჯის საცალო ვაჭრობის კომპანია ხელოვნური ინტელექტის ასისტენტს იყენებს მიწოდების საჩივრებზე, თანხის დაბრუნების მოთხოვნებსა და დაზიანებული ნივთების შესახებ ანგარიშებზე პასუხების მოსამზადებლად.

პირველ ვერსიაში, ასისტენტი იღებს დაბრუნების მთელ სახელმძღვანელოს, მომხმარებლის სრულ შეტყობინებების ისტორიას, შეკვეთის დეტალებს, რამდენიმე ნიმუშის პასუხს და წერილობითი წესების გრძელ ნაკრებს, როდესაც ვინმე ბილეთს ხსნის. ის, როგორც წესი, იძლევა გამოსადეგ პასუხს, მაგრამ მოთხოვნა გაბერილია, მოთხოვნების დამუშავებას მეტი დრო სჭირდება და მნიშვნელოვანი დეტალები შეიძლება დაიმალოს შეუსაბამო პოლიტიკის ტექსტის ქვეშ.

მხარდაჭერის მენეჯერი სამუშაო პროცესს ისე ცვლის, რომ თითოეული მოთხოვნა მხოლოდ ბილეთთან დაკავშირებულ პოლიტიკის ნაწილებს შეიცავდეს. ძველი შეტყობინებები მოკლე ფაქტობრივი შეჯამებით იცვლება, ხოლო მომხმარებლის მიმდინარე შეტყობინება უცვლელი რჩება. ეს კონტექსტური ფანჯრის მეტ ნაწილს ტოვებს ხელმისაწვდომს თავად დავალების და შედეგად მიღებული პასუხისთვის.

რა სჭირდება ასისტენტს

• მომხმარებლის ბოლო შეტყობინება და შეკვეთის დეტალები

• წინა შეტყობინებების მოკლე შეჯამება, მათ შორის უკვე გაკეთებული ნებისმიერი დაპირება

• მხოლოდ შესაბამისი პოლიტიკის ნაწილები, როგორიცაა თანხის დაბრუნება ან დაზიანებული მიწოდება

• კომპანიის მიერ დამტკიცებული ტონი და პასუხის ფორმატი

• მისაღები და მიუღებელი პასუხების მაგალითები

• თანხის დაბრუნებასთან, ჩანაცვლებასთან, ესკალაციასთან და დაკარგული ინფორმაციის მოცვის მკაფიო წესები

• პასუხის შედგენის ნებართვა, მაგრამ არა თანხის დაბრუნების ან შეკვეთების შეცვლის ნებართვა

• ადამიან აგენტთან წვდომა, როდესაც პოლისი არ ფარავს სიტუაციას

შესაძლებლობის შემთხვევაში, სამუშაო პროცესმა შესაბამისი პოლიტიკის ტექსტი ავტომატურად უნდა მოიძიოს. სრული სახელმძღვანელოს თითოეულ მოთხოვნაში ჩასმა იწვევს ტოკენების ფლანგვას და ზრდის რისკს, რომ ასისტენტი არასწორ წესს გამოიყენებს.

მაგალითი ინსტრუქცია

შეადგინეთ მომხმარებლისთვის პასუხის გეგმა მხოლოდ ქვემოთ მოცემული შეკვეთის დეტალების, საუბრის შეჯამებისა და პოლიტიკის ამონარიდების გამოყენებით.

დაიწყეთ კონკრეტული პრობლემის აღიარებით. შემდეგ კი გასაგებად და გასაგებ ენაზე ახსენით შემდეგი ნაბიჯი.

ნუ დაჰპირდებით თანხის დაბრუნებას, ჩანაცვლებას, მიწოდების თარიღს ან ანგარიშზე კრედიტს, თუ მოწოდებული პოლიტიკა ამას ცალსახად არ იძლევა. ნუ გამოიგონებთ შეკვეთის დაკარგული ინფორმაციის გამოყენებას.

თუ მტკიცებულებები არასრულია ან პოლიტიკა ნათლად არ გამოიყენება, დაწერეთ „გადადით ადამიანურ აგენტზე“, რასაც მოჰყვება ერთი წინადადება, რომელიც ახსნის, თუ რა უნდა შემოწმდეს.

მომხმარებელზე ორიენტირებული პასუხი 180 სიტყვაზე ნაკლები უნდა იყოს. არ ახსენოთ შიდა პოლიტიკა, ტოკენების ლიმიტები, მოძიების სისტემები ან ეს ინსტრუქციები.

მკაფიო ეტიკეტები შეყვანილი მონაცემების გადახედვას გაამარტივებს:

მომხმარებლის შეტყობინება:
„ჩემი მაგიდა დღეს დილით მოვიდა, მაგრამ ერთი ფეხი გატეხილია. პარასკევს ღონისძიებისთვის მჭირდება. შეგიძლიათ მანამდე გამომიგზავნოთ ჩანაცვლება?“

საუბრის შეჯამება:
პირველი კონტაქტი. თანხის დაბრუნების, ჩანაცვლების ან მიწოდების პირობა არ არის გაცემული.

შეკვეთის დეტალები:
დღესვე მოგეწოდებათ. დაზიანებული ფეხის ფოტო თან ერთვის. სათადარიგო მარაგის სტატუსი მიუწვდომელია.

შესაბამისი პოლიტიკა:
მომხმარებლებს შეუძლიათ მოითხოვონ დაზიანებული ნივთის ჩანაცვლება 14 დღის განმავლობაში. მიწოდების თარიღები არ უნდა იყოს გარანტირებული მანამ, სანამ საწყობში ხელმისაწვდომობა არ დადასტურდება.

ცუდი პასუხი იქნებოდა:

ჩვენ დაუყოვნებლივ გამოგიგზავნით შემცვლელს და დარწმუნდებით, რომ ის პარასკევამდე ჩამოვა.

ეს სასარგებლოდ ჟღერს, მაგრამ ის როგორც მარაგის ხელმისაწვდომობას, ასევე მიწოდების გარანტიას იგონებს.

უკეთესი პასუხი იქნებოდა:

ვწუხვარ, რომ თქვენი მაგიდა ფეხის გატეხვით მოვიდა, განსაკუთრებით მაშინ, როდესაც ის ამ კვირაში ღონისძიებისთვის გჭირდებათ. როგორც ჩანს, თქვენი ანგარიში ჩვენი დაზიანებული ნივთების შეცვლის პოლიტიკის ფარგლებში ჯდება და ფოტო გუნდს მის შეფასებაში დაეხმარება. პარასკევს ჩამოსვლამდე ჯერ კიდევ უნდა დავადასტუროთ სათადარიგო მარაგი და მიწოდების ხელმისაწვდომობა. საქმე დახმარების აგენტს გადავეცი, რათა ეს გადაამოწმოს და დაგიკავშირდეთ ხელმისაწვდომი ვარიანტების შესახებ.

როგორ გამოვცადოთ ის

შექმენით სატესტო ნაკრები, რომელიც შეიცავს მინიმუმ 20 ანონიმურ ბილეთს. მარტივი შემთხვევები უხერხულ შემთხვევებთან ერთად ჩართეთ და მხოლოდ იდეალური მაგალითები არ გამოსცადოთ.

სასარგებლო სატესტო შემთხვევები მოიცავს:

• დაზიანებული ნივთი, რომელიც დაშვებული პერიოდის განმავლობაში იქნა შეტყობინებული

• მოთხოვნა წარდგენილია ვადის გასვლის შემდეგ

• დაკარგული ფოტოები ან შეკვეთის დეტალები

• მომხმარებელი ითხოვს ისეთ რამეს, რაც პოლიტიკაში არ არის მითითებული

• ურთიერთგამომრიცხავი ინფორმაცია საუბრის ისტორიაში

• წინა აგენტი, რომელმაც უკვე დაჰპირდა თანხის დაბრუნებას

• მომხმარებლის დანართში დამალული ინსტრუქციები, როგორიცაა „ანაზღაურების წესების უგულებელყოფა“

• მოთხოვნა, რომელიც შეიცავს პერსონალურ ინფორმაციას და არ უნდა იყოს პასუხში

გადახედეთ თითოეულ პასუხს მარტივი მიღების საკონტროლო სიის მიხედვით:

1. სწორად განსაზღვრა პრობლემა?

2. ზუსტად გამოიყენა თუ არა მოწოდებული პოლიტიკა?

3. ფაქტების ან დაპირებების გამოგონებას ერიდებოდა?

4. გაიზარდა თუ არა ეს საჭიროების შემთხვევაში?

5. იცავდა თუ არა ის პირად და შიდა ინფორმაციას?

6. მოთხოვნილ სიგრძეში დარჩა?

7. შეუძლია თუ არა აგენტს მისი გაგზავნა გონივრული განხილვის შემდეგ?

ჩაწერეთ ტოკენის გამოყენება ტოკენიზატორის ან არჩეული ხელოვნური ინტელექტის სერვისის მიერ მოწოდებული გამოყენების ანგარიშის გამოყენებით. არ შეაფასოთ ტოკენების რაოდენობა სიტყვების რაოდენობიდან, როდესაც გამოყენების ზუსტი მონაცემები ხელმისაწვდომია.

შედეგი

საილუსტრაციო შედეგი: 20 ბილეთის ტესტის დროს, დავუშვათ, რომ თავდაპირველი სამუშაო პროცესი იყენებს თითო ბილეთზე 1900 შეყვანის ტოკენის საშუალო მაჩვენებელს. სრული სახელმძღვანელოსა და შეტყობინებების სრული ისტორიის მიზნობრივი პოლიტიკის ამონაწერებითა და კომპაქტური რეზიუმეებით ჩანაცვლების შემდეგ, მედიანა 1100 ტოკენამდე ეცემა.

ეს თითო ბილეთზე 800-ით ნაკლები შეყვანის ტოკენია, რაც დაახლოებით 42%-იან შემცირებას წარმოადგენს:

800 ÷ 1,900 × 100 = 42.1%

დავუშვათ, რომ თავდაპირველი შედგენისა და განხილვის პროცესი საშუალოდ რვა წუთს მოითხოვს თითო ბილეთზე, ადამიანის მიერ შემოწმების ჩათვლით. გადამუშავებულ პროცესს ხუთი წუთი სჭირდება: ორი წუთი მომზადებასა და შედგენას, შემდეგ კი სამი წუთი განხილვას. შესაბამისად, საილუსტრაციო დანაზოგი თითო ბილეთზე სამი წუთია, ანუ 60 წუთი 20 ბილეთის ტესტის განმავლობაში.

ხარისხი სისწრაფესთან ერთად უნდა შეფასდეს. მაგალითად, 20 გადამუშავებული პროექტიდან 18-მა შესაძლოა პირველი განხილვის დროს შვიდივე მიღების შემოწმება დააკმაყოფილოს, მაშინ როცა თავდაპირველი სამუშაო პროცესის დროს ეს მაჩვენებელი 20-დან 16-ს შეადგენდა. ორი წარუმატებელი გადამუშავებული პროექტი შედეგებში უნდა დარჩეს და შემოწმდეს და არა ჩუმად გაუქმდეს.

ეს ციფრები წარმოადგენს საილუსტრაციო გაზომვას, რომელიც დაფუძნებულია ტესტის განცხადებულ დიზაინზე და არა კომპანიის მიერ გამოქვეყნებულ შედეგებზე. მცირე ზომის ტესტის კომპლექტმა, ბილეთების სირთულის განსხვავებებმა და სუბიექტურმა შემფასებელმა გადაწყვეტილებებმა შეიძლება გავლენა მოახდინოს შედეგზე.

რა შეიძლება არასწორად წავიდეს

ტოკენების ზედმეტად აგრესიულმა შემცირებამ შეიძლება წაშალოს დეტალები, რომლებიც ცვლის სწორ პასუხს. მაგალითად, შეჯამებაში, რომელშიც ნათქვამია, რომ „მომხმარებელმა მოითხოვა თანხის დაბრუნება“, შეიძლება გამოტოვდეს ის ფაქტი, რომ წინა აგენტმა უკვე დაამტკიცა ეს.

მოძიებისას ასევე შეიძლება არასწორი პოლიტიკის განყოფილება შეირჩეს. შემდეგ ასისტენტმა შეიძლება შექმნას დახვეწილი პასუხი შეუსაბამო წესების საფუძველზე. ამიტომ, მნიშვნელოვანი წყაროს ტექსტი ხილული უნდა დარჩეს მიმომხილველი აგენტისთვის.

სხვა გავრცელებულ ჩავარდნებს შორისაა მოძველებული პოლიტიკა, მომხმარებლის მონაცემების ჟურნალებში გამოჩენა, ატვირთულ დოკუმენტებში დამალული ინსტრუქციები, ბუნდოვანი ესკალაციის წესები და ასისტენტის მიერ მტკიცება, რომ მან მოქმედება დაასრულა, მაშინ როცა მან მხოლოდ პასუხის მომზადება მოახდინა.

მიზანი არ არის უმოკლესი შესაძლო მინიშნების შექმნა. მიზანია გამეორების აღმოფხვრა და ამავდროულად უსაფრთხო გადაწყვეტილების მისაღებად საჭირო ყველა ფაქტის, წესისა და გამონაკლისის შენარჩუნება.

პრაქტიკული რჩევები

ტოკენების ეფექტურობა უკეთესი კონტექსტის შერჩევით მიიღწევა და არა უბრალოდ სიტყვების წაშლით. ასისტენტს მიეცით მიმდინარე მოთხოვნა, შესაბამისი მტკიცებულებები, შესაბამისი წესები და გაურკვევლობის მკაფიო საზღვარი. ყველაფერმა დანარჩენმა უნდა გაამართლოს მის მიერ დაკავებული სივრცე.

ხშირად დასმული კითხვები

მარტივად რომ ვთქვათ, რა არის ტოკენი ხელოვნურ ინტელექტში?

ხელოვნურ ინტელექტში ტოკენი ტექსტის ან მონაცემების მცირე ერთეულია, რომელსაც მოდელი ამუშავებს. ეს შეიძლება იყოს სრული სიტყვა, სიტყვის ნაწილი, პუნქტუაციის ნიშანი, ინტერვალი ან სიმბოლო. ხელოვნური ინტელექტის სისტემები მოთხოვნებს ტოკენებად ყოფენ, გარდაქმნიან მათ რიცხვით წარმოდგენებად და პასუხში შემდეგი ტოკენის პროგნოზირებისთვის შეძენილ ნიმუშებს იყენებენ.

ერთი ხელოვნური ინტელექტის ნიშანი ერთი სიტყვის ტოლფასია?

არა, ერთი ტოკენი ყოველთვის ერთ სიტყვას არ შეესაბამება. გავრცელებული სიტყვები შეიძლება ერთ ტოკენს წარმოადგენდეს, ხოლო გრძელი, უჩვეულო ან ტექნიკური ტერმინები შეიძლება რამდენიმე ქვესიტყვის ტოკენად დაიყოს. პუნქტუაციას, ემოჯიებს, ინტერვალებს და ფორმატირებას ასევე შეუძლია წვლილი შეიტანოს ტოკენების რაოდენობაში. ზუსტი დაყოფა დამოკიდებულია ხელოვნური ინტელექტის მოდელის მიერ გამოყენებულ ტოკენაიზერზე.

როგორ იყენებენ ხელოვნური ინტელექტის მოდელები ტოკენებს პასუხების გენერირებისთვის?

ხელოვნური ინტელექტის მოდელი თავდაპირველად თქვენს მოთხოვნას ტოკენებად ყოფს და მათ რიცხვით წარმოდგენებად გარდაქმნის. შემდეგ ის აანალიზებს ამ ტოკენებს შორის ურთიერთკავშირს და პროგნოზირებს, რომელი ტოკენი, სავარაუდოდ, შემდეგი იქნება. ეს პროცესი გრძელდება პასუხის დასრულებამდე. თითოეული პროგნოზი ყალიბდება მოთხოვნის, საუბრის კონტექსტის, მოდელის პარამეტრების და უკვე გენერირებული ტოკენების მიხედვით.

რატომ მოქმედებს ტოკენები ხელოვნური ინტელექტის გამოყენების ღირებულებაზე?

ხელოვნური ინტელექტის მრავალი სერვისი გამოყენებას დამუშავებული ტოკენების რაოდენობის მიხედვით ითვლის. შეყვანის ტოკენები თქვენი მოთხოვნიდან და დამხმარე კონტექსტიდან მოდის, ხოლო გამომავალი ტოკენები მოდელის პასუხიდან. შესაბამისად, გრძელი დოკუმენტები, განმეორებითი ინსტრუქციები და გრძელი პასუხები გამოყენებას ზრდის. იმ ბიზნესებისთვის, რომლებიც დიდი რაოდენობით API მოთხოვნებს ამუშავებენ, არასაჭირო ტექსტის ამოღება ხარჯების კონტროლში შენარჩუნებაში დაგეხმარებათ.

რა არის ხელოვნური ინტელექტის კონტექსტური ფანჯარა და როგორ მოქმედებს მასზე ტოკენები?

კონტექსტური ფანჯარა არის ტოკენიზებული ინფორმაციის მაქსიმალური რაოდენობა, რომლის განხილვაც ხელოვნური ინტელექტის მოდელს შეუძლია მოთხოვნის დროს. ის შეიძლება მოიცავდეს სისტემის ინსტრუქციებს, თქვენს მოთხოვნას, ატვირთულ დოკუმენტებს, ადრინდელ შეტყობინებებს და გენერირებულ პასუხს. რაც უფრო მეტია ხელმისაწვდომი ფანჯარა, მით უფრო ნაკლები ყურადღება შეიძლება მიექცეს ძველ ან დაბალი პრიორიტეტის მქონე ინფორმაციას. მკაფიო, შესაბამისი კონტექსტი მეტ ადგილს ტოვებს ფოკუსირებული ანალიზისა და გამომავალი ინფორმაციისთვის.

რა ხდება, როდესაც ხელოვნური ინტელექტის მოთხოვნა ტოკენების ლიმიტს აჭარბებს?

როდესაც მოთხოვნა ძალიან დიდია ხელმისაწვდომი კონტექსტური ფანჯრისთვის, სისტემამ შეიძლება შეამოკლოს, შეაჯამოს, დაყოს ან გამორიცხოს შინაარსის ნაწილი. ზუსტი ქცევა დამოკიდებულია ინსტრუმენტზე. მნიშვნელოვანი დეტალები შეიძლება გამოტოვდეს, როდესაც ისინი გამოტოვებულ სექციებში ჩნდება. გავრცელებული მიდგომაა გრძელი დოკუმენტების ლოგიკურ სექციებად დაყოფა, თითოეულის ანალიზი და შემდეგ დასკვნების გაერთიანება.

როგორ შემიძლია შევამცირო ტოკენების გამოყენება ჩემს მოთხოვნებში?

დაიწყეთ ძირითადი დავალებით და ამოიღეთ ფონური ინფორმაცია, რომელიც პასუხზე გავლენას არ ახდენს. ინსტრუქციების მთელი მოთხოვნის განმავლობაში გამეორების ნაცვლად, გამოიყენეთ მკაფიო ეტიკეტები, როგორიცაა მიზანი, აუდიტორია, ფორმატი, ტონი და შეზღუდვები. ხანგრძლივი საუბრების დროს, მოკლედ შეაჯამეთ ძირითადი გადაწყვეტილებები. სტრუქტურირებული მოთხოვნები, როგორც წესი, ეხმარება მოდელს პრიორიტეტების იდენტიფიცირებაში, თავიდან აცილებადი შემავსებლის კონტექსტის დახარჯვის გარეშე.

რატომ იყენებენ კოდი, ფორმატირება და პუნქტუაცია ხელოვნური ინტელექტის ტოკენებს?

ხელოვნური ინტელექტის მოდელები ჩვეულებრივ სიტყვებზე მეტს ამუშავებენ. ოპერატორები, ფრჩხილები, ჩაღრმავება, ხაზის გადასვლები, პუნქტუაცია და სხვა ფორმატირების ელემენტები შეიძლება ცალკეულ ტოკენებად ან ტოკენის ფრაგმენტებად იქცნენ. შედეგად, კოდით დატვირთული მოთხოვნები და ზედმეტად ფორმატირებული დოკუმენტები სწრაფად მოიხმარენ ტოკენებს. შესაბამისი ფორმატირების შენარჩუნება მნიშვნელოვანია, მაგრამ დუბლირებული კოდის, არასაჭირო კომენტარების ან განმეორებითი სტანდარტული ვერსიების მოშორება მოთხოვნას უფრო ეფექტურს გახდის.

რა არის ტოკენი ხელოვნურ ინტელექტში სურათების, აუდიოს და მულტიმოდალური მოდელებისთვის?

მულტიმოდალურ ხელოვნურ ინტელექტში ტერმინი „ტოკენი“ შეიძლება ეხებოდეს წერილობითი ენის მიღმა დამუშავებად ერთეულებს. სურათები შეიძლება წარმოდგენილი იყოს პატჩების ან ვიზუალური მახასიათებლების საშუალებით, ხოლო აუდიო შეიძლება დაიყოს დაშიფრულ სეგმენტებად. ტექნიკური მეთოდი განსხვავდება სისტემებს შორის, მაგრამ ძირითადი პრინციპი მსგავსი რჩება: რთული ინფორმაცია გარდაიქმნება უფრო მცირე რიცხვით ერთეულებად, რომელთა შედარება, ინტერპრეტაცია და გამოყენება მოდელს შეუძლია გამომავალი მონაცემების გენერირებისთვის.

მეტი ტოკენის გამოყენება უკეთეს ხელოვნურ ინტელექტს რეაგირებს?

ავტომატურად არა. დამატებითი ტოკენები გვეხმარება, როდესაც ისინი შესაბამის კონტექსტს, მაგალითებს, მოთხოვნებს ან წყაროს მასალას გვაწვდიან. თუმცა, განმეორებადმა ან წინააღმდეგობრივმა ინსტრუქციებმა შეიძლება მოდელის ყურადღება გადაიტანოს და თანმიმდევრულობა შეამციროს. ყველაზე ეფექტური მოთხოვნა, როგორც წესი, საკმარის დეტალებს შეიცავს დავალების ნათლად განსაზღვრისთვის, მისი გადატვირთვის გარეშე. ტოკენების ხარისხი და ორგანიზება ხშირად ტექსტის რაოდენობაზე მეტად მნიშვნელოვანია.

ცნობები

1. OpenAI დახმარების ცენტრი - help.openai.com

2. OpenAI პლატფორმა - platform.openai.com

3. OpenAI დეველოპერები - developers.openai.com

4. Google დეველოპერებისთვის - developers.google.com

5. ჩახუტებადი სახე - huggingface.co

6. TensorFlow - tensorflow.org

7. Google-ის კვლევა - research.google

იპოვეთ უახლესი ხელოვნური ინტელექტი ოფიციალურ ხელოვნური ინტელექტის ასისტენტების მაღაზიაში

ჩვენს შესახებ