რამდენად ზუსტია ხელოვნური ინტელექტი? [ვიდეო და ტესტი]

მოკლე პასუხი: ხელოვნური ინტელექტი შეიძლება იყოს ძალიან ზუსტი ვიწრო, კარგად განსაზღვრულ ამოცანებში, მკაფიო სიმართლით, მაგრამ „სიზუსტე“ არ არის ერთი ქულა, რომელსაც უნივერსალურად ენდობით. ის მხოლოდ მაშინ არის ძალაში, როდესაც დავალება, მონაცემები და მეტრიკა ემთხვევა ოპერაციულ გარემოს; როდესაც შემავალი მონაცემები იცვლებიან ან დავალებები გაურკვეველი ხდება, შეცდომები და თავდაჯერებული ჰალუცინაციები იზრდება.

ძირითადი დასკვნები:

დავალების შესაბამისობა: სამუშაო ზუსტად განსაზღვრეთ ისე, რომ „სწორი“ და „არასწორი“ შემოწმებადი იყოს.

მეტრიკის არჩევანი: შეფასების მეტრიკები შეუსაბამეთ რეალურ შედეგებს და არა ტრადიციებს ან მოხერხებულობას.

რეალობის ტესტირება: გამოიყენეთ წარმომადგენლობითი, ხმაურიანი მონაცემები და განაწილების მიღმა სტრეს-ტესტები.

კალიბრაცია: გაზომეთ, შეესაბამება თუ არა სანდოობა სისწორეს, განსაკუთრებით ზღურბლებისთვის.

სასიცოცხლო ციკლის მონიტორინგი: მომხმარებლების, მონაცემებისა და გარემოს დროთა განმავლობაში ცვლილებისას მუდმივად ხელახლა შეფასება.

სტატიები, რომელთა წაკითხვაც შეიძლება მოგეწონოთ ამის შემდეგ:

🔗 როგორ ვისწავლოთ ხელოვნური ინტელექტი ეტაპობრივად
დამწყებთათვის მოსახერხებელი გზამკვლევი, რათა თავდაჯერებულად დაიწყოთ ხელოვნური ინტელექტის შესწავლა.

🔗 როგორ აღმოაჩენს ხელოვნური ინტელექტი მონაცემებში არსებულ ანომალიებს
განმარტავს მეთოდებს, რომლებსაც ხელოვნური ინტელექტი იყენებს უჩვეულო ნიმუშების ავტომატურად აღმოსაჩენად.

🔗 რატომ შეიძლება ხელოვნური ინტელექტი საზოგადოებისთვის ცუდი იყოს
მოიცავს ისეთ რისკებს, როგორიცაა მიკერძოება, სამუშაო ადგილებზე ზემოქმედება და კონფიდენციალურობის საკითხები.

🔗 რა არის ხელოვნური ინტელექტის მონაცემთა ნაკრები და რატომ არის ის მნიშვნელოვანი
განსაზღვრავს მონაცემთა ნაკრებებს და იმას, თუ როგორ ავარჯიშებენ და აფასებენ ისინი ხელოვნური ინტელექტის მოდელებს.

1) მაშ ასე… რამდენად ზუსტია ხელოვნური ინტელექტი?🧠✅

ხელოვნური ინტელექტი შეიძლება იყოს უკიდურესად ზუსტი ვიწრო, კარგად განსაზღვრულ ამოცანებში - განსაკუთრებით მაშინ, როდესაც „სწორი პასუხი“ ცალსახა და ადვილად შესაფასებელია.

თუმცა, ღია ტიპის ამოცანებში (განსაკუთრებით გენერაციულ ხელოვნურ ინტელექტში , როგორიცაა ჩატბოტები), „სიზუსტე“ სწრაფად ხდება არაზუსტი, რადგან:

• შეიძლება რამდენიმე მისაღები პასუხი

• შესაძლოა, გამომავალი ტექსტი იყოს თავისუფალი, მაგრამ ფაქტებზე დაფუძნებული არ იყოს

• მოდელი შესაძლოა „სასარგებლო“ ვიბრაციებისთვის იყოს მორგებული და არა მკაცრი კორექტულობისთვის

• სამყარო იცვლება და სისტემები შეიძლება რეალობას ჩამორჩნენ

სასარგებლო გონებრივი მოდელი: სიზუსტე არ არის თვისება, რომელიც თქვენ „გაქვთ“. ეს არის თვისება, რომელსაც „მოიპოვებთ“ კონკრეტული ამოცანისთვის, კონკრეტულ გარემოში, კონკრეტული გაზომვის სისტემით. სწორედ ამიტომ, სერიოზული სახელმძღვანელოები შეფასებას განიხილავენ, როგორც სასიცოცხლო ციკლის აქტივობას და არა ერთჯერად ქულების დაფის მომენტს. [1]

2) სიზუსტე ერთი რამ არ არის - ეს მთელი ჭრელი ოჯახია 👨👩👧👦📏

როდესაც ადამიანები ამბობენ „სიზუსტეს“, შეიძლება რომელიმე მათგანს გულისხმობდნენ (და ხშირად ერთდროულად ორ მათგანს ამის გაცნობიერების გარეშე):

• სისწორე: სწორი იარლიყი/პასუხი გამოიღო?

• სიზუსტე vs გამეორება: თავიდან აიცილა ცრუ განგაში, თუ ყველაფერი დააფიქსირა?

• კალიბრაცია: როდესაც წერია „90%-ით დარწმუნებული ვარ“, სინამდვილეში სწორია თუ არა შემთხვევათა ~90%-ში? [3]

• მდგრადობა: კვლავ მუშაობს ის, როდესაც შეყვანის მონაცემები ოდნავ იცვლება (ხმაური, ახალი ფრაზირება, ახალი წყაროები, ახალი დემოგრაფიული მონაცემები)?

• საიმედოობა: იქცევა თუ არა ის თანმიმდევრულად მოსალოდნელ პირობებში?

• სიმართლე/ფაქტუალურობა (გენერაციული ხელოვნური ინტელექტი): თავდაჯერებული ტონით იგონებს (ჰალუცინაციას იწვევს) რაღაცეებს? [2]

სწორედ ამიტომ, ნდობაზე ორიენტირებული ჩარჩოები „სიზუსტეს“ არ განიხილავენ, როგორც მარტოხელა გმირის მეტრიკას. ისინი ვალიდურობაზე, საიმედოობაზე, უსაფრთხოებაზე, გამჭვირვალობაზე, მდგრადობაზე, სამართლიანობაზე და სხვაზე , როგორც ერთობლიობაზე - რადგან შეგიძლიათ ერთი „ოპტიმიზაცია“ მოახდინოთ და შემთხვევით მეორე გაფუჭოთ. [1]

3) რა ხდის „რამდენად ზუსტია ხელოვნური ინტელექტი“-ს გაზომვის კარგ ვერსიას? 🧪🔍

აქ მოცემულია „კარგი ვერსიის“ საკონტროლო სია (ის, რომელსაც ხალხი გამოტოვებს... შემდეგ კი ნანობს):

✅ დავალების მკაფიო განმარტება (ანუ: გახადეთ ის ტესტირებადი)

• „შეჯამება“ ბუნდოვანია.

• „შეაჯამეთ 5 პუნქტად, ჩართეთ წყაროდან 3 კონკრეტული ციფრი და ნუ მოიგონებთ ციტატებს“ შემოწმებადია.

✅ წარმომადგენლობითი ტესტის მონაცემები (ანუ: შეფასების შეწყვეტა მარტივ რეჟიმში)

თუ თქვენი სატესტო ნაკრები ძალიან სუფთაა, სიზუსტე ყალბად გამოიყურება. რეალურ მომხმარებლებს ბეჭდვის შეცდომები, უცნაური კიდეები და „ეს დილის 2 საათზე ტელეფონში დავწერე“ ენერგია მოჰყვებათ.

✅ რისკის შესაბამისი მეტრიკა

მემის არასწორი კლასიფიკაცია არ არის იგივე, რაც სამედიცინო გაფრთხილების არასწორი კლასიფიკაცია. მეტრიკას არ ირჩევთ ტრადიციის მიხედვით - მათ შედეგების მიხედვით ირჩევთ. [1]

✅ დისტრიბუციის მიღმა ტესტირება (ანუ: „რა ხდება, როდესაც რეალობა ცხადი ხდება?“)

სცადეთ უცნაური ფრაზირება, ორაზროვანი შეყვანები, შეწინააღმდეგებითი მინიშნებები, ახალი კატეგორიები, ახალი დროის პერიოდები. ეს მნიშვნელოვანია, რადგან განაწილების ცვლა კლასიკური გზაა, რომლითაც წარმოებაში სახის პლანტაცია მოდელირდება. [4]

✅ მიმდინარე შეფასება (ანუ: სიზუსტე არ არის „დააყენე და დაივიწყე“ ფუნქცია)

სისტემები იცვლება. მომხმარებლები იცვლებიან. მონაცემები იცვლება. თქვენი „შესანიშნავი“ მოდელი ჩუმად უარესდება - თუ მას განუწყვეტლივ არ გაზომავთ. [1]

რეალურ სამყაროში არსებული პაწაწინა ნიმუში, რომელსაც აუცილებლად ამოიცნობთ: გუნდები ხშირად მაღალი „დემო სიზუსტით“ მუშაობენ, შემდეგ კი აღმოაჩენენ, რომ მათი რეალური წარუმატებლობის რეჟიმი არ „არასწორი პასუხები“... ეს არის „არასწორი პასუხები, რომლებიც თავდაჯერებულად და მასშტაბურად არის მოწოდებული“. ეს შეფასების დიზაინის პრობლემაა და არა მხოლოდ მოდელის პრობლემა.

4) სად არის ხელოვნური ინტელექტი, როგორც წესი, ძალიან ზუსტი (და რატომ) 📈🛠️

ხელოვნური ინტელექტი, როგორც წესი, მაშინ იბრძვის, როდესაც პრობლემაა:

• ვიწრო

• კარგად მონიშნული

• დროთა განმავლობაში სტაბილური

• ტრენინგის განაწილების მსგავსი

• ადვილად იგება ავტომატურად

მაგალითები:

• სპამის ფილტრაცია

• დოკუმენტის ამოღება თანმიმდევრული განლაგებით

• რანჟირების/რეკომენდაციის ციკლები უამრავი უკუკავშირის სიგნალით

• კონტროლირებად გარემოში ხედვის კლასიფიკაციის მრავალი დავალება

ამ გამარჯვებების უმეტესობის უკან მდგომი მოსაწყენი სუპერძალა: ნათელი სიმართლე + უამრავი შესაბამისი მაგალითი. არც ისე მომხიბვლელი - უკიდურესად ეფექტური.

5) სადაც ხელოვნური ინტელექტის სიზუსტე ხშირად იშლება 😬🧯

ეს არის ის ნაწილი, რომელსაც ადამიანები ძვლებში გრძნობენ.

ჰალუცინაციები გენერაციულ ხელოვნურ ინტელექტში 🗣️🌪️

LLM-ს შეუძლია შექმნას დამაჯერებელი, მაგრამ არაფაქტობრივი შინაარსი - და „დამაჯერებელი“ ნაწილი სწორედ ამიტომ არის ის საშიში. სწორედ ეს არის ერთ-ერთი მიზეზი, რის გამოც გენერაციული ხელოვნური ინტელექტის რისკების სახელმძღვანელო მითითებები ამდენ ყურადღებას აქცევს დაფუძნებას, დოკუმენტაციას და გაზომვას, ვიბრაციებზე დაფუძნებულ დემო ვერსიებთან შედარებით. [2]

დისტრიბუციის ცვლა 🧳➡️🏠

ერთ გარემოზე გაწვრთნილი მოდელი შეიძლება მეორეში აღმოჩნდეს: განსხვავებული მომხმარებლის ენა, განსხვავებული პროდუქტის კატალოგი, განსხვავებული რეგიონალური ნორმები, განსხვავებული დროის პერიოდი. WILDS-ის მსგავსი საორიენტაციო მაჩვენებლები ძირითადად იმისთვის არსებობს, რომ იყვიროს: „დისტრიბუციის შიდა შესრულებამ შეიძლება მნიშვნელოვნად გადააჭარბოს რეალური სამყაროს შესრულებას“. [4]

სტიმულები, რომლებიც აჯილდოებს თავდაჯერებულ გამოცნობას 🏆🤥

ზოგიერთი სისტემა შემთხვევით აჯილდოებს „ყოველთვის პასუხის გაცემის“ ქცევას „მხოლოდ მაშინ, როცა იცი, პასუხის გაცემის“ ნაცვლად. ამგვარად, სისტემები სწავლობენ სწორად ჟღერადობას და არა სწორს . სწორედ ამიტომ, შეფასებამ უნდა მოიცვას თავშეკავების/გაურკვევლობის ქცევა - და არა მხოლოდ პასუხების ნედლი მაჩვენებელი. [2]

რეალურ სამყაროში მომხდარი ინციდენტები და ოპერაციული ჩავარდნები 🚨

ძლიერ მოდელსაც კი შეუძლია სისტემის სახით ჩავარდნა: არასწორი მოძიება, მოძველებული მონაცემები, დაზიანებული დამცავი ღობეები ან სამუშაო პროცესი, რომელიც მოდელს ჩუმად გვერდს უვლის უსაფრთხოების შემოწმებებს. თანამედროვე ხელმძღვანელობა სიზუსტეს უფრო ფართო სისტემის სანდოობის ნაწილად მიიჩნევს და არა მხოლოდ მოდელის ქულად. [1]

6) დაუფასებელი სუპერძალა: კალიბრაცია (ანუ „იცოდე ის, რაც არ იცი“) 🎚️🧠

მაშინაც კი, როდესაც ორ მოდელს ერთნაირი „სიზუსტე“ აქვს, ერთი მათგანი შეიძლება ბევრად უფრო უსაფრთხო იყოს, რადგან ის:

• სათანადოდ გამოხატავს გაურკვევლობას

• თავს არიდებს ზედმეტად თავდაჯერებულ არასწორ პასუხებს

• იძლევა ალბათობებს, რომლებიც რეალობას შეესაბამება

კალიბრაცია მხოლოდ აკადემიური საკითხი არ არის - ეს არის ის, რაც თავდაჯერებულობას ქმედითს. თანამედროვე ნეირონული ქსელების კლასიკური აღმოჩენა ის არის, რომ თავდაჯერებულობის ქულა შეიძლება არ შეესაბამებოდეს ნამდვილ სისწორეს, თუ მას აშკარად არ დაკალიბრებთ ან არ გაზომავთ. [3]

თუ თქვენი მილსადენი იყენებს ისეთ ზღურბლებს, როგორიცაა „ავტომატურად დამტკიცება 0.9-ზე მეტი“, კალიბრაცია არის განსხვავება „ავტომატიზაციასა“ და „ავტომატიზირებულ ქაოსს“ შორის

7) როგორ ფასდება ხელოვნური ინტელექტის სიზუსტე სხვადასხვა ტიპის ხელოვნური ინტელექტისთვის 🧩📚

კლასიკური პროგნოზირების მოდელებისთვის (კლასიფიკაცია/რეგრესია) 📊

საერთო მეტრიკები:

• სიზუსტე, სიზუსტე, გახსენება, F1

• ROC-AUC / PR-AUC (ხშირად უკეთესია დისბალანსირებული პრობლემების დროს)

• კალიბრაციის შემოწმებები (საიმედოობის მრუდები, მოსალოდნელი კალიბრაციის შეცდომის სტილის აზროვნება) [3]

ენობრივი მოდელებისა და ასისტენტებისთვის 💬

შეფასება მრავალგანზომილებიანია:

• სისწორე (სადაც დავალებას აქვს სიმართლის პირობა)

• ინსტრუქციის შესრულება

• უსაფრთხოება და უარის თქმის ქცევა (კარგი უარის თქმა უცნაურად რთულია)

• ფაქტობრივი დასაბუთება / ციტირების დისციპლინა (როდესაც თქვენი გამოყენების შემთხვევა ამას მოითხოვს)

• სიმტკიცე სხვადასხვა მოთხოვნებსა და მომხმარებლის სტილებს შორის

„ჰოლისტური“ შეფასების აზროვნების ერთ-ერთი დიდი წვლილი ამ საკითხის ნათლად ჩამოყალიბებაა: თქვენ გჭირდებათ მრავალი მეტრიკა მრავალ სცენარში, რადგან კომპრომისები რეალურია. [5]

LLM-ებზე აგებული სისტემებისთვის (სამუშაო პროცესები, აგენტები, მონაცემების მოძიება) 🧰

ახლა თქვენ აფასებთ მთელ მილსადენს:

• მოძიების ხარისხი (სწორი ინფორმაცია მოიძია?)

• ინსტრუმენტის ლოგიკა (მიჰყვებოდა თუ არა ის პროცესს?)

• გამომავალი ხარისხი (სწორი და სასარგებლოა?)

• დამცავი მოაჯირები (აცილებდა თუ არა ეს სარისკო ქცევას თავიდან?)

• მონიტორინგი (შენიშნეთ თუ არა შეცდომები რეალურ დროში?) [1]

სუსტი რგოლის არსებობამ შეიძლება მთელი სისტემა „არაზუსტად“ წარმოაჩინოს, მაშინაც კი, თუ საბაზისო მოდელი წესიერია.

8) შედარების ცხრილი: პრაქტიკული გზები „რამდენად ზუსტია ხელოვნური ინტელექტი?“ შესაფასებლად 🧾⚖️

ფორმატირების უცნაურობის აღიარება: „უფასო“ აქ ბევრს აკეთებს, რადგან რეალური ღირებულება ხშირად ადამიან-საათებია და არა ლიცენზიები 😅

9) როგორ გავხადოთ ხელოვნური ინტელექტი უფრო ზუსტი (პრაქტიკული ბერკეტები) 🔧✨

უკეთესი მონაცემები და უკეთესი ტესტები 📦🧪

• კიდის კორპუსების გაფართოება

• იშვიათი, მაგრამ კრიტიკული სცენარების დაბალანსება

• შეინარჩუნეთ „ოქროს ნაკრები“, რომელიც წარმოადგენს მომხმარებლის რეალურ ტკივილს (და განაახლეთ იგი მუდმივად)

ფაქტობრივი ამოცანების დასაბუთება 📚🔍

თუ ფაქტობრივი სანდოობა გჭირდებათ, გამოიყენეთ სისტემები, რომლებიც იღებენ სანდო დოკუმენტებიდან და პასუხობენ მათზე დაყრდნობით. გენერაციული ხელოვნური ინტელექტის რისკების შესახებ ბევრი ინსტრუქცია ფოკუსირებულია დოკუმენტაციაზე, წარმომავლობასა და შეფასების პარამეტრებზე, რომლებიც ამცირებენ შეთხზულ შინაარსს და არა მხოლოდ იმედოვნებენ, რომ მოდელი „კარგად იქცევა“. [2]

უფრო ძლიერი შეფასების მარყუჟები 🔁

• ყველა მნიშვნელოვან ცვლილებაზე შეფასების გაშვება

• დააკვირდით რეგრესიებს

• სტრეს-ტესტი უცნაური მოთხოვნებისა და მავნე შეყვანისთვის

წაახალისეთ დაკალიბრებული ქცევა 🙏

• ნუ დასჯით ზედმეტად მკაცრად „არ ვიცი“-სთვის

• შეაფასეთ არა მხოლოდ პასუხების მაჩვენებელი, არამედ თავის დანებების ხარისხიც

• თავდაჯერებულობა ისეთ რამედ მოეპყარით, რასაც ზომავთ და ადასტურებთდა არა ისეთად, რასაც ზეპირად იღებთ [3]

10) სწრაფი ინტუიციის შემოწმება: როდის უნდა ენდოთ ხელოვნური ინტელექტის სიზუსტეს? 🧭🤔

უფრო მეტად ენდე, როდესაც:

• დავალება ვიწრო და განმეორებადია

• გამომავალი მონაცემების ავტომატურად შემოწმება შესაძლებელია

• სისტემა კონტროლდება და განახლდება

• ნდობა დაკალიბრებულია და მას შეუძლია თავი შეიკავოს [3]

ნაკლებად ენდო, როდესაც:

• ფსონები მაღალია და შედეგები რეალურია

• მოთხოვნა ღიაა („მომიყევი ყველაფერი...“) 😵💫

• არ არსებობს დამიწების ნებართვა, ვერიფიკაციის ეტაპი და ადამიანის მიერ განხილვის შესაძლებლობა

• სისტემა ნაგულისხმევად თავდაჯერებულად მუშაობს [2]

ოდნავ მცდარი მეტაფორა: მაღალი ფსონების მქონე გადაწყვეტილებებისთვის დაუდასტურებელ ხელოვნურ ინტელექტზე დაყრდნობა ჰგავს მზეზე დამწვარი სუშის ჭამას... შეიძლება კარგი იყოს, მაგრამ შენი კუჭი რისკავს, რომელზეც ხელი არ მოგიწერია.

11) დასკვნითი შენიშვნები და მოკლე შეჯამება 🧃✅

მაშ ასე, რამდენად ზუსტია ხელოვნური ინტელექტი?
ხელოვნური ინტელექტი შეიძლება წარმოუდგენლად ზუსტი იყოს - მაგრამ მხოლოდ განსაზღვრულ ამოცანასთან, გაზომვის მეთოდთან და მის მიერ განლაგებულ გარემოსთან მიმართებაში. გენერაციული ხელოვნური ინტელექტის შემთხვევაში კი „სიზუსტე“ ხშირად ნაკლებად ეხება ერთ ქულას და უფრო მეტად სანდო სისტემის დიზაინს: დამიწებას, კალიბრაციას, დაფარვას, მონიტორინგს და პატიოსან შეფასებას. [1][2][5]

მოკლე შეჯამება 🎯

• „სიზუსტე“ ერთი ქულა არ არის - ეს არის სისწორე, კალიბრაცია, სიმტკიცე, სანდოობა და (გენერაციული ხელოვნური ინტელექტისთვის) სიმართლის ცნება. [1][2][3]

• საორიენტაციო მაჩვენებლები გვეხმარება, მაგრამ გამოყენების შემთხვევების შეფასება პატიოსნებას გინარჩუნებთ. [5]

• თუ ფაქტობრივი სანდოობა გჭირდებათ, დაამატეთ დასაბუთება + ვერიფიკაციის ნაბიჯები + თავის შეკავების შეფასება. [2]

• სასიცოცხლო ციკლის შეფასება ზრდასრულთა მიდგომაა... მაშინაც კი, თუ ის ნაკლებად საინტერესოა, ვიდრე ლიდერბორდის ეკრანის ანაბეჭდი. [1]

რეალური მაგალითი: ხელოვნური ინტელექტის დამხმარე ასისტენტის გაზომვა

სცენარი

წარმოიდგინეთ, რომ პატარა SaaS კომპანიას სურს ხელოვნური ინტელექტის გამოყენებით შემომავალი დახმარების ბილეთები ოთხ რიგში დაალაგოს:

ანგარიშსწორება

შესვლის პრობლემები

შეცდომების შესახებ ანგარიშები

ფუნქციების მოთხოვნები

კომპანია არ აძლევს მომხმარებლებს პირდაპირ პასუხის გაცემის საშუალებას. მისი ამოცანა უფრო ვიწროა: ბილეთის წაკითხვა, სწორი რიგის არჩევა, სანდოობის ქულის მინიჭება და ნებისმიერი გაურკვეველი ნივთის ადამიანის განსახილველად მონიშვნა.

ეს სიზუსტის პრობლემის შემოწმებას გაცილებით აადვილებს. არსებობს მკაფიო „სწორი“ რიგი, ადამიანს შეუძლია შეცდომების გადახედვა და გუნდს შეუძლია გაზომოს, ეხმარება თუ არა ხელოვნური ინტელექტი, უბრალოდ დამხმარედ ჟღერადობის ნაცვლად.

რა სჭირდება ასისტენტს

ამის სათანადოდ შესამოწმებლად, გუნდი ამზადებს:

100 რეალური ან რეალისტური დახმარების ბილეთისგან შემდგარი ეტიკეტირებული სატესტო ნაკრები

თითოეული ბილეთისთვის სწორი რიგი, შეთანხმებული ადამიანური მიმომხილველის მიერ

მოკლე პოლიტიკა, რომელიც განმარტავს, თუ რა უნდა იყოს თითოეულ რიგში

წესი, რომელიც ასისტენტმა უნდა თქვას „საჭიროებს ადამიანის მიერ განხილვას“, როდესაც ნდობა დაბალია

მარტივი თვალთვალის ფურცელი, რომელიც შეიცავს: ბილეთის ID-ს, ხელოვნური ინტელექტის რიგს, ადამიანის რიგს, ნდობის ქულას, განხილვის შედეგს და დახარჯულ დროს

მაგალითი ინსტრუქცია

თქვენ ხართ მხარდაჭერის დახარისხების ასისტენტი. წაიკითხეთ მომხმარებლის შეტყობინება და მიაკუთვნეთ ის ერთ რიგს: ანგარიშსწორება, შესვლის პრობლემები, შეცდომების შესახებ ანგარიშები, ფუნქციების მოთხოვნები ან საჭიროებს ადამიანის მიერ განხილვას.

გამოიყენეთ „ბილინგი“ ინვოისების, თანხის დაბრუნების, გადახდის ჩავარდნების, გეგმის ცვლილებებისა და გამოწერის შესახებ კითხვებისთვის.

პაროლის გადატვირთვის, ანგარიშზე წვდომის, ორფაქტორიანი ავთენტიფიკაციის, დაბლოკილი ანგარიშების ან ელფოსტის დადასტურების პრობლემებისთვის გამოიყენეთ შესვლის პრობლემები.

გამოიყენეთ შეცდომების ანგარიშები გაუმართავი ფუნქციების, შეცდომის შეტყობინებების, დაკარგული მონაცემების, ავარიების ან პროდუქტის დოკუმენტაციასთან შეუსაბამო ქცევის შემთხვევაში.

გამოიყენეთ ფუნქციების მოთხოვნები, როდესაც მომხმარებელი ითხოვს ახალ შესაძლებლობას, ინტეგრაციას, პარამეტრს ან სამუშაო პროცესის გაუმჯობესებას.

თუ შეტყობინება ორაზროვანია, შეიცავს ერთზე მეტ პრობლემას ან შეიძლება გავლენა იქონიოს უსაფრთხოებაზე ან კონფიდენციალურობაზე, აირჩიეთ „საჭიროა ადამიანის მიერ განხილვა“.

დაბრუნება: რიგი, სანდოობა 0-დან 100-მდე, ერთწინადადებადი მიზეზი და უნდა შეამოწმოს თუ არა ის ადამიანმა.

როგორ გამოვცადოთ ის

სისტემის წარმოებაში ენდობამდე, დაიწყეთ პატარა „ოქროს ნაკრებით“.

მაგალითად:

20 გადახდის ბილეთი

20 შესვლის ბილეთი

20 შეცდომის შესახებ ანგარიში

20 ფუნქციის მოთხოვნა

20 ჩახლართული ან ბუნდოვანი ბილეთი

შემდეგ გაუშვით ასისტენტი ყველა 100 ბილეთზე და შეადარეთ მის მიერ არჩეული რიგი ადამიანის მიერ დამტკიცებულ რიგს.

სასარგებლო შემოწმებები მოიცავს:

საერთო სიზუსტე: რამდენი ბილეთი მოხვდა სწორ რიგში?

რიგის მიხედვით სიზუსტე: როდესაც ხელოვნური ინტელექტი ამბობს „ანგარიშსწორება“, რა სიხშირით აფორმებს ის ანგარიშსწორებას?

რიგის მიხედვით გახსენება: რამდენი რეალური გადახდის ბილეთი დაიჭირა?

ესკალაციის ხარისხი: სწორად გაგზავნა ჩახლართული ბილეთები ადამიანის განხილვისთვის?

კალიბრაცია: როდესაც 90%-იანი ან მეტი სანდოობა იყო მითითებული, უმეტეს შემთხვევაში სწორი იყო ეს?

შედეგი

საილუსტრაციო შედეგი: დაფუძნებულია 100 ნიმუშის ბილეთის დროის გაანგარიშებაზე ამ სამუშაო პროცესის გამოყენებამდე და მის შემდეგ.

ასისტენტის გამოყენებამდე, მხარდაჭერის ხელმძღვანელი თითოეული ბილეთის წაკითხვასა და ხელით მარშრუტიზაციას დაახლოებით 2 წუთსა და 30 წამს უთმობდა. 100 ბილეთის შემთხვევაში, ეს დაახლოებით 250 წუთიანი დახარისხების სამუშაო იყო.

ასისტენტის გამოყენების შემდეგ, მხარდაჭერის ხელმძღვანელმა მხოლოდ ხელოვნური ინტელექტის მიერ არჩეული რიგი გადახედა და დაბალი სანდოობის შემთხვევები შეამოწმა. განხილვის დრო თითო ბილეთზე დაახლოებით 55 წამამდე, ანუ დაახლოებით 92 წუთამდე 100 ბილეთისთვის.

ეს დაახლოებით 158 წუთის დაზოგვას ნიშნავს 100 ბილეთზე, რაც დაახლოებით 63%-ით ამცირებს დახარისხების დროს.

გამოგონილი 100-ბილეთიანი ტესტის სიზუსტე ასე გამოიყურებოდა:

რიგის საერთო სიზუსტე: 87/100 ბილეთი სწორია

მაღალი სანდოობის ბილეთები 85%-ზე მეტი: 61 ბილეთი

მაღალი სანდოობის ბილეთების სიზუსტე: 58/61 სწორია

ადამიანის მიერ განსახილველად გაგზავნილი ბილეთები: 18 ბილეთი

ორაზროვანი ბილეთები სწორად გაიზარდა: 15/20

მნიშვნელოვანი დეტალი მხოლოდ 87%-იანი სიზუსტე არ არის. უფრო უსაფრთხო შედეგი ის არის, რომ ასისტენტი უფრო ზუსტი იყო, როდესაც თავდაჯერებული იყო და ბევრი ბუნდოვანი შემთხვევა ადამიანს გადასცა ვარაუდის ნაცვლად. ეს არის განსხვავება სასარგებლო ავტომატიზაციასა და თავდაჯერებულ სისულელეს შორის.

რა შეიძლება არასწორად წავიდეს

ყველაზე გავრცელებული შეცდომა მხოლოდ სუფთა მაგალითების ტესტირებაა. რეალური ბილეთები ჩახლართულია. მომხმარებელმა შეიძლება დაწეროს: „ორჯერ ჩამომაჭრა თანხა და ახლა ვერ შევდივარ“. ეს შეიძლება იყოს გადახდა, შესვლის პრობლემები ან ადამიანის მიერ განხილვის საჭიროება, კომპანიის პროცესის მიხედვით.

სხვა რისკები მოიცავს:

ძველი ბილეთების გამოყენება, რომლებიც აღარ შეესაბამება პროდუქტს

ხელოვნური ინტელექტისთვის ისეთი პოლიტიკის წესების გამოგონების ნებართვა, რომლებიც დამხმარე სახელმძღვანელოში არ არის

სანდოობის ქულების სანდოდ აღქმა კალიბრაციის შემოწმების გარეშე

მხოლოდ საერთო სიზუსტის გაზომვა და ერთ რიგში ცუდი შესრულების გამოტოვება

„ადამიანის მიერ განხილვას საჭიროებს“ იმდენად მკაცრად დასჯა, რომ ასისტენტი გამოცნობას იწყებს

კარგი ტესტი სწორად უნდა აჯილდოებდეს ესკალაციას. ბიზნეს პროცესების უმეტესობისთვის „დარწმუნებული არ ვარ“ წარუმატებლობას არ ნიშნავს. ეს უსაფრთხოების ფუნქციაა.

პრაქტიკული რჩევები

კითხვაზე „რამდენად ზუსტია ხელოვნური ინტელექტი?“ პასუხის გაცემის საუკეთესო გზაა, შეწყვიტოთ მისი აბსტრაქტულად დასმა. აირჩიეთ ერთი დავალება, შექმენით მცირე სატესტო ნაკრები, განსაზღვრეთ, რა ითვლება სწორად, გაზომეთ შეცდომები კატეგორიის მიხედვით და შეამოწმეთ, იცის თუ არა ხელოვნურმა ინტელექტმა, როდის უნდა გადასცეს დავალება ადამიანს. ეს გაძლევთ კონკრეტულ სიზუსტის რიცხვს, რომლის გაუმჯობესებაც შეგიძლიათ - და არა მხოლოდ დახვეწილ საორიენტაციო ქულას.

ხშირად დასმული კითხვები

ხელოვნური ინტელექტის სიზუსტე პრაქტიკულ გამოყენებაში

ხელოვნური ინტელექტი შეიძლება იყოს უკიდურესად ზუსტი, როდესაც დავალება ვიწრო, კარგად განსაზღვრული და დაკავშირებულია იმ ნათელ ჭეშმარიტებასთან, რომლის შეფასებაც შეგიძლიათ. საწარმოო გამოყენებისას „სიზუსტე“ დამოკიდებულია იმაზე, ასახავს თუ არა თქვენი შეფასების მონაცემები ხმაურიან მომხმარებლის შეყვანას და იმ პირობებს, რომლებსაც თქვენი სისტემა შეხვდება საველე პირობებში. რაც უფრო ღია ხდება დავალებები (მაგალითად, ჩატბოტები), შეცდომები და თავდაჯერებული ჰალუცინაციები უფრო ხშირად ჩნდება, თუ არ დაამატებთ დამიწებას, ვერიფიკაციას და მონიტორინგს.

რატომ არ არის „სიზუსტე“ ერთადერთი ქულა, რომელსაც ენდობით

ადამიანები „სიზუსტეს“ სხვადასხვა მნიშვნელობით იყენებენ: სიზუსტე, სიზუსტე vs. დამახსოვრება, კალიბრაცია, სიმტკიცე და სანდოობა. მოდელი შეიძლება შესანიშნავად გამოიყურებოდეს სუფთა სატესტო ნაკრებზე, შემდეგ კი წაბორძიკდეს ფრაზის შეცვლის, მონაცემების გადახრის ან ფსონების შეცვლის დროს. ნდობაზე ორიენტირებული შეფასება იყენებს მრავალ მეტრიკასა და სცენარს, ერთი რიცხვის უნივერსალურ განაჩენად მიჩნევის ნაცვლად.

კონკრეტული ამოცანისთვის ხელოვნური ინტელექტის სიზუსტის გაზომვის საუკეთესო გზა

დაიწყეთ დავალების განსაზღვრით ისე, რომ „სწორი“ და „არასწორი“ იყოს ტესტირებადი და არა ბუნდოვანი. გამოიყენეთ წარმომადგენლობითი, ხმაურიანი ტესტის მონაცემები, რომლებიც ასახავს რეალურ მომხმარებლებს და ზღვრულ შემთხვევებს. აირჩიეთ მეტრიკები, რომლებიც შეესაბამება შედეგებს, განსაკუთრებით დაუბალანსებელი ან მაღალი რისკის მქონე გადაწყვეტილებების შემთხვევაში. შემდეგ დაამატეთ განაწილების მიღმა სტრეს-ტესტები და განაგრძეთ ხელახალი შეფასება დროთა განმავლობაში, თქვენი გარემოს განვითარებასთან ერთად.

როგორ აყალიბებს სიზუსტე და გახსენება სიზუსტეს პრაქტიკაში

სიზუსტე და გამოძახება სხვადასხვა წარუმატებლობის ხარჯებთან არის დაკავშირებული: სიზუსტე ხაზს უსვამს ცრუ განგაშის თავიდან აცილებას, ხოლო გამოძახება - ყველაფრის დაჭერას. თუ სპამს ფილტრავთ, რამდენიმე გამოტოვება შეიძლება მისაღები იყოს, მაგრამ ცრუ დადებითმა შედეგებმა შეიძლება მომხმარებლები გააღიზიანოს. სხვა შემთხვევებში, იშვიათი, მაგრამ კრიტიკული შემთხვევების გამოტოვება უფრო მნიშვნელოვანია, ვიდრე დამატებითი დროშები. სწორი ბალანსი დამოკიდებულია იმაზე, თუ რა „არასწორ“ ხარჯებს იწვევს თქვენს სამუშაო პროცესში.

რა არის კალიბრაცია და რატომ არის ის მნიშვნელოვანი სიზუსტისთვის

კალიბრაცია ამოწმებს, შეესაბამება თუ არა მოდელის სანდოობა რეალობას - როდესაც ის ამბობს „90%-ით დარწმუნებული“, მართალია თუ არა ის შემთხვევათა დაახლოებით 90%-ში? ეს მნიშვნელოვანია, როდესაც ზღურბლებს, მაგალითად, ავტომატურ დამტკიცებას 0.9-ზე მეტს აყენებთ. ორ მოდელს შეიძლება ჰქონდეს მსგავსი სიზუსტე, მაგრამ უკეთ დაკალიბრებული მოდელი უფრო უსაფრთხოა, რადგან ის ამცირებს ზედმეტად თავდაჯერებულ არასწორ პასუხებს და ხელს უწყობს უფრო ჭკვიანურ თავშეკავებას.

გენერაციული ხელოვნური ინტელექტის სიზუსტე და რატომ ხდება ჰალუცინაციები

გენერაციულ ხელოვნურ ინტელექტს შეუძლია შექმნას გამართული, დამაჯერებელი ტექსტი მაშინაც კი, როდესაც ის ფაქტებზე არ არის დაფუძნებული. სიზუსტის დადგენა უფრო რთულია, რადგან ბევრი მოთხოვნა იძლევა მრავალი მისაღები პასუხის საშუალებას და მოდელების ოპტიმიზაცია შესაძლებელია „სასარგებლო“ ეფექტისთვის და არა მკაცრი სიზუსტისთვის. ჰალუცინაციები განსაკუთრებით სარისკო ხდება, როდესაც გამომავალი მონაცემები მაღალი სანდოობით მოდის. ფაქტობრივი გამოყენების შემთხვევებისთვის, სანდო დოკუმენტებზე დაყრდნობა და გადამოწმების ნაბიჯები ხელს უწყობს შეთხზული შინაარსის შემცირებას.

განაწილების ცვლისა და განაწილების გარეთ არსებული შეყვანის ტესტირება

როდესაც სამყარო იცვლება, დისტრიბუციის შიდა საორიენტაციო ნიშნულებს შეუძლიათ შესრულების გადაჭარბება. ტესტირება ჩაატარეთ უჩვეულო ფრაზირებით, ორთოგრაფიული შეცდომებით, ორაზროვანი შეყვანით, ახალი დროის პერიოდებითა და ახალი კატეგორიებით, რათა ნახოთ, სად იშლება სისტემა. WILDS-ის მსგავსი საორიენტაციო ნიშნულები ამ იდეის გარშემოა აგებული: მონაცემების ცვლილებისას შესრულება შეიძლება მკვეთრად დაეცეს. სტრეს-ტესტირება შეფასების ძირითად ნაწილად მიიჩნიეთ და არა სასიამოვნო მოვლენად.

დროთა განმავლობაში ხელოვნური ინტელექტის სისტემის უფრო ზუსტი გახდომა

გააუმჯობესეთ მონაცემები და ტესტები უკიდურესი შემთხვევების გაფართოებით, იშვიათი, მაგრამ კრიტიკული სცენარების დაბალანსებით და „ოქროს ნაკრების“ შენარჩუნებით, რომელიც ასახავს მომხმარებლის რეალურ პრობლემას. ფაქტობრივი ამოცანებისთვის დაამატეთ დამიწება და ვერიფიკაცია, იმის ნაცვლად, რომ იმედი გქონდეთ, რომ მოდელი კარგად იმუშავებს. ჩაატარეთ შეფასება ყველა მნიშვნელოვან ცვლილებაზე, დააკვირდით რეგრესიებს და აკონტროლეთ წარმოების პროცესში გადახრები. ასევე შეაფასეთ თავშეკავება, რათა „არ ვიცი“ არ გადაიზარდოს თავდაჯერებულ ვარაუდში.

ცნობები

[1] NIST AI RMF 1.0 (NIST AI 100-1): პრაქტიკული ჩარჩო ხელოვნური ინტელექტის რისკების იდენტიფიცირების, შეფასებისა და მართვისთვის მთელი სასიცოცხლო ციკლის განმავლობაში. წაიკითხეთ მეტი
[2] NIST გენერაციული ხელოვნური ინტელექტის პროფილი (NIST AI 600-1): ხელოვნური ინტელექტის RMF-ის თანმხლები პროფილი, რომელიც ფოკუსირებულია გენერაციული ხელოვნური ინტელექტის სისტემებისთვის სპეციფიკურ რისკებზე. წაიკითხეთ მეტი
[3] გუო და სხვ. (2017) - თანამედროვე ნეირონული ქსელების კალიბრაცია: საფუძვლო ნაშრომი, რომელიც აჩვენებს, თუ როგორ შეიძლება თანამედროვე ნეირონული ქსელების არასწორად კალიბრაცია და როგორ შეიძლება კალიბრაციის გაუმჯობესება. წაიკითხეთ მეტი
[4] კოჰ და სხვ. (2021) - WILDS საორიენტაციო კომპლექტი: საორიენტაციო კომპლექტი, რომელიც შექმნილია მოდელის მუშაობის შესამოწმებლად რეალურ სამყაროში განაწილების ცვლილებების პირობებში. წაიკითხეთ მეტი
[5] ლიანგი და სხვ. (2023) - HELM (ენობრივი მოდელების ჰოლისტიკური შეფასება): ჩარჩო ენობრივი მოდელების შესაფასებლად სცენარებსა და მეტრიკებში რეალური კომპრომისების გამოსავლენად. წაიკითხეთ მეტი

იპოვეთ უახლესი ხელოვნური ინტელექტი ოფიციალურ ხელოვნური ინტელექტის ასისტენტების მაღაზიაში

ჩვენს შესახებ