ოდესმე გიფიქრიათ დილის 2 საათზე და დასვათ კითხვა, თუ რა არის ხელოვნური ინტელექტის მოდელები და რატომ საუბრობენ ყველა მათზე ისე, თითქოს ისინი ჯადოსნური შელოცვები იყვნენ? იგივეა. ეს სტატია ჩემი არც თუ ისე ფორმალური, ზოგჯერ მიკერძოებული ინსტრუქციაა, რომელიც „წარმოდგენა არ მაქვს“-დან „საშიშად თავდაჯერებულ ვახშმებზე“ გადაგიყვანთ. ჩვენ განვიხილავთ: რას წარმოადგენენ ისინი, რა ხდის მათ რეალურად სასარგებლოს (და არა მხოლოდ ბრწყინვალეს), როგორ წვრთნიან, როგორ აირჩიონ ისინი ყოყმანის გარეშე და რამდენიმე ხაფანგს, რომელთა შესახებაც მხოლოდ მაშინ იგებთ, როცა უკვე მტკივნეულია.
სტატიები, რომელთა წაკითხვაც შეიძლება მოგეწონოთ ამის შემდეგ:
🔗 რა არის ხელოვნური ინტელექტის არბიტრაჟი: სიმართლე პოპულარული სიტყვის მიღმა
განმარტავს ხელოვნური ინტელექტის არბიტრაჟს, მის აჟიოტაჟს და რეალურ შესაძლებლობებს.
🔗 რა არის სიმბოლური ხელოვნური ინტელექტი: ყველაფერი, რაც უნდა იცოდეთ
მოიცავს სიმბოლურ ხელოვნურ ინტელექტს, მის მეთოდებსა და თანამედროვე გამოყენებებს.
🔗 ხელოვნური ინტელექტის მონაცემთა შენახვის მოთხოვნები: რა უნდა იცოდეთ
აანალიზებს ხელოვნური ინტელექტის მონაცემთა შენახვის საჭიროებებს და პრაქტიკულ მოსაზრებებს.
მაშ ასე… სინამდვილეში რა არის ხელოვნური ინტელექტის მოდელები? 🧠
შესწავლილი ფუნქციაა . თქვენ მას აძლევთ შეყვანის მონაცემებს, ის კი გამომავალ მონაცემებს იძლევა. საქმე იმაშია, რომ ის ხსნის, თუ როგორ უნდა გააკეთო ეს უამრავი მაგალითის დამუშავებით და ყოველ ჯერზე „ნაკლები შეცდომების“ გამოსავლენად. ეს რამდენჯერმე გაიმეორეთ და ის დაიწყებს ისეთი ნიმუშების აღმოჩენას, რომელთა არსებობაც კი არ წარმოგიდგენიათ.
თუ გსმენიათ ისეთი სახელები, როგორიცაა წრფივი რეგრესია, გადაწყვეტილების ხეები, ნეირონული ქსელები, ტრანსფორმატორები, დიფუზიური მოდელები ან თუნდაც k-უახლოესი მეზობლები - დიახ, ეს ყველაფერი ერთი და იგივე თემის რიფებია: მონაცემები შედის, მოდელი სწავლობს შესაბამისობას, შედეგი გამოდის. სხვადასხვა კოსტიუმები, იგივე შოუ.
რით განსხვავდება სათამაშოები ნამდვილი ხელსაწყოებისგან ✅
ბევრი მოდელი დემო ვერსიით შესანიშნავად გამოიყურება, მაგრამ წარმოებაში კრახით მთავრდება. ის მოდელები, რომლებიც რჩებიან, როგორც წესი, ზრდასრულ ასაკში დამახასიათებელი თვისებების მოკლე ჩამონათვალს იზიარებენ:
-
განზოგადება - ამუშავებს მონაცემებს, რომლებიც არასდროს უნახავთ, დაშლის გარეშე.
-
საიმედოობა - არ მოქმედებს როგორც მონეტის აგდება, როდესაც შეყვანის მონაცემები უცნაური ხდება.
-
უსაფრთხოება და დაცულობა - უფრო რთულია თამაშის ან ბოროტად გამოყენების განხორციელება.
-
ახსნადობა - ყოველთვის არ არის კრისტალურად ნათელი, მაგრამ სულ მცირე, გამართვადი.
-
კონფიდენციალურობა და სამართლიანობა - პატივს სცემს მონაცემთა საზღვრებს და არ არის მიკერძოებული.
-
ეფექტურობა - საკმარისად ხელმისაწვდომი ფასი მასშტაბური მუშაობისთვის.
ეს ძირითადად ისაა, რაც „სარეცხი სიის“ მარეგულირებლებსა და რისკების ჩარჩოებსაც უყვართ - ვალიდურობა, უსაფრთხოება, ანგარიშვალდებულება, გამჭვირვალობა, სამართლიანობა და ყველა ის უდიდესი მიღწევა. თუმცა, გულწრფელად რომ ვთქვათ, ეს ისეთი რამ არ არის, რაც სასიამოვნოა; თუ ადამიანები თქვენს სისტემაზე არიან დამოკიდებულნი, ისინი ფსონები არიან.
სწრაფი შემოწმება სიჯანსაღისთვის: მოდელები vs ალგორითმები vs მონაცემები 🤷
აქ მოცემულია სამნაწილიანი გაყოფა:
-
მოდელი - შესწავლილი „რამ“, რომელიც შემავალ მონაცემებს გამოსავალად გარდაქმნის.
-
ალგორითმი - რეცეპტი, რომელიც ავარჯიშებს ან ამუშავებს მოდელს (წარმოიდგინეთ გრადიენტული დაღმართი, სხივის ძებნა).
-
მონაცემები - ნედლი მაგალითები, რომლებიც მოდელს ასწავლის, თუ როგორ უნდა მოიქცეს.
ოდნავ უხერხული მეტაფორა: მონაცემები თქვენი ინგრედიენტებია, ალგორითმი რეცეპტია, მოდელი კი ნამცხვარი. ზოგჯერ ის გემრიელია, ზოგჯერ კი შუაში იძირება, რადგან ძალიან ადრე ჩახედეთ.
ხელოვნური ინტელექტის მოდელების ოჯახები, რომლებსაც რეალურად შეხვდებით 🧩
უსასრულო კატეგორიები არსებობს, მაგრამ აქ არის პრაქტიკული სია:
-
ხაზოვანი და ლოგისტიკური მოდელები - მარტივი, სწრაფი, ინტერპრეტირებადი. ცხრილური მონაცემების საბაზისო ხაზები კვლავ დაუმარცხებელია.
-
ხეები და ანსამბლები - გადაწყვეტილების ხეები „თუ-მაშინ“ ტიპის გაყოფებია; თუ ტყეს გააერთიანებთ ან მათ გავაძლიერებთ, ისინი გასაოცრად ძლიერები იქნებიან.
-
კონვოლუციური ნეირონული ქსელები (CNN) - გამოსახულების/ვიდეოს ამოცნობის ხერხემალი. ფილტრები → კიდეები → ფორმები → ობიექტები.
-
თანმიმდევრობის მოდელები: RNN-ები და ტრანსფორმერები - ტექსტისთვის, მეტყველებისთვის, ცილებისთვის, კოდისთვის. ტრანსფორმერების თვითყურადღება თამაშის წესების შემცვლელი იყო [3].
-
დიფუზიური მოდელები - გენერაციული, შემთხვევით ხმაურს ეტაპობრივად თანმიმდევრულ სურათებად გარდაქმნიან [4].
-
გრაფიკული ნეირონული ქსელები (GNN) - აგებულია ქსელებისა და ურთიერთობებისთვის: მოლეკულები, სოციალური გრაფიკები, თაღლითობის რგოლები.
-
გაძლიერებული სწავლება (RL) - ცდისა და შეცდომის აგენტები, რომლებიც ოპტიმიზაციას უკეთებენ ჯილდოს. დაფიქრდით რობოტიკაზე, თამაშებზე, თანმიმდევრულ გადაწყვეტილებებზე.
-
ძველი სანდო მონაცემები: kNN, Naive Bayes გუშინ გჭირდებათ .
შენიშვნა: ცხრილურ მონაცემებთან დაკავშირებით, ნუ გაართულებთ მას ზედმეტად. ლოგისტიკური რეგრესია ან გაძლიერებული ხეები ხშირად ღრმა ბადებს აწყდება. ტრანსფორმერები შესანიშნავია, უბრალოდ ყველგან არა.
როგორ გამოიყურება ვარჯიში კაპოტის ქვეშ 🔧
დანაკარგის ფუნქციის მინიმიზაციით გრადიენტული დაღმართის რაიმე ფორმის მეშვეობით . უკუგავრცელება კორექტირებას უკან გადააქვს, რათა თითოეულმა პარამეტრმა იცოდეს, როგორ იმოძრაოს. დაამატეთ ხრიკები, როგორიცაა ადრეული გაჩერება, რეგულარიზაცია ან ჭკვიანი ოპტიმიზატორები, რათა ქაოსში არ გადაიზარდოს.
რეალობის შემოწმება, რომელიც ღირს მაგიდის ზემოთ ლენტით გადაკვრა:
-
მონაცემთა ხარისხი > მოდელის არჩევანი. სერიოზულად.
-
ყოველთვის საბაზისო ნიშნული მარტივით უნდა იყოს. თუ წრფივი მოდელი არასტაბილურია, თქვენი მონაცემთა არხიც, სავარაუდოდ, არასტაბილურია.
-
დააკვირდით ვალიდაციას. თუ ვარჯიშის დროს დანაკარგი მცირდება, მაგრამ ვალიდაციის დანაკარგი იზრდება - გამარჯობა, ზედმეტად ვარჯიში.
მოდელების შეფასება: სიზუსტე მდგომარეობს 📏
სიზუსტე კარგად ჟღერს, მაგრამ საშინელი ერთი რიცხვია. თქვენი ამოცანიდან გამომდინარე:
-
სიზუსტე - როდესაც დადებითს ამბობ, რამდენად ხშირად მართალი ხარ?
-
გაიხსენეთ - ყველა რეალური დადებითი მახასიათებლიდან, რამდენი აღმოაჩინეთ?
-
F1 - აბალანსებს სიზუსტესა და დამახსოვრებას.
-
PR მრუდები - განსაკუთრებით დაუბალანსებელ მონაცემებზე, გაცილებით უფრო გულწრფელია, ვიდრე ROC [5].
ბონუსი: შეამოწმეთ კალიბრაცია (მნიშვნელობა აქვს თუ არა ალბათობებს რამეს?) და დრიფტი (იცვლება თუ არა თქვენი შეყვანილი მონაცემები თქვენს ფეხქვეშ?). „შესანიშნავი“ მოდელიც კი ძველდება.
მმართველობა, რისკი, გზის წესები 🧭
როგორც კი თქვენი მოდელი ადამიანებს შეეხება, შესაბამისობა მნიშვნელოვანია. ორი მნიშვნელოვანი ფაქტორი:
-
NIST-ის ხელოვნური ინტელექტის მართვის მექანიზმი (AI RMF) - ნებაყოფლობითი, მაგრამ პრაქტიკული, სასიცოცხლო ციკლის ეტაპებით (მმართველობა, რუკაზე დატანა, გაზომვა, მართვა) და სანდოობის ჩარჩოებით [1].
-
ევროკავშირის ხელოვნური ინტელექტის აქტი - რისკებზე დაფუძნებული რეგულაცია, რომელიც უკვე ძალაშია 2024 წლის ივლისიდან და მკაცრ ვალდებულებებს აწესებს მაღალი რისკის მქონე სისტემებისთვის და ზოგიერთი ზოგადი დანიშნულების მოდელისთვისაც კი [2].
პრაგმატული დასკვნა: დოკუმენტირება მოახდინეთ, თუ რა შექმენით, როგორ გამოსცადეთ და რა რისკები შეამოწმეთ. ეს დაგიზოგავთ შუაღამისას გადაუდებელი ზარების გამოძახების საშუალებას.
მოდელის არჩევა გონების დაკარგვის გარეშე 🧭➡️
განმეორებადი პროცესი:
-
განსაზღვრეთ გადაწყვეტილება - რა არის კარგი შეცდომა ცუდი შეცდომის წინააღმდეგ?
-
აუდიტის მონაცემები - ზომა, ბალანსი, სისუფთავე.
-
დააყენეთ შეზღუდვები - ახსნადობა, შეყოვნება, ბიუჯეტი.
-
გაუშვით საბაზისო ხაზები - დაიწყეთ წრფივი/ლოგისტიკური ან პატარა ხით.
-
ჭკვიანურად გაიმეორეთ - დაამატეთ ფუნქციები, დაარეგულირეთ და შემდეგ შეცვალეთ ოჯახები, თუ მოგება შემცირდება.
მოსაწყენია, მაგრამ მოსაწყენი აქ კარგია.
შედარებითი მიმოხილვა 📋
| მოდელის ტიპი | აუდიტორია | ფასის მსგავსი | რატომ მუშაობს |
|---|---|---|---|
| ხაზოვანი და ლოგისტიკური | ანალიტიკოსები, მეცნიერები | დაბალი-საშუალო | ინტერპრეტირებადი, სწრაფი, ტაბულური მძლავრი მოწყობილობა |
| გადაწყვეტილების ხეები | შერეული გუნდები | დაბალი | ადამიანის მიერ წასაკითხი დაყოფები, არაწრფივი დამუშავება |
| შემთხვევითი ტყე | პროდუქტის გუნდები | საშუალო | ანსამბლები ამცირებენ ვარიაციას, ძლიერი გენერალისტები |
| გრადიენტით გაძლიერებული ხეები | მონაცემთა მეცნიერები | საშუალო | SOTA ცხრილში, ძლიერი და არეული მახასიათებლებით |
| CNN-ები | ხედვის ხალხი | საშუალო-მაღალი | კონვოლუცია → სივრცითი იერარქიები |
| ტრანსფორმერები | NLP + მულტიმოდალური | მაღალი | თვითყურადღება შესანიშნავად ფასდება [3] |
| დიფუზიური მოდელები | შემოქმედებითი გუნდები | მაღალი | ხმაურის მოხსნა წარმოქმნის გენერაციულ მაგიას [4] |
| GNN-ები | გრაფიკის მოყვარულები | საშუალო-მაღალი | შეტყობინების გადაცემა კოდებს ურთიერთობებს |
| kNN / ნაივ ბეიესი | ჰაკერები ჩქარობენ | ძალიან დაბალი | მარტივი საბაზისო ხაზები, მყისიერი განლაგება |
| გაძლიერებული სწავლება | კვლევებით დატვირთული | საშუალო-მაღალი | ოპტიმიზაციას უკეთებს თანმიმდევრულ მოქმედებებს, მაგრამ უფრო რთულია მისი მოთვინიერება |
„სპეციალობები“ პრაქტიკაში 🧪
-
სურათები → CNN-ები გამოირჩევიან ადგილობრივი ნიმუშების უფრო დიდ ნიმუშებში გაერთიანებით.
-
ენა → ტრანსფორმერები, თვითყურადღებით, გრძელ კონტექსტს უმკლავდებიან [3].
-
გრაფიკები → GNN-ები ბრწყინავს, როდესაც კავშირებს მნიშვნელობა აქვს.
-
გენერაციული მედია → დიფუზიის მოდელები, ეტაპობრივი ხმაურის დენონსირება [4].
მონაცემები: ჩუმი MVP 🧰
მოდელებს არ შეუძლიათ არასწორი მონაცემების შენახვა. საფუძვლები:
-
სწორად გაყავით მონაცემთა ნაკრებები (გაჟონვის გარეშე, დროის გათვალისწინებით).
-
დისბალანსის მართვა (ხელახალი შერჩევა, წონები, ზღურბლები).
-
ინჟინერი ფრთხილად ამუშავებს ფუნქციებს - ღრმა მოდელებიც კი სარგებელს მოაქვს.
-
საღი აზრის ჯვარედინი დადასტურება.
წარმატების გაზომვა საკუთარი თავის მოტყუების გარეშე 🎯
შეუსაბამეთ მეტრიკები რეალურ ხარჯებს. მაგალითი: დახმარების ბილეთების დახარისხება.
-
უკან გამოწვევა სასწრაფო ბილეთების დაჭერის მაჩვენებელს ზრდის.
-
სიზუსტე აგენტებს ხმაურში ჩაძირვისგან იცავს.
-
F1 ორივეს აბალანსებს.
-
ტრეკირების დრიფტი და კალიბრაცია, რათა სისტემა ჩუმად არ დაზიანდეს.
რისკი, სამართლიანობა, დოკუმენტები - გააკეთეთ ეს ადრე 📝
დოკუმენტაციას ბიუროკრატიად კი არა, დაზღვევად მიიჩნევთ. მიკერძოების შემოწმება, სანდოობის ტესტები, მონაცემთა წყაროები - ჩაიწერეთ ეს ყველაფერი. ისეთი ჩარჩოები, როგორიცაა ხელოვნური ინტელექტის მართვის ჩარჩო [1] და ისეთი კანონები, როგორიცაა ევროკავშირის ხელოვნური ინტელექტის შესახებ აქტი [2], ისედაც სადავო საკითხი ხდება.
სწრაფი დაწყების გზამკვლევი 🚀
-
დააფიქსირეთ გადაწყვეტილება და მიიღეთ მაჩვენებელი.
-
შეაგროვეთ სუფთა მონაცემთა ნაკრები.
-
საბაზისო ხაზი წრფივი/ხისებრი დიზაინით.
-
მოდალობისთვის სწორ ოჯახში გადადით.
-
შეაფასეთ შესაბამისი მეტრიკებით.
-
გადაზიდვამდე დოკუმენტურად დააფიქსირეთ რისკები.
ხშირად დასმული კითხვები ელვისებური რაუნდის შესახებ ⚡
-
მოიცადეთ, კიდევ ერთხელ - რა არის ხელოვნური ინტელექტის მოდელი?
ფუნქცია, რომელიც გაწვრთნილია მონაცემებზე შემავალი მონაცემების გამოსავალთან დასაკავშირებლად. მაგია განზოგადებაშია და არა დამახსოვრებაში. -
უფრო დიდი მოდელები ყოველთვის იმარჯვებენ?
არა ტაბულურ სურათებზე - ხეები მაინც დომინირებს. ტექსტზე/სურათებზე, დიახ, ზომა ხშირად გვეხმარება [3][4]. -
ახსნადობა vs სიზუსტე?
ზოგჯერ კომპრომისია. გამოიყენეთ ჰიბრიდული სტრატეგიები. -
დახვეწა თუ სწრაფი ინჟინერია?
დამოკიდებულია - ბიუჯეტი და დავალების მოცულობა განსაზღვრავს. ორივეს თავისი ადგილი აქვს.
სრული ვერსია: DR 🌯
ხელოვნური ინტელექტის მოდელები = ფუნქციები, რომლებიც მონაცემებიდან სწავლობენ. მათ სასარგებლოს არა მხოლოდ სიზუსტე, არამედ ნდობა, რისკების მართვა და გააზრებული დანერგვა ხდის. დაიწყეთ მარტივად, გაზომეთ ის, რაც მნიშვნელოვანია, დააფიქსირეთ უსიამოვნო ნაწილები და შემდეგ (და მხოლოდ ამის შემდეგ) გადადით ელეგანტურობაზე.
თუ მხოლოდ ერთ წინადადებას შეინარჩუნებთ: ხელოვნური ინტელექტის მოდელები არის შესწავლილი ფუნქციები, რომლებიც ოპტიმიზაციის მეთოდით ივარჯიშება, კონტექსტისთვის დამახასიათებელი მეტრიკებით ფასდება და დამცავი ბარიერების გამოყენებით გამოიყენება. სულ ეს არის.
ცნობები
-
NIST - ხელოვნური ინტელექტის რისკების მართვის ჩარჩო (AI RMF 1.0)
NIST AI RMF 1.0 (PDF) -
ევროკავშირის ხელოვნური ინტელექტის შესახებ კანონი - ოფიციალური ჟურნალი (2024/1689, 12 ივლისი, 2024)
EUR-Lex: ხელოვნური ინტელექტის შესახებ კანონი (ოფიციალური PDF) -
ტრანსფორმერები / თვითყურადღება - ვასვანი და სხვ., ყურადღება მხოლოდ ისაა, რაც გჭირდება (2017).
arXiv:1706.03762 (PDF) -
დიფუზიური მოდელები - ჰო, ჯაინი, აბელი, ხმაურის მოხსნის დიფუზიური ალბათური მოდელები (2020).
arXiv:2006.11239 (PDF) -
PR vs ROC დისბალანსის შესახებ - საიტო და რემსმაიერი, PLOS ONE (2015).
DOI: 10.1371/journal.pone.0118432