რას აკეთებენ ხელოვნური ინტელექტის ინჟინრები?

ოდესმე დაფიქრებულხართ, რა იმალება პოპულარული სიტყვის, „ხელოვნური ინტელექტის ინჟინერის“ უკან? მეც ასე ვფიქრობდი. ერთი შეხედვით, ეს ბრწყინვალედ ჟღერს, მაგრამ სინამდვილეში ეს თანაბარი ნაწილებია - დიზაინზე მუშაობა, არეული მონაცემების დამუშავება, სისტემების შეერთება და ობსესიურად შემოწმება, ასრულებენ თუ არა საქმეები იმას, რაც უნდა გააკეთონ. თუ გსურთ ერთსტრიქონიანი ვერსია: ისინი ბუნდოვან პრობლემებს მოქმედ ხელოვნური ინტელექტის სისტემებად აქცევენ, რომლებიც არ იშლება რეალური მომხმარებლების გამოჩენისას. რაც უფრო გრძელი, ოდნავ ქაოტურია - ეს ქვემოთაა. მიირთვით კოფეინი. ☕

სტატიები, რომელთა წაკითხვაც შეიძლება მოგეწონოთ ამის შემდეგ:

🔗 ხელოვნური ინტელექტის ინსტრუმენტები ინჟინრებისთვის: ეფექტურობისა და ინოვაციის გაზრდა
აღმოაჩინეთ ძლიერი ხელოვნური ინტელექტის ინსტრუმენტები, რომლებიც აძლიერებენ საინჟინრო პროდუქტიულობას და კრეატიულობას.

🔗 ჩაანაცვლებს თუ არა პროგრამული უზრუნველყოფის ინჟინრებს ხელოვნური ინტელექტი?
გამოიკვლიეთ პროგრამული უზრუნველყოფის ინჟინერიის მომავალი ავტომატიზაციის ეპოქაში.

🔗 ხელოვნური ინტელექტის საინჟინრო გამოყენება, რომელიც გარდაქმნის ინდუსტრიებს
გაიგეთ, როგორ ცვლის ხელოვნური ინტელექტი სამრეწველო პროცესებს და ხელს უწყობს ინოვაციებს.

🔗 როგორ გავხდეთ ხელოვნური ინჟინერიის ინჟინერი
ეტაპობრივი სახელმძღვანელო, რათა დაიწყოთ თქვენი მოგზაურობა ხელოვნური ინჟინერიის სფეროში კარიერისკენ.

მოკლე მიმოხილვა: რას სინამდვილეში 💡

უმარტივეს დონეზე, ხელოვნური ინტელექტის ინჟინერი აპროექტებს, აშენებს, აგზავნის და ინარჩუნებს ხელოვნური ინტელექტის სისტემებს. ყოველდღიური საქმიანობა, როგორც წესი, მოიცავს:

ბუნდოვანი პროდუქტის ან ბიზნეს საჭიროებების ისეთ რამედ გარდაქმნა, რისი დამუშავებაც მოდელებს რეალურად შეუძლიათ.
მონაცემების შეგროვება, ეტიკეტირება, გასუფთავება და - გარდაუვლად - ხელახალი შემოწმება, როდესაც ისინი იწყებენ ცვალებადობას.
მოდელების შერჩევა და სწავლება, მათი შეფასება სწორი მეტრიკებით და იმის ჩაწერა, თუ სად შეიძლება ისინი წარუმატებლები იყვნენ.
მთელი სისტემის MLOps მილსადენებში შეფუთვა, რათა მისი ტესტირება, განლაგება და დაკვირვება შესაძლებელი იყოს.
მისი ყურება ველურ ბუნებაში: სიზუსტე, უსაფრთხოება, სამართლიანობა... და კორექტირება, სანამ ის რიკს მიღმა ჩავარდება.

თუ ფიქრობთ, „ეს არის პროგრამული უზრუნველყოფის ინჟინერია პლუს მონაცემთა მეცნიერება პროდუქტის აზროვნების მცირედით“, - დიახ, დაახლოებით ასეა.

რით განსხვავდებიან კარგი ხელოვნური ინტელექტის ინჟინრები დანარჩენებისგან ✅

შეიძლება იცოდე 2017 წლიდან გამოქვეყნებული ყველა არქიტექტურული ნაშრომი და მაინც შექმნა მყიფე არეულობა. ადამიანები, რომლებიც ამ როლში წარმატებას აღწევენ, როგორც წესი:

სისტემურად იფიქრეთ. ისინი მთელ ციკლს ხედავენ: მონაცემებს შეჰყავთ, გადაწყვეტილებებს გამოჰყავთ, ყველაფერს თვალყურს ადევნებთ.
ჯერ მაგიას ნუ დაედევნებით. საბაზისო ხაზები და მარტივი შემოწმებები სირთულის დასტამდე.
გაითვალისწინეთ გამოხმაურება. გადამზადება და უკან დაბრუნება დამატებითი ფუნქციები არ არის, ისინი დიზაინის ნაწილია.
ჩაიწერეთ ყველაფერი. კომპრომისები, ვარაუდები, შეზღუდვები - მოსაწყენი, მაგრამ მოგვიანებით ოქრო ღირს.
სერიოზულად მოეკიდეთ პასუხისმგებლიან ხელოვნურ ინტელექტს. რისკები ოპტიმიზმით არ ქრება, ისინი აღირიცხება და მართულია.

მინი-ისტორია: ერთმა დამხმარე გუნდმა დაიწყო სულელური წესებით + აღდგენის საბაზისო დონით. ამან მათ მისცა მკაფიო მიღების ტესტები, ამიტომ, როდესაც მოგვიანებით დიდი მოდელი ჩაანაცვლეს, მათ ჰქონდათ მკაფიო შედარებები - და მარტივი სარეზერვო საშუალება, როდესაც ის არასწორად მუშაობდა.

სასიცოცხლო ციკლი: არეული რეალობა მოწესრიგებული დიაგრამების წინააღმდეგ 🔁

პრობლემის ჩამოყალიბების ფორმა. განსაზღვრეთ მიზნები, ამოცანები და როგორ გამოიყურება „საკმარისად კარგი“.
დაამუშავეთ მონაცემები. გაასუფთავეთ, მონიშნეთ, გაყავით, ვერსიის ვერსია. დაუსრულებლად დაამოწმეთ სქემის გადახრის აღმოსაჩენად.
ექსპერიმენტების მოდელირება. სცადეთ მარტივი, შეამოწმეთ საბაზისო ხაზები, გაიმეორეთ, დოკუმენტირება მოახდინეთ.
გადაზიდვა. CI/CD/CT მილსადენები, უსაფრთხო განლაგება, კანარის ნავები, უკან დახევა.
თვალყური ადევნეთ. აკონტროლეთ სიზუსტე, შეყოვნება, რყევა, სამართლიანობა, მომხმარებლის შედეგები. შემდეგ კი გადამზადდით.

სლაიდზე ეს მოწესრიგებულ წრეს ჰგავს. პრაქტიკაში ეს უფრო ცოცხით სპაგეტის ჟონგლიორობას ჰგავს.

პასუხისმგებლიანი ხელოვნური ინტელექტი, როდესაც საბურავი გზაზე მოხვდება 🧭

საქმე ლამაზ სასრიალო ტერასებში არ არის. ინჟინრები რისკების რეალურობის უზრუნველსაყოფად ჩარჩოებს ეყრდნობიან:

NIST AI RMF იძლევა სტრუქტურას რისკების აღმოსაჩენად, გასაზომად და მართვისთვის დიზაინის მასშტაბით, განლაგების გზით [1].
ეკონომიკური თანამშრომლობისა და განვითარების ორგანიზაციის პრინციპები უფრო კომპასის მსგავსია - ზოგადი მითითებები, რომლებსაც ბევრი ორგანიზაცია იცვლის [2].

ბევრი გუნდი ასევე ქმნის საკუთარ საკონტროლო სიებს (კონფიდენციალურობის მიმოხილვები, ადამიანის ჩართვის კარიბჭეები), რომლებიც ამ სასიცოცხლო ციკლებზეა მიბმული.

დოკუმენტები, რომლებიც არასავალდებულოდ არ მიმაჩნია: მოდელის ბარათები და მონაცემთა ფურცლები 📝

ორი დოკუმენტი, რომლისთვისაც მოგვიანებით მადლობას გადაიხდით:

სამოდელო ბარათები → დაზუსტებული იქნება დანიშნულებისამებრ გამოყენება, შეფასების კონტექსტი, გაფრთხილებები. დაწერილია ისე, რომ პროდუქტის/იურიდიული სფეროს წარმომადგენლებმაც შეძლონ მათი დაცვა [3].
მონაცემთა ნაკრებების მონაცემთა ფურცლები → ახსენით, რატომ არსებობს მონაცემები, რა შედის მასში, შესაძლო მიკერძოებები და უსაფრთხო და სახიფათო გამოყენება [4].

მომავალი - შენ (და მომავალი თანაგუნდელები) ჩუმად შეგაქებთ მათი დაწერისთვის.

სიღრმისეული ანალიზი: მონაცემთა მილსადენები, კონტრაქტები და ვერსიირება 🧹📦

მონაცემები არეულ-დარეული ხდება. ჭკვიანი ხელოვნური ინტელექტის ინჟინრები ახორციელებენ კონტრაქტების აღსრულებას, ახორციელებენ ჩეკებს და ინახავენ ვერსიებს კოდთან დაკავშირებულს, რათა მოგვიანებით უკან გადახვევა შეძლოთ.

ვალიდაცია → სქემის, დიაპაზონების, სიახლის კოდიფიცირება; დოკუმენტების ავტომატურად გენერირება.
ვერსიონირება → Git-ის კომიტებით მონაცემთა ნაკრებებისა და მოდელების გასწორება, რათა გქონდეთ ცვლილებების ჟურნალი, რომელსაც ნამდვილად ენდობით.

პატარა მაგალითი: ერთმა საცალო ვაჭრობის წარმომადგენელმა სქემის შემოწმება შეცვალა, რათა მომწოდებლების ნულებით სავსე არხები დაბლოკა. ამ ერთმა შეცდომის გამომწვევმა კავშირმა შეაჩერა recall@k-ის განმეორებითი ვარდნა, სანამ მომხმარებლები შეამჩნევდნენ.

დეტალური ინფორმაცია: მიწოდება და მასშტაბირება 🚢

მოდელის prod-ში გაშვება მხოლოდ model.fit() ფუნქცია . აქ ინსტრუმენტთა ზოლი მოიცავს:

Docker თანმიმდევრული შეფუთვისთვის.
Kubernetes ორკესტრირებისთვის, მასშტაბირებისა და უსაფრთხო განლაგებისთვის.
MLOps ჩარჩოები კანარის ვარსკვლავებისთვის, A/B გაყოფები, გამონაკლისების აღმოჩენა.

ფარდის მიღმა კი ეს არის ჯანმრთელობის შემოწმება, თვალყურის დევნება, CPU-სა და GPU-ს შორის დაგეგმვა, ტაიმაუტის რეგულირება. არა მომხიბვლელი, აბსოლუტურად აუცილებელია.

ღრმა ანალიზი: GenAI სისტემები და RAG 🧠📚

გენერაციულ სისტემებს კიდევ ერთი შემობრუნება მოაქვს - აღდგენის დამიწება.

ჩასმა + ვექტორული ძიება მსგავსების სწრაფი ძიებისთვის.
ორკესტრირების ბიბლიოთეკები მონაცემების მოძიებისთვის, ინსტრუმენტების გამოყენებისთვის, შემდგომი დამუშავებისთვის.

არჩევანი ჯგუფებად დაყოფაში, ხელახალი რანჟირებასა და შეფასებაში - ეს მცირე გადაწყვეტილებები გადაწყვეტს, აირჩევთ თუ არა მოუხერხებელ ჩატბოტს თუ სასარგებლო თანაპილოტს.

უნარები და ხელსაწყოები: რა არის სინამდვილეში დასტაში 🧰

კლასიკური მანქანური სწავლებისა და ღრმა სწავლების აღჭურვილობის შერეული ნაკრები:

ჩარჩოები: PyTorch, TensorFlow, scikit-learn.
მილსადენები: ჰაერის ნაკადი და ა.შ., დაგეგმილი სამუშაოებისთვის.
წარმოება: Docker, K8s, მომსახურე ჩარჩოები.
დაკვირვებადობა: დრიფტის მონიტორები, შეყოვნების ტრეკერები, სამართლიანობის შემოწმებები.

არავინ იყენებს ყველაფერს . ხრიკი იმაშია, რომ მთელი სასიცოცხლო ციკლის განმავლობაში საკმარისი ცოდნა გქონდეს გონივრულად მსჯელობისთვის.

ხელსაწყოების მაგიდა: რას ესწრაფვიან სინამდვილეში ინჟინრები 🧪

ინსტრუმენტი	აუდიტორია	ფასი	რატომ არის მოსახერხებელი
PyTorch	მკვლევარები, ინჟინრები	ღია კოდი	მოქნილი, პითონური, უზარმაზარი საზოგადოებრივი, მორგებული ქსელები.
ტენსორფლოუ	პროდუქტზე ორიენტირებული გუნდები	ღია კოდი	ეკოსისტემის სიღრმე, TF მომსახურება და Lite განლაგებისთვის.
scit-learn	კლასიკური მანქანური სწავლების მომხმარებლები	ღია კოდი	შესანიშნავი საბაზისო ხაზები, მოწესრიგებული API, წინასწარი დამუშავების სისტემაში ჩადებული გამოცდილება.
MLflow	გუნდები მრავალი ექსპერიმენტით	ღია კოდი	ორგანიზებულად ინახავს სირბილებს, მოდელებს, არტეფაქტებს.
ჰაერის ნაკადი	მილსადენების სპეციალისტები	ღია კოდი	DAG-ები, დაგეგმვა, დაკვირვებადობა საკმარისად კარგია.
დოკერი	ძირითადად ყველას	თავისუფალი ბირთვი	იგივე გარემო (ძირითადად). ნაკლები „მხოლოდ ჩემს ლეპტოპზე მუშაობს“ ტიპის ბრძოლა.
კუბერნეტესი	ინფრაწითელი გუნდები	ღია კოდი	ავტომატური მასშტაბირება, დანერგვა, საწარმოს დონის კუნთოვანი მასა.
მოდელი K8-ებზე ემსახურება	K8s მოდელის მომხმარებლები	ღია კოდი	სტანდარტული პორცია, დრიფტ კაუჭები, მასშტაბირებადი.
ვექტორული ძიების ბიბლიოთეკები	RAG-ის მშენებლები	ღია კოდი	სწრაფი მსგავსება, GPU-სთან თავსებადი.
მართული ვექტორული მაღაზიები	საწარმოს RAG გუნდები	ფასიანი იარუსები	სერვერის გარეშე ინდექსები, ფილტრაცია, მასშტაბური საიმედოობა.

დიახ, ფრაზირება არათანაბარია. ხელსაწყოების არჩევანი, როგორც წესი, არათანაბარია.

წარმატების გაზომვა ციფრებში ჩაძირვის გარეშე 📏

მნიშვნელოვანი მეტრიკები დამოკიდებულია კონტექსტზე, მაგრამ, როგორც წესი, შემდეგი მაჩვენებლების ნაზავია:

პროგნოზირების ხარისხი: სიზუსტე, გახსენება, F1, კალიბრაცია.
სისტემა + მომხმარებელი: შეყოვნება, p95/p99, კონვერტაციის ზრდა, დასრულების მაჩვენებლები.
სამართლიანობის ინდიკატორები: პარიტეტი, არათანაბარი გავლენა - გამოყენებულია სიფრთხილით [1][2].

მეტრიკები კომპრომისების გამოსავლენად არსებობს. თუ ისინი არ არსებობს, შეცვალეთ ისინი.

თანამშრომლობის ნიმუშები: ეს გუნდური სპორტია 🧑🤝🧑

ხელოვნური ინტელექტის ინჟინრები, როგორც წესი, ჯდებიან კვეთაზე:

პროდუქტისა და დომენის სპეციალისტები (წარმატების, დამცავი ბარიერების განსაზღვრა).
მონაცემთა ინჟინრები (წყაროები, სქემები, მომსახურების პირობების ხელშეკრულებები).
უსაფრთხოება/სამართლებრივი (კონფიდენციალურობა, შესაბამისობა).
დიზაინი/კვლევა (მომხმარებლის ტესტირება, განსაკუთრებით GenAI-სთვის).
ოპერაციები/სახანძრო წვრთნები (სამუშაო დრო და ხანძარსაწინააღმდეგო წვრთნები).

ველით წარწერებით დაფარულ თეთრ დაფებს და პერიოდულად ცხარე დებატებს მეტრულ მაჩვენებლებზე - ეს ჯანსაღია.

ხაფანგები: ტექნიკური ვალის ჭაობი 🧨

მანქანური სწავლების სისტემები ფარულ ვალს იზიდავს: ჩახლართულ კონფიგურაციებს, მყიფე დამოკიდებულებებს, დავიწყებულ წებოვან სკრიპტებს. პროფესიონალები ქმნიან დამცავ ბარიერებს - მონაცემთა ტესტებს, აკრეფილ კონფიგურაციებს, უკუკავშირებს - სანამ ჭაობი გაიზრდება. [5]

ჯანმრთელობის დამცველები: პრაქტიკები, რომლებიც დაგეხმარებათ 📚

დაიწყეთ მცირედით. მოდელების გართულებამდე დაამტკიცეთ, რომ მილსადენი მუშაობს.
MLOps მილსადენები. CI მონაცემების/მოდელებისთვის, CD სერვისებისთვის, CT გადამზადებისთვის.
პასუხისმგებლიანი ხელოვნური ინტელექტის საკონტროლო სიები. თქვენს ორგანიზაციასთან მიბმული, დოკუმენტებით, როგორიცაა მოდელის ბარათები და მონაცემთა ფურცლები [1][3][4].

ხშირად დასმული კითხვების სწრაფი გამეორება: ერთი წინადადებით პასუხი 🥡

ხელოვნური ინტელექტის ინჟინრები ქმნიან ყოვლისმომცველ სისტემებს, რომლებიც სასარგებლო, ტესტირებადი, განლაგებადი და გარკვეულწილად უსაფრთხოა - ამავდროულად, კომპრომისებს ნათლად ასახელებენ, რათა არავინ იყოს ამ ინფორმაციის გარეშე.

სრული ვერსია: DR 🎯

ისინი იღებენ ბუნდოვან პრობლემებს → საიმედო ხელოვნური ინტელექტის სისტემებს მონაცემებთან მუშაობის, მოდელირების, MLOps-ებისა და მონიტორინგის გზით.
საუკეთესოა, პირველ რიგში, ყველაფერი მარტივად შეინარჩუნოთ, დაუღალავად გაზომოთ და დაშვებები დოკუმენტირებული იყოს.
წარმოების ხელოვნური ინტელექტი = მილსადენები + პრინციპები (ინდივიდუალური წარმოების/წარმოების ეფექტურობის/წარმოების ეფექტურობის გაზრდა, სამართლიანობა საჭიროების შემთხვევაში, რისკზე აზროვნების ინტეგრირება).
ხელსაწყოები მხოლოდ ხელსაწყოებია. გამოიყენეთ მინიმუმი, რაც დაგეხმარებათ მატარებლის → ლიანდაგის → მომსახურების → დაკვირვების პროცესში.

საცნობარო ბმულები

NIST AI RMF (1.0). ბმული
ეკონომიკური თანამშრომლობისა და განვითარების ორგანიზაციის ხელოვნური ინტელექტის პრინციპები. ბმული.
მოდელის ბარათები (მიტჩელი და სხვ., 2019). ბმული
მონაცემთა ნაკრებების მონაცემთა ფურცლები (Gebru et al., 2018/2021). ბმული
დაფარული ტექნიკური ვალი (სკული და სხვ., 2015). ბმული

იპოვეთ უახლესი ხელოვნური ინტელექტი ოფიციალურ ხელოვნური ინტელექტის ასისტენტების მაღაზიაში

ჩვენს შესახებ

ბლოგზე დაბრუნება

ქვეყანა/რეგიონი