ხელოვნური ინტელექტი ჩაშენებული სისტემებისთვის: რატომ ცვლის ის ყველაფერს

ხელოვნური ინტელექტი ადრე დიდ სერვერებსა და ღრუბლოვან გრაფიკულ პროცესორებზე ფუნქციონირებდა. ახლა ის მცირდება და სენსორების გვერდით სრიალებს. ჩაშენებული სისტემებისთვის ხელოვნური ინტელექტი შორეული დაპირება არ არის - ის უკვე ზუზუნებს მაცივრებში, დრონებში, ტარებად მოწყობილობებში... იმ მოწყობილობებშიც კი, რომლებიც საერთოდ არ გამოიყურებიან „ჭკვიანურად“.

აი, რატომ არის ეს ცვლილება მნიშვნელოვანი, რა ართულებს მას და რომელი ვარიანტები ღირს თქვენი დროის დახარჯვად.

სტატიები, რომელთა წაკითხვაც შეიძლება მოგეწონოთ ამის შემდეგ:

🔗 ხელოვნური ინტელექტის მართვის საუკეთესო ინსტრუმენტები, რომლებიც უზრუნველყოფენ ეთიკურად შესაბამის და გამჭვირვალე ხელოვნური ინტელექტის სისტემებს
სახელმძღვანელო იმ ინსტრუმენტებისა, რომლებიც ხელს უწყობენ ეთიკური, შესაბამისობისა და გამჭვირვალე ხელოვნური ინტელექტის შენარჩუნებას.

🔗 ობიექტების შენახვა ხელოვნური ინტელექტისთვის: არჩევანი, არჩევანი, არჩევანი
ხელოვნური ინტელექტის სამუშაო დატვირთვებისთვის მორგებული ობიექტების შენახვის ვარიანტების შედარება.

🔗 ხელოვნური ინტელექტის მონაცემთა შენახვის მოთხოვნები: რა უნდა იცოდეთ
ხელოვნური ინტელექტის მონაცემთა შენახვის დაგეგმვისას გასათვალისწინებელი ძირითადი ფაქტორები.

ხელოვნური ინტელექტი ჩაშენებული სისტემებისთვის🌱

ჩაშენებული მოწყობილობები პაწაწინაა, ხშირად ბატარეაზე მომუშავე და რესურსებით შეზღუდული. მიუხედავად ამისა, ხელოვნური ინტელექტი დიდ გამარჯვებებს იძლევა:

• რეალურ დროში გადაწყვეტილებები ღრუბლოვანი სერვისების გარეშე.

• კონფიდენციალურობა დიზაინით - ნედლი მონაცემები შეიძლება დარჩეს მოწყობილობაზე.

• დაბალი ლატენტობა, როდესაც მილიწამები მნიშვნელოვანია.

• ენერგიის გათვალისწინებით მიღებული დასკვნა მოდელის + აპარატურის ფრთხილად შერჩევის გზით.

ეს არ არის უმნიშვნელო უპირატესობები: გამოთვლითი შესაძლებლობების ზღვარზე გადატანა ამცირებს ქსელზე დამოკიდებულებას და აძლიერებს კონფიდენციალურობას მრავალი გამოყენების შემთხვევაში [1].

ხრიკი ძალის გამოყენებაში არ არის - საქმე შეზღუდული რესურსებით ჭკვიანურობაშია. წარმოიდგინეთ, რომ მარათონში ზურგჩანთით გარბიხართ... ინჟინრები კი აგურებს აშორებენ.

ჩაშენებული სისტემებისთვის ხელოვნური ინტელექტის სწრაფი შედარების ცხრილი 📝

(დიახ, არათანაბარი. რეალობაც ასეთია.)

რატომ არის ხელოვნური ინტელექტი ჩაშენებულ მოწყობილობებზე მნიშვნელოვანი ინდუსტრიისთვის 🏭

არა მხოლოდ აჟიოტაჟი: ქარხნულ ხაზებზე კომპაქტური მოდელები დეფექტებს აფიქსირებენ; სოფლის მეურნეობაში დაბალი სიმძლავრის კვანძები ნიადაგს აანალიზებენ; სატრანსპორტო საშუალებებში უსაფრთხოების ფუნქციებს დამუხრუჭებამდე „სახლში დარეკვა“ არ შეუძლიათ. როდესაც შეყოვნება და კონფიდენციალურობა უდავოა , გამოთვლითი შესაძლებლობების ზღვარზე გადატანა სტრატეგიული ბერკეტია [1].

TinyML: ჩაშენებული ხელოვნური ინტელექტის ჩუმი გმირი 🐜

TinyML მოდელებს მიკროკონტროლერებზე მართავს კილობაიტებიდან რამდენიმე მეგაბაიტამდე ოპერატიული მეხსიერებით - თუმცა მაინც ახერხებს საკვანძო სიტყვების ამოცნობას, ჟესტების ამოცნობას, ანომალიების აღმოჩენას და სხვა. ეს ჰგავს თაგვის ყურებას, რომელიც აგურს ასწევს. უცნაურად დამაკმაყოფილებელი.

სწრაფი გონებრივი მოდელი:

• მონაცემთა კვალი : პატარა, ნაკადიანი სენსორის შეყვანები.

• მოდელები : კომპაქტური CNN/RNN, კლასიკური ML ან სპარსიფიცირებული/კვანტიზებული ბადეები.

• ბიუჯეტები : მილივატები, არა ვატები; კბ–მბ, არა გბ.

აპარატურის არჩევანი: ღირებულება vs. შესრულება ⚔️

ტექნიკის შერჩევა არის ის, რაც ბევრ პროექტს ართულებს:

• Raspberry Pi კლასი : მეგობრული, ზოგადი დანიშნულების CPU; მყარი პროტოტიპებისთვის.

• NVIDIA Jetson : სპეციალურად შექმნილი კიდის ხელოვნური ინტელექტის მოდულები (მაგ., Orin), რომლებიც ათობით და ასობით TOPS-ს მკვრივი ხედვის ან მრავალმოდელიანი სტეკისთვის - შესანიშნავია, მაგრამ უფრო ძვირი და ენერგომოხმარების მხრივ უფრო მძიმე [4].

• Google Coral (Edge TPU) : ASIC ამაჩქარებელი, რომელიც დაახლოებით 2 ვატზე (~2 TOPS/W) ~4 TOPS-ს - ფანტასტიკური შესრულება/W, როდესაც თქვენი მოდელი აკმაყოფილებს შეზღუდვებს [3].

• სმარტფონის SoC-ები (Snapdragon) : მოყვება NPU-ები და SDK-ები, რათა მოდელები მოწყობილობაზე ეფექტურად გაუშვან.

ცერის წესი: დააბალანსეთ ხარჯები, თერმული პარამეტრები და გამოთვლები. „საკმარისად კარგი, ყველგან“ ხშირად ჯობია „უახლესი, არსად“.

ხელოვნური ინტელექტის საერთო გამოწვევები ჩაშენებული სისტემებისთვის 🤯

ინჟინრები რეგულარულად ებრძვიან:

• მწირი მეხსიერება : პატარა მოწყობილობებს არ შეუძლიათ გიგანტური მოდელების შენახვა.

• ბატარეის ბიუჯეტი : ყველა მილიამპერს მნიშვნელობა აქვს.

• მოდელის ოპტიმიზაცია:

  • კვანტიზაცია → უფრო მცირე, უფრო სწრაფი int8/float16 წონა/აქტივაციები.

  • გასხვლა → მცირე ზომის მცენარეების მოშორება უმნიშვნელო წონისთვის.

  • კლასტერიზაცია/წონის გაზიარება → შემდგომი შეკუმშვა.
    ეს არის მოწყობილობის ეფექტურობის სტანდარტული ტექნიკა [2].

• მასშტაბირება : Arduino-ს საკლასო დემო ვერსიის ჩვენება ≠ საავტომობილო წარმოების სისტემა უსაფრთხოების, დაცულობისა და სასიცოცხლო ციკლის შეზღუდვებით.

გამართვა? წარმოიდგინეთ, რომ ხელთათმანებით კითხულობთ წიგნს გასაღების ხვრელიდან.

პრაქტიკული გამოყენება, რომელსაც მალე მეტს იხილავთ 🚀

• ჭკვიანი ტარებადი მოწყობილობები, რომლებიც მოწყობილობაზე ჯანმრთელობის შესახებ ინფორმაციას იღებენ.

• IoT კამერები მოვლენებს აფიქსირებენ ნედლი კადრების სტრიმინგის გარეშე.

• ოფლაინ ხმოვანი ასისტენტები ხელების გარეშე მართვისთვის - ღრუბელზე დამოკიდებულების გარეშე.

• ავტონომიური დრონები შემოწმების, მიწოდებისა და ზუსტი სოფლის მეურნეობისთვის.

მოკლედ: ხელოვნური ინტელექტი სიტყვასიტყვით უფრო ახლოს მოდის - ჩვენს მაჯებამდე, სამზარეულოებამდე და ინფრასტრუქტურაში.

როგორ შეუძლიათ დეველოპერებს დაწყება 🛠️

1. ფართო ხელსაწყოებისა და MCU→მობილური დაფარვისთვის დაიწყეთ TensorFlow Lite-

2. თუ PyTorch-ის ქვეყანაში ცხოვრობთ და გჭირდებათ მოწყობილობაზე გაშვების მცირე დრო მობილურ და ჩაშენებულ პლატფორმებზე [5], გაეცანით ExecuTorch-ს.

3. სცადეთ Arduino + TinyML კომპლექტები სწრაფი და სასიამოვნო პროტოტიპების შესაქმნელად.

4. ვიზუალურ არხებს ანიჭებთ უპირატესობას? Edge Impulse ამცირებს ბარიერს მონაცემთა შეგროვებით, ტრენინგითა და განლაგებით.

5. აპარატურას პირველი კლასის მოქალაქედ მოეპყარით - პროტოტიპი პროცესორებზე დააყენეთ, შემდეგ კი დაადასტურეთ იგი თქვენს სამიზნე ამაჩქარებელზე (Edge TPU, Jetson, NPU) შეყოვნების, თერმული მაჩვენებლების და სიზუსტის დელტაების დასადასტურებლად.

მინი-ვინიეტი: გუნდი აგზავნის ვიბრაციის ანომალიის დეტექტორს მონეტა-უჯრედიან სენსორზე. float32 მოდელი ვერ აკმაყოფილებს ენერგიის ბიუჯეტს; int8 კვანტიზაცია ამცირებს ენერგიას თითოეული დასკვნის მიხედვით, ამცირებს მეხსიერებას და მიკროკონტროლერის სამუშაო ციკლირება ასრულებს სამუშაოს - ქსელი არ არის საჭირო [2,3].

ხელოვნური ინტელექტის ჩუმი რევოლუცია ჩაშენებული სისტემებისთვის 🌍

პატარა, იაფი პროცესორები სწავლობენ შეგრძნებას → აზროვნებას → მოქმედებას - ლოკალურად. ბატარეის ხანგრძლივობა ყოველთვის გვაწუხებს, მაგრამ ტრაექტორია ნათელია: უფრო მკაცრი მოდელები, უკეთესი კომპილატორები, უფრო ჭკვიანი ამაჩქარებლები. შედეგი? ტექნოლოგია, რომელიც უფრო პერსონალიზებული და რეაგირებადია, რადგან ის არა მხოლოდ დაკავშირებულია - ის ყურადღებას აქცევს.

ცნობები

[1] ETSI (მრავალწვდომიანი Edge Computing) - შეყოვნების/კონფიდენციალურობის უპირატესობები და ინდუსტრიის კონტექსტი.
ETSI MEC: ახალი თეთრი დოკუმენტის მიმოხილვა

[2] Google TensorFlow მოდელის ოპტიმიზაციის ინსტრუმენტების ნაკრები - მოწყობილობაზე ეფექტურობისთვის კვანტიზაცია, გასხვლა, კლასტერიზაცია.
TensorFlow მოდელის ოპტიმიზაციის სახელმძღვანელო

[3] Google Coral Edge TPU - Perf/W ბენჩმარკები კიდეების აჩქარებისთვის.
Edge TPU Benchmarks

[4] NVIDIA Jetson Orin (ოფიციალური) - Edge AI მოდულები და შესრულების კონვერტები.
Jetson Orin მოდულების მიმოხილვა

[5] PyTorch ExecuTorch (ოფიციალური დოკუმენტები) - მოწყობილობაზე დამონტაჟებული PyTorch-ის გაშვების დრო მობილური და Edge-ისთვის.
ExecuTorch-ის მიმოხილვა

იპოვეთ უახლესი ხელოვნური ინტელექტი ოფიციალურ ხელოვნური ინტელექტის ასისტენტების მაღაზიაში

ჩვენს შესახებ