რა არის Edge AI?

Edge AI ინტელექტს იმ ადგილებში აწვდის, სადაც მონაცემები იბადება. ეს ფანტასტიურად ჟღერს, მაგრამ მთავარი იდეა მარტივია: იფიქრეთ სენსორთან ახლოს, რათა შედეგები ახლავე გამოჩნდეს და არა მოგვიანებით. თქვენ მიიღებთ სიჩქარეს, საიმედოობას და ღირსეულ კონფიდენციალურობის ისტორიას ღრუბელის მიერ ყველა გადაწყვეტილების მიღების გარეშე. მოდით, გავხსნათ ყველაფერი - მალსახმობები და გვერდითი ქვესტები შედის. 😅

სტატიები, რომელთა წაკითხვაც შეიძლება მოგეწონოთ ამის შემდეგ:

🔗 რა არის გენერაციული ხელოვნური ინტელექტი
გენერაციული ხელოვნური ინტელექტის ნათელი ახსნა, მისი მუშაობის წესი და პრაქტიკული გამოყენება.

🔗 რა არის აგენტური ხელოვნური ინტელექტი?
აგენტური ხელოვნური ინტელექტის, ავტონომიური ქცევების და რეალურ სამყაროში აპლიკაციების ნიმუშების მიმოხილვა.

🔗 რა არის ხელოვნური ინტელექტის მასშტაბირება?
შეიტყვეთ, თუ როგორ მასშტაბირება გაუკეთოთ ხელოვნური ინტელექტის სისტემებს საიმედოდ, ეფექტურად და ეკონომიურად.

🔗 რა არის ხელოვნური ინტელექტის პროგრამული ჩარჩო?
ხელოვნური ინტელექტის პროგრამული ჩარჩოების დაშლა, არქიტექტურის უპირატესობები და დანერგვის საფუძვლები.

რა არის Edge AI? მოკლე განმარტება 🧭

Edge AI არის პრაქტიკა, რომლის დროსაც გაწვრთნილი მანქანური სწავლების მოდელები პირდაპირ ან მათ მახლობლად მუშაობენ მოწყობილობებზე, რომლებიც აგროვებენ მონაცემებს - ტელეფონები, კამერები, რობოტები, მანქანები, ტარებადი მოწყობილობები, სამრეწველო კონტროლერები და ა.შ. ანალიზისთვის ნედლი მონაცემების შორეულ სერვერებზე გაგზავნის ნაცვლად, მოწყობილობა ლოკალურად ამუშავებს შეყვანის მონაცემებს და მხოლოდ შეჯამებებს ან საერთოდ არაფერს აგზავნის. ნაკლები ორმხრივი მგზავრობა, ნაკლები შეფერხება, მეტი კონტროლი. თუ გსურთ მკაფიო, მომწოდებლისგან ნეიტრალური ახსნა, დაიწყეთ აქედან. [1]

რა ხდის Edge AI-ს რეალურად სასარგებლოს? 🌟

• დაბალი შეყოვნება - გადაწყვეტილებები მიიღება მოწყობილობაზე, ამიტომ აღქმის ამოცანებზე, როგორიცაა ობიექტის ამოცნობა, გამოღვიძების სიტყვების ამოცნობა ან ანომალიის შეტყობინებები, პასუხები მყისიერად იგრძნობა. [1]

• კონფიდენციალურობა ადგილმდებარეობის მიხედვით - მგრძნობიარე მონაცემები შეიძლება დარჩეს მოწყობილობაზე, რაც ამცირებს ზემოქმედებას და ხელს უწყობს მონაცემთა მინიმიზაციის შესახებ დისკუსიებს. [1]

• გამტარუნარიანობის დაზოგვა - გაგზავნეთ ფუნქციები ან მოვლენები ნედლი ნაკადების ნაცვლად. [1]

• მდგრადობა - მუშაობს არასაკმარისი კავშირის დროს.

• ხარჯების კონტროლი - ნაკლები ღრუბლოვანი გამოთვლების ციკლები და ნაკლები გასვლა.

• კონტექსტის გაცნობიერება - მოწყობილობა „გრძნობს“ გარემოს და ადაპტირდება.

მოკლე ანეკდოტი: საცალო ვაჭრობის პილოტმა კამერის მუდმივი ატვირთვები მოწყობილობაზე არსებული „ადამიანი-ობიექტის წინააღმდეგ“ კლასიფიკაციით ჩაანაცვლა და მხოლოდ საათობრივი დათვლა და გამონაკლისი კლიპები გადასცა. შედეგი: 200 ms-ზე ნაკლები შეტყობინებები თაროს კიდეზე და აღმავალი ტრაფიკის ~90%-იანი კლება - მაღაზიის WAN კონტრაქტების შეცვლის გარეშე. (მეთოდი: ლოკალური ინფერენცია, მოვლენების პაკეტური დაყოფა, მხოლოდ ანომალიები.)

Edge AI vs. ღრუბლოვანი AI - სწრაფი კონტრასტი 🥊

• გამოთვლის ადგილი : edge = მოწყობილობაზე/მოწყობილობასთან ახლოს; Cloud = დისტანციური მონაცემთა ცენტრები.

• შეყოვნება : კიდე ≈ რეალურ დროში; ღრუბელს აქვს ორმხრივი მიმოსვლა.

• მონაცემთა გადაადგილება : Edge ჯერ ფილტრავს/შეკუმშავს; ღრუბელს უყვარს სრული სიზუსტით ატვირთვა.

• საიმედოობა : Edge მუდმივად მუშაობს ოფლაინში; ღრუბელს კავშირი სჭირდება.

• მმართველობა : Edge მხარს უჭერს მონაცემთა მინიმიზაციას; ღრუბელი ახდენს ზედამხედველობის ცენტრალიზებას. [1]

ეს არც ერთი და არც მეორე არ არის. ჭკვიანი სისტემები ორივეს აერთიანებს: სწრაფ გადაწყვეტილებებს ადგილობრივად, უფრო ღრმა ანალიტიკას და ფლოტის ცენტრალიზებულ სწავლებას. ჰიბრიდული პასუხი მოსაწყენია და ამავდროულად სწორი.

როგორ მუშაობს Edge AI სინამდვილეში 🧩

1. სენსორები იწერენ ნედლ სიგნალებს - აუდიო კადრებს, კამერის პიქსელებს, IMU-ს შეხებებს, ვიბრაციის კვალს.

2. წინასწარი დამუშავება ამ სიგნალებს მოდელისთვის შესაფერის მახასიათებლებად გარდაქმნის.

3. Inference Runtime ასრულებს კომპაქტურ მოდელს მოწყობილობაზე ამაჩქარებლების გამოყენებით, როდესაც ეს შესაძლებელია.

4. პოსტდამუშავება გამომავალ მონაცემებს მოვლენებად, ეტიკეტებად ან საკონტროლო მოქმედებებად გარდაქმნის.

5. ტელემეტრია მხოლოდ სასარგებლო მონაცემებს ატვირთავს: შეჯამებებს, ანომალიებს ან პერიოდულ უკუკავშირს.

მოწყობილობაზე დამონტაჟებულ გაშვების დროს, რომელსაც ჩვეულებრივ ნახავთ, შედის Google-ის LiteRT (ყოფილი TensorFlow Lite), ONNX Runtime და Intel-ის OpenVINO . ეს ხელსაწყოების ჯაჭვები გამტარუნარიანობას ზოგავს შეზღუდული ენერგომოხმარების/მეხსიერების ბიუჯეტიდან ისეთი ხრიკების გამოყენებით, როგორიცაა კვანტიზაცია და ოპერატორების შერწყმა. თუ მოგწონთ დეტალები, მათი დოკუმენტაცია მყარია. [3][4]

სად ჩანს ის - რეალური გამოყენების შემთხვევები, რომლებზეც შეგიძლიათ მიუთითოთ 🧯🚗🏭

• ხედვა კიდეზე : კარის ზარის კამერები (ადამიანები შინაური ცხოველების წინააღმდეგ), თაროების სკანირება საცალო ვაჭრობაში, დრონები დეფექტების აღმოჩენით.

• აუდიო მოწყობილობაზე : გაღვიძების სიტყვები, დიქტატი, გაჟონვის აღმოჩენა მცენარეებში.

• სამრეწველო ნივთების ინტერნეტი : ძრავებისა და ტუმბოების მონიტორინგი ვიბრაციის ანომალიებზე გაუმართაობამდე.

• ავტომობილები : მძღოლის მონიტორინგი, ზოლის ამოცნობა, პარკირების დამხმარე საშუალებები - წამში მე-20 წუთი ან გაჩერება.

• ჯანდაცვა : ტარებადი მოწყობილობები არითმიებს ადგილობრივად აფიქსირებს; შეჯამებები მოგვიანებით სინქრონიზდება.

• სმარტფონები : ფოტოების გაუმჯობესება, სპამ-ზარების ამოცნობა, მომენტები, როგორიცაა „როგორ გააკეთა ეს ჩემმა ტელეფონმა ოფლაინში“

ფორმალური განმარტებებისთვის (და „ნისლი vs კიდე“-ს საუბრისთვის) იხილეთ NIST-ის კონცეპტუალური მოდელი. [2]

აპარატურა, რომელიც მას სწრაფს ხდის 🔌

რამდენიმე პლატფორმა ხშირად მოწმდება სახელწოდებით:

• NVIDIA Jetson - გრაფიკული პროცესორით აღჭურვილი მოდულები რობოტებისთვის/კამერებისთვის - შვეიცარიული არმიის დანის ვიბრაციები ჩაშენებული ხელოვნური ინტელექტისთვის.

• Google Edge TPU + LiteRT - ეფექტური მთელი რიცხვების გამოთვლა და გამარტივებული გაშვება ულტრა დაბალი სიმძლავრის პროექტებისთვის. [3]

• Apple-ის ნეირონული ძრავა (ANE) - iPhone-ის, iPad-ისა და Mac-ისთვის მოწყობილობებზე მორგებული ML; Apple-მა გამოაქვეყნა პრაქტიკული ნაშრომი ტრანსფორმატორების ANE-ზე ეფექტურად განლაგების შესახებ. [5]

• Intel-ის პროცესორები/iGPU-ები/NPU-ები OpenVINO-თი - „ერთხელ ჩაწერე, ყველგან განათავსე“ Intel-ის აპარატურაზე; სასარგებლო ოპტიმიზაციის გავლის გზები.

• ONNX Runtime ყველგან - ნეიტრალური runtime ტელეფონებზე, კომპიუტერებსა და გეითვეიებზე ადაპტირებადი შესრულების პროვაიდერებით. [4]

ყველა მათგანი გჭირდებათ? სინამდვილეში არა. აირჩიეთ ერთი ძლიერი გზა, რომელიც თქვენს ფლოტს შეესაბამება და მას მიჰყევით - გუნდის გადინება ინტეგრირებული გუნდების მტერია.

პროგრამული უზრუნველყოფის დასტა - მოკლე ტური 🧰

• მოდელის შეკუმშვა : კვანტიზაცია (ხშირად int8-მდე), გასხვლა, დისტილაცია.

• ოპერატორის დონის აჩქარება : ბირთვები მორგებულია თქვენს სილიკონზე.

• გაშვების დრო : LiteRT, ONNX Runtime, OpenVINO. [3][4]

• განლაგების შეფუთვები : კონტეინერები/აპლიკაციის პაკეტები; ზოგჯერ მიკროსერვისები კარიბჭეებზე.

• MLOps კიდეებისთვის : OTA მოდელის განახლებები, A/B გავრცელება, ტელემეტრიული მარყუჟები.

• კონფიდენციალურობისა და უსაფრთხოების კონტროლი : მოწყობილობაზე დაშიფვრა, უსაფრთხო ჩატვირთვა, ატესტაცია, ანკლავები.

მინი-შემთხვევა: ინსპექტირების დრონის ჯგუფმა მძიმეწონიანი დეტექტორი LiteRT-ისთვის კვანტიზებულ სტუდენტურ მოდელში გადაიყვანა, შემდეგ კი მოწყობილობაზე NMS შეაერთა. ფრენის დრო დაახლოებით 15%-ით გაუმჯობესდა გამოთვლითი მონაცემების მოხმარების შემცირების წყალობით; გამონაკლისის ჩარჩოებში ატვირთვის მოცულობა შემცირდა. (მეთოდი: მონაცემთა ნაკრების ადგილზე აღება, პოსტ-კვანტის კალიბრაცია, ჩრდილოვანი რეჟიმი A/B სრულ დანერგვამდე.)

შედარების ცხრილი - პოპულარული Edge AI ვარიანტები 🧪

სიმართლე გითხრათ: ეს მაგიდაც საკმაოდ კონცენტრირებული და ცოტა არეულია - ისევე როგორც რეალური სამყარო.

როგორ ავირჩიოთ Edge AI გზა - პატარა გადაწყვეტილების ხე 🌳

• რეალურ დროში რთული ცხოვრება გაქვთ? დაიწყეთ ამაჩქარებლებით + კვანტიზებული მოდელებით.

• მრავალი ტიპის მოწყობილობა? პორტაბელურობისთვის უპირატესობა მიანიჭეთ ONNX Runtime-ს ან OpenVINO-ს. [4]

• მობილური აპლიკაციის გამოშვება? LiteRT ყველაზე ნაკლები წინააღმდეგობის გზაა. [3]

• რობოტიკა თუ კამერის ანალიტიკა? Jetson-ის GPU-სთან თავსებადი ოპერაციები დროს ზოგავს.

• მკაცრი კონფიდენციალურობის პოლიტიკა? შეინახეთ მონაცემები ლოკალურად, დაშიფრეთ უმოქმედო მდგომარეობაში, ჟურნალის აგრეგატებით და არა ნედლი ფრეიმებით.

• პატარა გუნდი გსურთ? მოერიდეთ ეგზოტიკურ ხელსაწყოების ჯაჭვებს - მოსაწყენიც კი ლამაზია.

• მოდელები ხშირად შეიცვლება? პირველივე დღიდან დაგეგმეთ OTA და ტელემეტრია.

რისკები, შეზღუდვები და მოსაწყენი, მაგრამ მნიშვნელოვანი დეტალები 🧯

• მოდელის დრიფტი - გარემოს ცვლილება; განაწილების მონიტორინგი, ჩრდილოვანი რეჟიმების გაშვება, პერიოდულად გადამზადება.

• გამოთვლითი ჭერი - მეხსიერების/სიმძლავრის სიმძლავრის შეზღუდვა აიძულებს უფრო პატარა მოდელებს ან შემცირებულ სიზუსტეს.

• უსაფრთხოება - ფიზიკური წვდომის დაშვება; უსაფრთხო ჩატვირთვის, ხელმოწერილი არტეფაქტების, დამოწმების, ყველაზე ნაკლებად პრივილეგირებული სერვისების გამოყენება.

• მონაცემთა მართვა - ადგილობრივი დამუშავება ხელს უწყობს, მაგრამ მაინც გჭირდებათ თანხმობა, შენახვა და ტელემეტრიის მასშტაბი.

• ფლოტის ოპერაციები - მოწყობილობები ოფლაინში ყველაზე ცუდ დროს ითიშება; შექმენით გადავადებული განახლებები და განახლებული ატვირთვები.

• ნიჭიერების ნაკრები - ჩაშენებული + ML + DevOps ჭრელი გუნდია; ადრეულ ეტაპზევე ჯვარედინი ტრენინგი.

პრაქტიკული გზამკვლევი რაიმე სასარგებლოს გასაგზავნად 🗺️

1. აირჩიეთ ერთი გამოყენების შემთხვევა, მესამე ხაზზე გაზომვადი ღირებულების დეფექტის აღმოჩენით, ჭკვიან დინამიკზე გამოღვიძების სიტყვით და ა.შ.

2. შეაგროვეთ მოწესრიგებული მონაცემთა ნაკრები , რომელიც ასახავს სამიზნე გარემოს; შეიტანეთ ხმაური რეალობასთან შესაბამისობაში.

3. პროტოტიპი დეველოპერულ კომპლექტზე, საწარმოო აპარატურასთან ახლოს.

4. მოდელის შეკუმშვა კვანტიზაციით/გადაჭრით; სიზუსტის დანაკარგის პატიოსნად გაზომვა. [3]

5. დასკვნის შეფუთვა სუფთა API-ში უკუწნევით და მაკონტროლებლებით - რადგან მოწყობილობები 2 საათზე იყინება

6. შეიმუშავეთ ტელემეტრია , რომელიც პატივს სცემს კონფიდენციალურობას: გაგზავნის რაოდენობა, ჰისტოგრამები, კიდიდან ამოღებული მახასიათებლები.

7. Harden-ის უსაფრთხოება : ხელმოწერილი ბინარული ფაილები, უსაფრთხო ჩატვირთვა, მინიმალური სერვისები ღიაა.

8. OTA გეგმა : ეტაპობრივი დანერგვა, კანარის ვერსიები, მყისიერი გაუქმება.

9. უსწორმასწორო კუთხის კორპუსში პილოტი ჩადეთ - თუ იქ გადარჩა, ნებისმიერ ადგილას გადარჩება.

10. მასშტაბირება ინსტრუქციის მიხედვით : როგორ დაამატებთ მოდელებს, როგორ შეცვლით გასაღებებს, როგორ დაარქივებთ მონაცემებს - ისე, რომ პროექტი #2 ქაოსი არ იყოს.

ხშირად დასმული კითხვები - მოკლე პასუხები კითხვაზე „რა არის Edge AI-ის ცნობისმოყვარეობა“ ❓

Edge AI უბრალოდ პატარა მოდელს მართავს პაწაწინა კომპიუტერზე?
ძირითადად, კი, მაგრამ ზომა არ არის მთელი ამბავი. საქმე ასევე ეხება შეყოვნების ბიუჯეტებს, კონფიდენციალურობის დაპირებებს და მრავალი მოწყობილობის მართვას, რომლებიც ლოკალურად მოქმედებენ, მაგრამ გლობალურად სწავლობენ. [1]

შემიძლია თუ არა კიდეზე ვარჯიში?
მოწყობილობაზე მსუბუქი ტრენინგი/პერსონალიზაცია არსებობს; უფრო მძიმე ტრენინგი კვლავ ცენტრალიზებულად მუშაობს. ONNX Runtime აღწერს მოწყობილობაზე ტრენინგის ვარიანტებს, თუ თავგადასავლების მოყვარული ხართ. [4]

რა არის Edge AI fog computing-ის წინააღმდეგ?
Fog და Edge ბიძაშვილები არიან. ორივე მათგანი გამოთვლით ტექნოლოგიებს მონაცემთა წყაროებთან აახლოებს, ზოგჯერ ახლომდებარე კარიბჭეების მეშვეობით. ფორმალური განმარტებებისა და კონტექსტისთვის იხილეთ NIST. [2]

Edge-ის ხელოვნური ინტელექტი ყოველთვის აუმჯობესებს კონფიდენციალურობას?
ის გვეხმარება, მაგრამ ეს არ არის მაგია. თქვენ მაინც გჭირდებათ მინიმიზაცია, უსაფრთხო განახლების გზები და ფრთხილად ჟურნალირება. კონფიდენციალურობას ჩვევად მოეპყარით და არა როგორც მონიშვნის ველს.

ღრმა სტატიები, რომლებიც შეიძლება წაიკითხოთ 📚

1) მოდელის ოპტიმიზაცია, რომელიც არ ამცირებს სიზუსტეს

კვანტიზაციამ შეიძლება შეამციროს მეხსიერება და დააჩქაროს ოპერაციები, მაგრამ თუ დაკალიბრებთ წარმომადგენლობით მონაცემებს, თორემ მოდელმა შეიძლება ციყვები ჰალუცინაციები გამოაჩინოს იქ, სადაც საგზაო კონუსებია. დისტილაცია - მასწავლებელი, რომელიც უფრო პატარა მოსწავლეს ხელმძღვანელობს - ხშირად ინარჩუნებს სემანტიკას. [3]

2) კიდის ინფერენციის შესრულების დრო პრაქტიკაში

LiteRT-ის ინტერპრეტატორი განზრახ უსტატიკო მეხსიერების გაშვების დროს მუშაობს. ONNX Runtime სხვადასხვა ამაჩქარებლებს უკავშირდება შესრულების პროვაიდერების მეშვეობით. არცერთი არ არის უტყუარი; ორივე მყარი ჩაქუჩია. [3][4]

3) სიმტკიცე ველურ ბუნებაში

სიცხე, მტვერი, არასტაბილური სიმძლავრე, უხარისხო Wi-Fi: შექმენით მცველები, რომლებიც გადატვირთავენ ქსელებს, ინახავენ გადაწყვეტილებებს და შერიგდებიან ქსელის აღდგენისას. ნაკლებად მომხიბვლელია, ვიდრე ყურადღების ცენტრში მყოფი ადამიანები - თუმცა უფრო მნიშვნელოვანია.

ფრაზა, რომელსაც შეხვედრებზე გაიმეორებთ - რა არის Edge AI 🗣️

Edge AI ინტელექტს მონაცემებთან უფრო აახლოებს, რათა დააკმაყოფილოს შეყოვნების, კონფიდენციალურობის, გამტარუნარიანობისა და საიმედოობის პრაქტიკული შეზღუდვები. მაგია არ არის ერთი ჩიპი ან ჩარჩო - ის გონივრულად ირჩევს, თუ რა და სად გამოთვალოს.

დასკვნითი შენიშვნები - ძალიან გრძელია, არ წამიკითხავს 🧵

Edge AI მოდელებს მონაცემებთან ახლოს მართავს, რათა პროდუქტები სწრაფი, კონფიდენციალური და საიმედო იყოს. ორივე სამყაროს საუკეთესოდ გამოყენებისთვის თქვენ შეურიებთ ლოკალურ დასკვნას ღრუბლოვან ზედამხედველობასთან. აირჩიეთ თქვენი მოწყობილობების შესაბამისი გაშვების დრო, დაეყრდენით ამაჩქარებლებს, როცა შეგიძლიათ, შეინარჩუნეთ მოდელების სისუფთავე შეკუმშვის გამოყენებით და შექმენით ფლოტის ოპერაციები ისე, რომ თქვენი სამუშაო ამაზე იყოს დამოკიდებული - რადგან, რა თქმა უნდა, შეიძლება ასეც იყოს. თუ ვინმე გკითხავთ, რა არის Edge AI , უთხარით: ჭკვიანური გადაწყვეტილებები, მიღებული ადგილობრივად, დროულად. შემდეგ გაიღიმეთ და თემა შეცვალეთ ბატარეებზე. 🔋🙂

ცნობები

1. IBM - რა არის Edge AI? (განმარტება, უპირატესობები).
   https://www.ibm.com/think/topics/edge-ai

2. NIST - SP 500-325: ნისლის გამოთვლის კონცეპტუალური მოდელი (ნისლის/ზღვრის ფორმალური კონტექსტი).
   https://csrc.nist.gov/pubs/sp/500/325/final

3. Google AI Edge - LiteRT (ყოფილი TensorFlow Lite) (გაშვების დრო, კვანტიზაცია, მიგრაცია).
   https://ai.google.dev/edge/littert

4. ONNX Runtime - მოწყობილობაზე ტრენინგი (პორტატული გაშვება + ტრენინგი კიდის მოწყობილობებზე).
   https://onnxruntime.ai/docs/get-started/training-on-device.html

5. Apple-ის მანქანური სწავლების კვლევა - ტრანსფორმატორების განლაგება Apple-ის ნერვულ ძრავზე (ANE ეფექტურობის შენიშვნები).
   https://machinelearning.apple.com/research/neural-engine-transformers

იპოვეთ უახლესი ხელოვნური ინტელექტი ოფიციალურ ხელოვნური ინტელექტის ასისტენტების მაღაზიაში

ჩვენს შესახებ