როგორ გავხდეთ ხელოვნური ინტელექტის დეველოპერი. მოკლე მიმოხილვა.

თქვენ აქ ფუჭად ლაპარაკისთვის არ ხართ. გსურთ მკაფიო გზა, თუ როგორ გახდეთ ხელოვნური ინტელექტის დეველოპერი უსასრულო ჩანართებში, ჟარგონულ სუპში ან ანალიზის პარალიზებაში ჩაძირვის გარეშე. კარგია. ეს სახელმძღვანელო გთავაზობთ უნარების რუკას, რეალურად მნიშვნელოვან ინსტრუმენტებს, პროექტებს, რომლებიც უკან გამოძახებას ითხოვენ და ჩვევებს, რომლებიც განასხვავებს რედაქტირებას ექსპლუატაციისგან. მოდით, დავიწყოთ თქვენი განვითარება.

სტატიები, რომელთა წაკითხვაც შეიძლება მოგეწონოთ ამის შემდეგ:

🔗 როგორ დავიწყოთ ხელოვნური ინტელექტის კომპანია
ეტაპობრივი სახელმძღვანელო თქვენი ხელოვნური ინტელექტის სტარტაპის შექმნის, დაფინანსებისა და გაშვებისთვის.

🔗 როგორ შევქმნათ ხელოვნური ინტელექტი თქვენს კომპიუტერზე
ისწავლეთ ხელოვნური ინტელექტის მოდელების მარტივად შექმნა, წვრთნა და გაშვება ადგილობრივად.

🔗 როგორ შევქმნათ ხელოვნური ინტელექტის მოდელი
ხელოვნური ინტელექტის მოდელის შექმნის ყოვლისმომცველი ანალიზი კონცეფციიდან დანერგვამდე.

🔗 რა არის სიმბოლური ხელოვნური ინტელექტი?
გამოიკვლიეთ, თუ როგორ მუშაობს სიმბოლური ხელოვნური ინტელექტი და რატომ არის ის დღემდე მნიშვნელოვანი.

რა ხდის ხელოვნური ინტელექტის დეველოპერს შესანიშნავს✅

კარგი ხელოვნური ინტელექტის დეველოპერი არ არის ის, ვინც ყველა ოპტიმიზატორს იმახსოვრებს. ეს არის ის, ვისაც შეუძლია ბუნდოვანი პრობლემის აღება, მისი ჩარჩოში მოქცევა , მონაცემებისა და მოდელების შერწყმა, ისეთი რამის შექმნა, რაც მუშაობს, მისი პატიოსნად გაზომვა და დრამის გარეშე იტერაცია. რამდენიმე ნიშანი:

• კომფორტი მთელ ციკლში: მონაცემები → მოდელი → შეფასება → განლაგება → მონიტორინგი.

• სწრაფი ექსპერიმენტებისადმი მიკერძოება პირველყოფილ თეორიაზე მეტად... საკმარისი თეორიით აშკარა ხაფანგების თავიდან ასაცილებლად.

• პორტფოლიო, რომელიც ადასტურებს, რომ შეგიძლიათ შედეგების მიღწევა და არა მხოლოდ რვეულების.

• პასუხისმგებლიანი აზროვნება რისკის, კონფიდენციალურობისა და სამართლიანობის მიმართ - არა შესრულებითი, არამედ პრაქტიკული. ინდუსტრიული სტრუქტურები, როგორიცაა NIST AI რისკების მართვის ჩარჩო და OECD AI პრინციპები, დაგეხმარებათ ერთსა და იმავე ენაზე ისაუბროთ, როგორც შემფასებლები და დაინტერესებული მხარეები. [1][2]

პატარა აღიარება: ზოგჯერ მოდელს აგზავნი და შემდეგ ხვდები, რომ საბაზისო ვერსია იმარჯვებს. ეს თავმდაბლობა - უცნაურია - სუპერძალაა.

მოკლე ვინიეტი: გუნდმა შექმნა დახვეწილი კლასიფიკატორი მხარდაჭერის ტრიაჟისთვის; საბაზისო საკვანძო სიტყვების წესებმა აჯობა მას პირველი რეაგირების დროს. მათ შეინარჩუნეს წესები, გამოიყენეს მოდელი უკიდურესი შემთხვევებისთვის და ორივე დანერგეს. ნაკლები მაგია, მეტი შედეგი.

გზამკვლევი, თუ როგორ გავხდეთ ხელოვნური ინტელექტის დეველოპერი 🗺️

აქ მოცემულია მარტივი, იტერაციული გზა. გაიმეორეთ ის რამდენჯერმე დონის ამაღლებისას:

1. პროგრამირების თავისუფლად ცოდნა პლუს ძირითადი DS ბიბლიოთეკები: NumPy, pandas, scikit-learn. გადახედეთ ოფიციალურ სახელმძღვანელოებს და შემდეგ შექმენით პაწაწინა სკრიპტები მანამ, სანამ თითები არ გაიცნობთ მათ. scikit-learn-ის მომხმარებლის სახელმძღვანელო ასევე გასაკვირად პრაქტიკული სახელმძღვანელოს ფუნქციას ასრულებს. [3]

2. მანქანური სწავლების საფუძვლები სტრუქტურირებული სასწავლო გეგმის მეშვეობით: წრფივი მოდელები, რეგულარიზაცია, ჯვარედინი ვალიდაცია, მეტრიკა. კლასიკური ლექციების ჩანაწერები და პრაქტიკული ჩქაროსნული კურსის კომბინაცია კარგად მუშაობს.

3. ღრმა სწავლების ინსტრუმენტები : აირჩიეთ PyTorch ან TensorFlow და ისწავლეთ საკმარისი რაოდენობის მოდელების სწავლება, შენახვა და ჩატვირთვა; მონაცემთა ნაკრებების დამუშავება; და ფორმების გავრცელებული შეცდომების გამართვა. თუ გსურთ „კოდი პირველ რიგში“-ს გამოყენება, PyTorch-ის ოფიციალური სახელმძღვანელოებით

4. პროექტები, რომლებიც რეალურად იგზავნება : შეფუთულია Docker-ის გამოყენებით, აკონტროლებს გაშვებებს (CSV ჟურნალიც კი არაფერს ჯობნის) და ათავსებს მინიმალურ API-ს. ისწავლეთ Kubernetes, როდესაც ერთბლოკიან განლაგებას გადააჭარბებთ; ჯერ Docker-ი გამოიყენეთ. [5]

5. პასუხისმგებლიანი ხელოვნური ინტელექტის ფენა : NIST/OECD-ის (ვალიდურობა, სანდოობა, გამჭვირვალობა, სამართლიანობა) მიხედვით შთაგონებული მსუბუქი რისკების საკონტროლო სიის მიღება. ეს დისკუსიებს კონკრეტულს ხდის, ხოლო აუდიტს მოსაწყენს (კარგი გაგებით). [1][2]

6. ცოტა სპეციალიზაცია : NLP ტრანსფორმერებით, ხედვა თანამედროვე კომუნიკაციებით/ViTs-ით, რეკომენდაციები ან LLM აპლიკაციები და აგენტები. აირჩიეთ ერთი ხაზი, ააშენეთ ორი პატარა პროექტი და შემდეგ განშტოდით.

მე-2-6 ნაბიჯებს სამუდამოდ გაიმეორებთ. სიმართლე გითხრათ, საქმე სწორედ ესაა.

უნარების დასტა, რომელსაც რეალურად უმეტესად გამოიყენებთ 🧰

• Python + მონაცემთა წერა : მასივების დაჭრა, შეერთებები, ჯგუფებად დაყოფა, ვექტორიზაცია. თუ პანდების ცეკვას შეძლებთ, ტრენინგი უფრო მარტივი და შეფასება უფრო მკაფიოა.

• Core ML : მატარებლის ტესტირების გაყოფები, გაჟონვის თავიდან აცილება, მეტრული წიგნიერება. scikit-learn სახელმძღვანელო უდავოდ ერთ-ერთი საუკეთესო საცდელი ტექსტია. [3]

• DL ჩარჩო : აირჩიეთ ერთი, დაიწყეთ ყოვლისმომცველი მუშაობა და შემდეგ მეორეს გადახედეთ. PyTorch-ის დოკუმენტები გონებრივ მოდელს უფრო მკაფიოს ხდის. [4]

• ექსპერიმენტის ჰიგიენა : ტრასის გავლა, პარამეტრები და არტეფაქტები. მომავალი - თქვენ გძულთ არქეოლოგია.

• კონტეინერიზაცია და ორკესტრაცია : Docker თქვენი სტეკის შესაფუთად; Kubernetes, როდესაც გჭირდებათ რეპლიკები, ავტომატური მასშტაბირება და განახლებების განახლება. დაიწყეთ აქ. [5]

• GPU-ს საფუძვლები : იცოდეთ როდის უნდა იქირაოთ ის, როგორ მოქმედებს პარტიის ზომა გამტარუნარიანობაზე და რატომ არის ზოგიერთი ოპერაცია შეზღუდული მეხსიერებით.

• პასუხისმგებლიანი ხელოვნური ინტელექტი : მონაცემთა წყაროების დოკუმენტირება, რისკების შეფასება და შერბილების ღონისძიებების დაგეგმვა მკაფიო თვისებების გამოყენებით (ვალიდურობა, სანდოობა, გამჭვირვალობა, სამართლიანობა). [1]

საწყისი სასწავლო გეგმა: რამდენიმე ბმული, რომელიც თავის წონაზე მეტად მუშაობს 🔗

• მანქანური სწავლების საფუძვლები : თეორიული ჩანაწერების ნაკრები + პრაქტიკული ჩქაროსნული კურსი. შეუთავსეთ ისინი პრაქტიკას scikit-learn-ში. [3]

• ჩარჩოები : PyTorch-ის სახელმძღვანელოები (ან TensorFlow-ის სახელმძღვანელო, თუ Keras-ს ანიჭებთ უპირატესობას). [4]

• მონაცემთა მეცნიერების საფუძვლები : scikit-learn-ის მომხმარებლის სახელმძღვანელო მეტრიკის, პროცესებისა და შეფასების ინტერნალიზაციისთვის. [3]

• მიწოდება : Docker-ის Get Started გზა, ამიტომ „ჩემს მანქანაზე მუშაობს“ გარდაიქმნება „ყველგან მუშაობს“-ად. [5]

შეინახეთ ესენი სანიშნეებში. როდესაც გაიჭედებით, წაიკითხეთ ერთი გვერდი, სცადეთ ერთი რამ და გაიმეორეთ.

სამი პორტფოლიო პროექტი, რომლებიც ინტერვიუებს გაივლიან 📁

1. თქვენს საკუთარ მონაცემთა ნაკრებზე გაძლიერებული კითხვებზე პასუხის გაცემა

   • ნიშური ცოდნის ბაზის ამოღება/იმპორტირება, ჩასმების შექმნა + აღდგენა, მსუბუქი ინტერფეისის დამატება.

   • თვალყური ადევნეთ შეყოვნებას, კითხვა-პასუხის გადავადებული ნაკრების სიზუსტეს და მომხმარებლის გამოხმაურებას.

   • ჩართეთ მოკლე „წარუმატებლობის შემთხვევების“ განყოფილება.

2. ხედვის მოდელი რეალური განლაგების შეზღუდვებით

   • კლასიფიკატორის ან დეტექტორის გაწვრთნა, FastAPI-ის საშუალებით მომსახურება, Docker-ის გამოყენებით კონტეინერიზაცია, მასშტაბირება. [5]

   • დოკუმენტის გადახრის აღმოჩენა (მახასიათებლებზე მარტივი პოპულაციის სტატისტიკა კარგი დასაწყისია).

3. პასუხისმგებლიანი ხელოვნური ინტელექტის შემთხვევის შესწავლა

   • აირჩიეთ საჯარო მონაცემთა ნაკრები მგრძნობიარე მახასიათებლებით. გააკეთეთ მეტრიკისა და შერბილების ანალიზი NIST-ის თვისებებთან (ვალიდურობა, სანდოობა, სამართლიანობა) შესაბამისობაში. [1]

თითოეულ პროექტს სჭირდება: 1 გვერდიანი README, დიაგრამა, რეპროდუცირებადი სკრიპტები და პატარა ცვლილებების ჟურნალი. დაამატეთ ცოტაოდენი ემოჯი, რადგან, როგორც ამბობენ, ადამიანებიც კითხულობენ მათ 🙂

MLOps, განლაგება და ის, რასაც არავინ გასწავლით 🚢

გადაზიდვა უნარია. მინიმალური ნაკადი:

• კონტეინერში მოათავსეთ ისე, რომ dev ≈ prod. დაიწყეთ ოფიციალური Getting Started დოკუმენტაციით; მრავალსერვისიანი კონფიგურაციისთვის გადადით Compose-ზე. [5]

• ექსპერიმენტების თვალყურის დევნება (ლოკალურადაც კი). პარამეტრები, მეტრიკები, არტეფაქტები და „გამარჯვებულის“ თეგი აბლაციების პატიოსნებას და თანამშრომლობას შესაძლებელს ხდის.

• გამოყენებით . ჯერ გაეცანით განლაგებებს, სერვისებს და დეკლარაციულ კონფიგურაციას; თავი დაანებეთ უაზრო ფიქრს.

• ღრუბლოვანი გაშვების დრო : Colab პროტოტიპების შესაქმნელად; მართული პლატფორმები (SageMaker/Azure ML/Vertex) სათამაშო აპლიკაციების გადაცემის შემდეგ.

• GPU-ს წიგნიერება : CUDA ბირთვების დაწერა არ გჭირდებათ; თქვენ უნდა ამოიცნოთ, როდის არის მონაცემთა ჩამტვირთავი თქვენი შემაფერხებელი ფაქტორი.

პაწაწინა, არასრულყოფილი მეტაფორა: წარმოიდგინეთ MLO-ები, როგორც ხაჭოს საფუარი - მიაწოდეთ მას ავტომატიზაცია და მონიტორინგი, თორემ სუნი დადგება.

პასუხისმგებლიანი ხელოვნური ინტელექტი თქვენი კონკურენტული თხრილია 🛡️

გუნდები სანდოობის დამტკიცების ზეწოლის ქვეშ არიან. თუ რისკზე, დოკუმენტაციასა და მმართველობაზე კონკრეტულად ისაუბრებთ, ოთახში ისეთი ადამიანი ხდებით, როგორიც ხალხს სურს.

• გამოიყენეთ დადგენილი ჩარჩო : შეუსაბამეთ მოთხოვნები NIST-ის თვისებებს (ვალიდურობა, სანდოობა, გამჭვირვალობა, სამართლიანობა), შემდეგ კი გადააქციეთ ისინი საკონტროლო სიის ელემენტებად და მიღების კრიტერიუმებად PR-ებში. [1]

• განამტკიცეთ თქვენი პრინციპები : ეკონომიკური თანამშრომლობისა და განვითარების ორგანიზაციის ხელოვნური ინტელექტის პრინციპები ხაზს უსვამს ადამიანის უფლებებსა და დემოკრატიულ ღირებულებებს - სასარგებლოა კომპრომისებზე საუბრისას. [2]

• პროფესიული ეთიკა : დიზაინის დოკუმენტებში ეთიკის კოდექსის მოკლე მინიშნება ხშირად განსხვავებას ქმნის „ჩვენ ამაზე ვიფიქრეთ“ და „ჩვენ ეს შევქმენით“-ს შორის.

ეს ბიუროკრატია არ არის. ეს ხელობაა.

ცოტა სპეციალიზაცია გაიკეთე: აირჩიე ზოლი და ისწავლე მისი ხელსაწყოები 🛣️

• LLM და NLP : ტოკენიზაციის ნაკლოვანებები, კონტექსტური ფანჯრები, RAG, BLEU-ს მიღმა შეფასება. დაიწყეთ მაღალი დონის მილსადენებით, შემდეგ კი მორგება.

• ხედვა : მონაცემთა გაფართოება, ეტიკეტირების ჰიგიენა და კიდის მოწყობილობებზე განლაგება, სადაც შეყოვნება ყველაზე მაღალია.

• რეკომენდაციები : იმპლიციტური უკუკავშირის თავისებურებები, ცივი დაწყების სტრატეგიები და ბიზნეს KPI-ები, რომლებიც RMSE-ს არ შეესაბამება.

• აგენტებისა და ინსტრუმენტების გამოყენება : ფუნქციის გამოძახება, შეზღუდული დეკოდირება და უსაფრთხოების რელსები.

გულწრფელად რომ ვთქვათ, კვირა დილით აირჩიეთ ის დომენი, რომელიც ცნობისმოყვარეობას გაგიღვივებთ.

შედარების ცხრილი: როგორ გავხდეთ ხელოვნური ინტელექტის დეველოპერი 📊

დიახ, დაშორება ცოტა არათანაბარია. ნამდვილი მაგიდები იშვიათად არის იდეალური.

შეისწავლეთ მარყუჟები, რომლებიც რეალურად ფიქსირდება 🔁

• ორსაათიანი ციკლები : 20 წუთი დოკუმენტების კითხვა, 80 წუთი კოდირება, 20 წუთი გაფუჭებული ფაილების ჩაწერა.

• ერთგვერდიანი სტატიები : თითოეული მინი-პროექტის შემდეგ ახსენით პრობლემის ფორმულირება, საბაზისო მაჩვენებლები, მეტრიკა და წარუმატებლობის რეჟიმები.

• განზრახ შეზღუდვები : მხოლოდ CPU-ზე ვარჯიში, ან წინასწარი დამუშავებისთვის გარე ბიბლიოთეკების არარსებობა, ან ზუსტად 200 ხაზის ბიუჯეტი. შეზღუდვები, რატომღაც, კრეატიულობას წარმოშობს.

• ქაღალდის სპრინტები : დანერგეთ მხოლოდ დანაკარგი ან მონაცემთა ჩამტვირთავი. SOTA არ გჭირდებათ ბევრი რამის შესასწავლად.

თუ ყურადღება გაფანტულია, ეს ნორმალურია. ყველას აწუხებს. გაისეირნეთ, დაბრუნდით და რაიმე პატარა გამოაგზავნეთ.

გასაუბრებისთვის მზადება, თეატრალური წარმოდგენების გარეშე 🎯

• პორტფოლიო პირველ რიგში : რეალური რეპოზიტორები სლაიდ დეკებს სჯობნის. განათავსეთ მინიმუმ ერთი პატარა დემო ვერსია.

• ახსენით კომპრომისები : მზად იყავით, განიხილოთ მეტრიკის არჩევანი და ის, თუ როგორ გამოასწორებთ შეცდომას.

• სისტემური აზროვნება : მონაცემების → მოდელის → API → მონიტორის დიაგრამის ესკიზის შექმნა და მისი თხრობა.

• პასუხისმგებლიანი ხელოვნური ინტელექტი : შეინარჩუნეთ მარტივი საკონტროლო სია, რომელიც შეესაბამება NIST AI RMF-ს - ეს სიმწიფის სიგნალია და არა პოპულარული სიტყვები. [1]

• ჩარჩოს თავისუფლად გამოყენება : აირჩიეთ ერთი ჩარჩო და იყავით სახიფათო მასთან. ოფიციალური დოკუმენტები ინტერვიუებში სამართლიანი არჩევანია. [4]

პატარა კულინარიული წიგნი: თქვენი პირველი, სრულყოფილი პროექტი შაბათ-კვირის განმავლობაში 🍳

1. მონაცემები : აირჩიეთ სუფთა მონაცემთა ნაკრები.

2. საბაზისო : scikit-learn მოდელი ჯვარედინი ვალიდაციით; ძირითადი მეტრიკების ჟურნალირება. [3]

3. DL pass : იგივე დავალება PyTorch-ში ან TensorFlow-ში; შეადარეთ ვაშლები ვაშლებს. [4]

4. თვალყურის დევნება : რეკორდების დაფიქსირება (თუნდაც მარტივი CSV + დროის ნიშნულები). გამარჯვებულის მონიშვნა.

5. მომსახურება : პროგნოზის FastAPI მარშრუტში გადატანა, დოკერიზაცია, ლოკალურად გაშვება. [5]

6. დაფიქრდით : რომელი მეტრიკაა მნიშვნელოვანი მომხმარებლისთვის, რა რისკები არსებობს და რას გააკონტროლებთ გაშვების შემდეგ - ეცადეთ, NIST AI RMF-დან ისესხოთ ტერმინები, რომ ყველაფერი ნათელი იყოს. [1]

იდეალურია ეს? არა. იდეალური კურსის მოლოდინს ჯობია? აბსოლუტურად.

გავრცელებული ხაფანგები, რომელთა თავიდან აცილებაც ადრეულ ეტაპზეა შესაძლებელი ⚠️

• სწავლის სახელმძღვანელოებით ზედმეტად მორგება : დასაწყისისთვის კარგია, მაგრამ მალე გადადით პრობლემაზე პირველ ადგილზე ფიქრზე.

• შეფასების დიზაინის გამოტოვება : წარმატების განსაზღვრა ტრენინგამდე. საათების დაზოგვა.

• მონაცემთა კონტრაქტების იგნორირება : სქემის დრიფტი უფრო მეტ სისტემას არღვევს, ვიდრე მოდელები.

• განლაგების შიში : Docker უფრო მეგობრულია, ვიდრე ერთი შეხედვით ჩანს. დაიწყეთ მცირედით; შეეგუეთ იმ ფაქტს, რომ პირველი ბილდი მოუხერხებელი იქნება. [5]

• ეთიკა დიდხანს გრძელდება : მოგვიანებით მისი გამოყენება შესაბამისობის საქმედ იქცევა. დიზაინში გადააქციეთ - უფრო მსუბუქი და უკეთესი. [1][2]

TL;DR 🧡

თუ ერთი რამ გახსოვთ: ხელოვნური ინტელექტის დეველოპერი გახდომა არ ნიშნავს თეორიების დაგროვებას ან ბრწყინვალე მოდელების დევნას. ეს ეხება რეალური პრობლემების განმეორებით გადაჭრას მჭიდრო ციკლითა და პასუხისმგებლიანი აზროვნებით. შეისწავლეთ მონაცემთა დასტა, აირჩიეთ ერთი DL ჩარჩო, გაგზავნეთ პატარა დეტალები Docker-ის საშუალებით, თვალყური ადევნეთ თქვენს ქმედებებს და თქვენი არჩევანი მიამაგრეთ ისეთ პატივსაცემ რეკომენდაციებს, როგორიცაა NIST და OECD. შექმენით სამი პატარა, საყვარელი პროექტი და ისაუბრეთ მათზე როგორც თანაგუნდელი და არა როგორც ჯადოქარი. სულ ეს არის - ძირითადად.

და დიახ, თუ ეს დაგეხმარებათ, ხმამაღლა თქვით ფრაზა: მე ვიცი, როგორ გავხდე ხელოვნური ინტელექტის დეველოპერი . მაშინ დაამტკიცეთ ეს დღესვე ერთი საათით კონცენტრირებული შექმნით.

ცნობები

[1] NIST. ხელოვნური ინტელექტის რისკების მართვის ჩარჩო (AI RMF 1.0) . (PDF) - ბმული
[2] OECD. OECD AI პრინციპები - მიმოხილვა - ბმული
[3] scikit-learn. მომხმარებლის სახელმძღვანელო (სტაბილური) - ბმული
[4] PyTorch. სახელმძღვანელოები (საფუძვლების შესწავლა და ა.შ.) - ბმული
[5] Docker. დაწყება - ბმული