როგორ მუშაობს ხელოვნური ინტელექტის დეტექტორები?

როგორ მუშაობს ხელოვნური ინტელექტის დეტექტორები?

მოკლე პასუხი: ხელოვნური ინტელექტის დეტექტორები არ „ამტკიცებენ“, თუ ვინ დაწერა რაღაც; ისინი აფასებენ, თუ რამდენად ზუსტად შეესაბამება ნაცნობ ენობრივ-მოდელურ ნიმუშებს პასაჟი. უმეტესობა ეყრდნობა კლასიფიკატორების, პროგნოზირებადობის სიგნალების (დაბნეულობა/აფეთქება), სტილისტომეტრიის და, უფრო იშვიათ შემთხვევებში, ჭვირნიშნების შემოწმების ნაზავს. როდესაც ნიმუში მოკლეა, უაღრესად ფორმალური, ტექნიკური ან დაწერილია ინგლისური ენის, როგორც მეორე ენის, ავტორის მიერ, ქულა განხილვის სიგნალად მიიჩნიეთ და არა განაჩენად.

ძირითადი დასკვნები:

ალბათობა და არა მტკიცებულება : პროცენტები განიხილეთ, როგორც „ხელოვნური ინტელექტის მსგავსების“ რისკის სიგნალები და არა როგორც დანამდვილება.

ცრუ დადებითი შედეგები : ფორმალური, ტექნიკური, შაბლონური ან არამშობლიური წერა ხშირად არასწორად არის მონიშნული.

მეთოდების კომბინაცია : ინსტრუმენტები აერთიანებს კლასიფიკატორებს, დაბნეულობას/აფეთქებას, სტილიმეტრიას და უჩვეულო წყლის ნიშნის შემოწმებას.

გამჭვირვალობა : უპირატესობა მიანიჭეთ დეტექტორებს, რომლებიც ავლენენ ზედაპირის დიაპაზონს, მახასიათებლებსა და გაურკვევლობას - და არა მხოლოდ ერთ რიცხვს.

სადავოა : შეინახეთ პროექტები/შენიშვნები და დაამუშავეთ მტკიცებულებები დავების და სააპელაციო საჩივრებისთვის.

როგორ მუშაობს ხელოვნური ინტელექტის დეტექტორები? ინფოგრაფიკა

სტატიები, რომელთა წაკითხვაც შეიძლება მოგეწონოთ ამის შემდეგ:

🔗 რომელია საუკეთესო ხელოვნური ინტელექტის დეტექტორი?
ხელოვნური ინტელექტის აღმოჩენის საუკეთესო ინსტრუმენტების შედარება სიზუსტის, მახასიათებლებისა და გამოყენების შემთხვევების მიხედვით.

🔗 სანდოა თუ არა ხელოვნური ინტელექტის დეტექტორები?
განმარტავს სანდოობას, ცრუ დადებით შედეგებს და იმას, თუ რატომ განსხვავდება შედეგები ხშირად.

🔗 შეუძლია თუ არა Turnitin-ს ხელოვნური ინტელექტის აღმოჩენა?
Turnitin-ის ხელოვნური ინტელექტის აღმოჩენის, შეზღუდვებისა და საუკეთესო პრაქტიკის სრული სახელმძღვანელო.

🔗 ზუსტია QuillBot-ის ხელოვნური ინტელექტის დეტექტორი?
სიზუსტის, ძლიერი და სუსტი მხარეების და რეალურ სამყაროში ჩატარებული ტესტების დეტალური მიმოხილვა.

1) მოკლე იდეა - რას აკეთებს სინამდვილეში ხელოვნური ინტელექტის დეტექტორი ⚙️

ხელოვნური ინტელექტის დეტექტორების უმეტესობა ისე არ „იჭერს ხელოვნურ ინტელექტს“, როგორც ბადე თევზს იჭერს. ისინი უფრო პროზაულ რაღაცას აკეთებენ:

მოდით, ვიყოთ გულახდილები - ინტერფეისი იტყვის რაღაცას, მაგალითად, „92% ხელოვნური ინტელექტი“ და თქვენი ტვინი იტყვის „კარგი, ალბათ ეს ფაქტია“. ეს ფაქტი არ არის. ეს მოდელის ვარაუდია სხვა მოდელის თითის ანაბეჭდებზე. რაც ოდნავ სასაცილოა, თითქოს ძაღლები ძაღლებს ყნოსავენ 🐕🐕

2) როგორ მუშაობენ ხელოვნური ინტელექტის დეტექტორები: ყველაზე გავრცელებული „დეტექციის ძრავები“ 🔍

დეტექტორები, როგორც წესი, იყენებენ ამ მიდგომებიდან ერთს (ან ნაზავს): ( LLM-ის მიერ გენერირებული ტექსტის დეტექციის კვლევა )

ა) კლასიფიკატორის მოდელები (ყველაზე გავრცელებული)

კლასიფიკატორი ივარჯიშება ეტიკეტირებულ მაგალითებზე:

  • ადამიანის მიერ დაწერილი ნიმუშები

  • ხელოვნური ინტელექტის მიერ გენერირებული ნიმუშები

  • ზოგჯერ „ჰიბრიდული“ ნიმუშები (ადამიანის მიერ რედაქტირებული ხელოვნური ინტელექტის ტექსტი)

შემდეგ ის სწავლობს ნიმუშებს, რომლებიც ჯგუფებს ჰყოფს. ეს არის კლასიკური მანქანური სწავლების მიდგომა და შეიძლება გასაკვირი იყოს... სანამ არ გახდება. ( LLM-ის მიერ გენერირებული ტექსტის ამოცნობის კვლევა )

ბ) დაბნეულობისა და „აფეთქების“ შეფასება 📈

ზოგიერთი დეტექტორი ითვლის, თუ რამდენად „პროგნოზირებადია“ ტექსტი.

  • დაბნეულობა : დაახლოებით, რამდენად აკვირვებს ენობრივი მოდელი შემდეგ სიტყვას. ( ბოსტონის უნივერსიტეტი - დაბნეულობის პოსტები )

  • დაბნეულობის დაბალი დონე შეიძლება მიუთითებდეს, რომ ტექსტი ძალიან პროგნოზირებადია (რაც შეიძლება მოხდეს ხელოვნური ინტელექტის გამომავალ სიგნალებთან დაკავშირებით). ( DetectGPT )

  • „Burstiness“ ცდილობს გაზომოს, თუ რამდენად მრავალფეროვანია წინადადების სირთულე და რიტმი. ( GPTZero )

ეს მიდგომა მარტივი და სწრაფია. ასევე ადვილია მისი დაბნევა, რადგან ადამიანებსაც შეუძლიათ პროგნოზირებადი წერა (გამარჯობა, კორპორატიულ ელფოსტას). ( OpenAI )

გ) სტილომეტრია (თითის ანაბეჭდის აღება წერილობით) ✍️

სტილომეტრია განიხილავს შემდეგ ნიმუშებს:

  • საშუალო წინადადების სიგრძე

  • პუნქტუაციის სტილი

  • ფუნქციური სიტყვის სიხშირე (the, და, მაგრამ…)

  • ლექსიკის მრავალფეროვნება

  • წაკითხვის ქულები

ეს „ხელწერის ანალიზს“ ჰგავს, ტექსტის გარდა. ზოგჯერ ეს გვეხმარება. ზოგჯერ ეს გაციების დიაგნოზის დასმას ჰგავს ვინმეს ფეხსაცმლის დათვალიერებით. ( სტილომეტრია და სასამართლო ექსპერტიზა: ლიტერატურის მიმოხილვა ; ფუნქციური სიტყვები ავტორობის ატრიბუციაში )

დ) წყლის ნიშნის აღმოჩენა (როდესაც ის არსებობს) 🧩

ზოგიერთ მოდელის პროვაიდერს შეუძლია გენერირებულ ტექსტში ჩასვას დახვეწილი შაბლონები („წყლის ნიშნები“). თუ დეტექტორმა იცის წყლის ნიშნის სქემა, მას შეუძლია სცადოს მისი გადამოწმება. ( წყლის ნიშანი დიდი ენობრივი მოდელებისთვის ; SynthID ტექსტი )

მაგრამ... ყველა მოდელის ჭვირნიშანი არ არის, ყველა გამომავალი არ ინარჩუნებს ჭვირნიშანს რედაქტირების შემდეგ და ყველა დეტექტორს არ აქვს წვდომა საიდუმლო რეცეპტორზე. ამიტომ ეს არ არის უნივერსალური გადაწყვეტა. ( დიდი ენობრივი მოდელების ჭვირნიშნების სანდოობის შესახებ ; OpenAI )

3) რა ხდის ხელოვნური ინტელექტის დეტექტორის კარგ ვერსიას ✅

„კარგი“ დეტექტორი (ჩემი გამოცდილებით, როდესაც რედაქციული სამუშაო პროცესებისთვის მათი გვერდიგვერდ ტესტირება მოვახდინე) არ არის ის, ვინც ყველაზე ხმამაღლა ყვირის. ეს არის ის, რომელიც პასუხისმგებლობით იქცევა.

აი, რა ხდის ხელოვნური ინტელექტის დეტექტორს მყარს:

საუკეთესოები, რაც კი მინახავს, ​​ცოტა თავმდაბლები არიან. ყველაზე ცუდები კი ისე იქცევიან, თითქოს აზრებს კითხულობენ 😬

4) შედარების ცხრილი - ხელოვნური ინტელექტის დეტექტორების გავრცელებული „ტიპები“ და სად ბრწყინავენ ისინი 🧾

ქვემოთ მოცემულია პრაქტიკული შედარება. ეს არ არის ბრენდის სახელები - ეს არის ძირითადი კატეგორიები, რომლებსაც წააწყდებით. ( LLM-ის მიერ გენერირებული ტექსტის ამოცნობის კვლევა )

ხელსაწყოს ტიპი (დაახლოებით) საუკეთესო აუდიტორია ფასის შეგრძნება რატომ მუშაობს (ზოგჯერ)
Perplexity Checker Lite მასწავლებლები, სწრაფი შემოწმებები თავისუფალი სწრაფი სიგნალი პროგნოზირებადობაზე - მაგრამ შეიძლება იყოს ნახტომიანი…
კლასიფიკატორის სკანერი პრო რედაქტორები, ადამიანური რესურსები, შესაბამისობა გამოწერა სწავლობს ნიმუშებს ეტიკეტირებული მონაცემებიდან - საშუალო სიგრძის ტექსტზე კარგად მუშაობს
სტილის ანალიზატორი მკვლევარები, ფორენზიკის სპეციალისტები $$$ ან ნიშა ადარებს წერის თითის ანაბეჭდებს - უცნაური, მაგრამ მოსახერხებელი გრძელ ფორმატში
წყლის ნიშნის მაძიებელი პლატფორმები, შიდა გუნდები ხშირად შეფუთულია ძლიერია, როდესაც წყლის ნიშანი არსებობს - თუ არ არის, ეს ფაქტობრივად მხრების აჩეჩვაა
ჰიბრიდული საწარმოს პაკეტი დიდი ორგანიზაციები თითო ადგილი, კონტრაქტები აერთიანებს მრავალ სიგნალს - უკეთეს დაფარვას, მეტ რეგულირების ღილაკს (და არასწორად კონფიგურაციის მეტ გზას, უი)

ყურადღება მიაქციეთ სვეტს „ფასის შეგრძნება“. დიახ, ეს სამეცნიერო არ არის. მაგრამ გულწრფელია 😄

5) ძირითადი სიგნალები, რომლებსაც დეტექტორები ეძებენ - „მითითებებს“ 🧠

აი, რას ცდილობს ბევრი დეტექტორი გაზომოს კაპოტის ქვეშ:

პროგნოზირებადობა (ნიშნური ალბათობა)

ენობრივი მოდელები ტექსტს წარმოქმნიან შემდეგი სავარაუდო ტოკენების პროგნოზირებით. ეს, როგორც წესი, ქმნის:

ადამიანები, მეორე მხრივ, ხშირად უფრო მეტად ზიგზაგისებურად მოძრაობენ. ჩვენ ვეწინააღმდეგებით საკუთარ თავს, ვამატებთ შემთხვევით კომენტარებს, ვიყენებთ ოდნავ არასწორ მეტაფორებს - მაგალითად, ხელოვნური ინტელექტის დეტექტორის შედარებას პოეზიის შემფასებელ ტოსტერთან. ეს მეტაფორა ცუდია, მაგრამ თქვენ მიხვდით.

გამეორებისა და სტრუქტურის ნიმუშები

ხელოვნური ინტელექტის წერას შეუძლია დახვეწილი გამეორებების ჩვენება:

ასევე - ბევრი ადამიანი ასე წერს, განსაკუთრებით სკოლაში ან კორპორატიულ გარემოში. ასე რომ, გამეორება მინიშნებაა და არა მტკიცებულება.

ზედმეტი სიცხადე და „ზედმეტად სუფთა“ პროზა ✨

ეს თავისებური შემთხვევაა. ზოგიერთი დეტექტორი „ძალიან სუფთა წერილს“ ირიბად საეჭვოდ მიიჩნევს. ( OpenAI )

რაც უხერხულია, რადგან:

  • კარგი მწერლები არსებობენ

  • რედაქტორები არსებობენ

  • მართლწერის შემოწმება არსებობს

ასე რომ, თუ ფიქრობთ, თუ როგორ მუშაობენ ხელოვნური ინტელექტის დეტექტორები , პასუხის ნაწილი ასეთია: ზოგჯერ ისინი უხეშობას აჯილდოებენ. რაც... გარკვეულწილად საპირისპიროა.

სემანტიკური სიმკვრივე და ზოგადი ფრაზირება

დეტექტორებმა შეიძლება მონიშნონ ტექსტი, რომელიც შემდეგნაირად გამოიყურება:

ხელოვნური ინტელექტი ხშირად ქმნის კონტენტს, რომელიც გონივრულად ჟღერს, მაგრამ ოდნავ გადამუშავებულია. მაგალითად, სასტუმროს ნომერი, რომელიც ლამაზად გამოიყურება, მაგრამ არანაირი ინდივიდუალობა არ გააჩნია 🛏️

6) კლასიფიკატორის მიდგომა - როგორ ხდება მისი გაწვრთნა (და რატომ იშლება) 🧪

კლასიფიკატორის დეტექტორი, როგორც წესი, შემდეგნაირად არის მომზადებული:

  1. შეაგროვეთ ადამიანური ტექსტის მონაცემთა ნაკრები (ესეები, სტატიები, ფორუმები და ა.შ.)

  2. ხელოვნური ინტელექტის ტექსტის გენერირება (მრავალი მოთხოვნა, სტილი, სიგრძე)

  3. მონიშნეთ ნიმუშები

  4. მოდელის გაწვრთნა მათ გასაყოფად ფუნქციების ან ჩაშენებების გამოყენებით

  5. დაადასტურეთ ის შეკავებულ მონაცემებზე

  6. გაგზავნეთ... და შემდეგ რეალობა სახეში ურტყამს ( LLM-ის მიერ გენერირებული ტექსტის ამოცნობის კვლევა )

რატომ ურტყამს რეალობა მას:

  • დომენის ცვლა : ტრენინგის მონაცემები არ ემთხვევა რეალური მომხმარებლის მიერ დაწერილ მონაცემებს

  • მოდელის ცვლილება : ახალი თაობის მოდელები არ იქცევიან ისე, როგორც მონაცემთა ნაკრებში არსებული მოდელები

  • რედაქტირების ეფექტები : ადამიანის მიერ შესრულებულმა რედაქტირებამ შეიძლება წაშალოს აშკარა ნიმუშები, მაგრამ შეინარჩუნოს დახვეწილი.

  • ენობრივი ვარიაცია : დიალექტები, ინგლისური ენის წერა და ფორმალური სტილები არასწორად იკითხება ( LLM-ის მიერ გენერირებული ტექსტის ამოცნობის კვლევა ; ლიანგი და სხვ. (arXiv) )

მე მინახავს დეტექტორები, რომლებიც საკუთარ დემო ვერსიებში „შესანიშნავი“ იყო, შემდეგ კი რეალურ სამუშაო ადგილზე წერისას ჩაიშალა. ეს იგივეა, რომ სათნო ძაღლი მხოლოდ ერთი ბრენდის ორცხობილაზე გაწვრთნა და ელოდო, რომ ის მსოფლიოში ყველა საჭმელს იპოვის 🍪

7) დაბნეულობა და აფეთქება - მათემატიკური მალსახმობი 📉

დეტექტორების ეს ოჯახი, როგორც წესი, ენის მოდელის შეფასებას ეყრდნობა:

  • ისინი თქვენს ტექსტს ამუშავებენ მოდელის მეშვეობით, რომელიც აფასებს თითოეული შემდეგი ტოკენის ალბათობას.

  • ისინი ითვლიან საერთო „გაოცებას“ (დაბნეულობას). ( ბოსტონის უნივერსიტეტი - დაბნეულობის პოსტები )

  • მათ შეიძლება დაამატონ ვარიაციის მეტრიკა („აფეთქების სიჩქარე“), რათა დაადგინონ, რიტმი ადამიანურად ჟღერს თუ არა. ( GPTZero )

რატომ მუშაობს ზოგჯერ:

  • ნედლი ხელოვნური ინტელექტის ტექსტი შეიძლება იყოს უკიდურესად გლუვი და სტატისტიკურად პროგნოზირებადი ( DetectGPT )

რატომ არის წარუმატებელი:

  • მოკლე ნიმუშები ხმაურიანია

  • ფორმალური წერა პროგნოზირებადია

  • ტექნიკური წერა პროგნოზირებადია

  • არამშობლიური წერა შეიძლება პროგნოზირებადი იყოს

  • ძლიერ რედაქტირებული ხელოვნური ინტელექტის ტექსტი შეიძლება ადამიანურად გამოიყურებოდეს ( OpenAI ; Turnitin )

ასე რომ, ხელოვნური ინტელექტის დეტექტორების მუშაობის პრინციპი ზოგჯერ სიჩქარის მზომ პისტოლეტს წააგავს, რომელიც ველოსიპედებსა და მოტოციკლებს ერთმანეთში ურევს. ერთი და იგივე გზა, სხვადასხვა ძრავები 🚲🏍️

8) წყლის ნიშნები - „თითის ანაბეჭდის მელანში“ იდეა 🖋️

წყლის ნიშნის გამოყენება სუფთა გადაწყვეტას ჰგავს: ხელოვნური ინტელექტის ტექსტის მონიშვნა გენერირების დროს და შემდეგ მისი აღმოჩენა. ( წყლის ნიშანი დიდი ენობრივი მოდელებისთვის ; SynthID ტექსტი )

პრაქტიკაში, წყლის ნიშნები შეიძლება იყოს მყიფე:

ასევე, წყლის ნიშნის აღმოჩენა მხოლოდ მაშინ მუშაობს, თუ:

  • გამოიყენება წყლის ნიშანი

  • დეტექტორმა იცის, როგორ შეამოწმოს ეს

  • ტექსტი დიდად არ შეცვლილა ( OpenAI ; SynthID ტექსტი )

ასე რომ, დიახ, წყლის ნიშნები შეიძლება ეფექტური იყოს, მაგრამ ისინი არ არის უნივერსალური პოლიციის სამკერდე ნიშანი.

9) ცრუ დადებითი შედეგები და მათი წარმოშობის მიზეზები (მტკივნეული ნაწილი) 😬

ეს ცალკე განყოფილებას იმსახურებს, რადგან სწორედ აქ ხდება ყველაზე მეტი დაპირისპირება.

ცრუ დადებითი შედეგის ყველაზე გავრცელებული გამომწვევი ფაქტორები:

  • ძალიან ფორმალური ტონი (აკადემიური, იურიდიული, შესაბამისობის შესახებ წერილობითი წერა)

  • არამშობლიური ინგლისური (უფრო მარტივი წინადადებების სტრუქტურები შეიძლება „მოდელის მსგავსი“ გამოიყურებოდეს)

  • შაბლონებზე დაფუძნებული წერა (სამოტივაციო წერილები, სტანდარტული საოპერაციო პროცედურები, ლაბორატორიული ანგარიშები)

  • მოკლე ტექსტის ნიმუშები (სიგნალი არ არის საკმარისი)

  • თემატური შეზღუდვები (ზოგიერთი თემა განმეორებით ფრაზებს მოითხოვს) ( ლიანგი და სხვ. (arXiv) ; ტურნიტინი )

თუ ოდესმე გინახავთ ვინმე, ვინც ზედმეტად კარგად წერის გამო გააკრიტიკეს... დიახ. ეს ხდება. და ეს სასტიკია.

დეტექტორის ქულა უნდა დამუშავდეს შემდეგნაირად:

  • კვამლის დეტექტორი და არა სასამართლოს განაჩენი 🔥
    ის გეუბნებათ „შესაძლოა შემოწმება“ და არა „საქმე დახურულია“. ( OpenAI ; Turnitin )

10) როგორ განვმარტოთ დეტექტორის ქულები ზრდასრულის მსგავსად 🧠🙂

აქ მოცემულია შედეგების წაკითხვის პრაქტიკული გზა:

თუ ინსტრუმენტი ერთ პროცენტს იძლევა

განიხილეთ ეს, როგორც რისკის უხეში სიგნალი:

  • 0-30%სავარაუდოდ, ადამიანის მიერ არის შექმნილი ან ძლიერ რედაქტირებულია

  • 30-70%: ორაზროვანი ზონა - არაფერი ივარაუდოთ

  • 70-100% : უფრო სავარაუდოა ხელოვნური ინტელექტის მსგავსი ნიმუშები, მაგრამ მაინც არ არის დადასტურებული ( ტურნიტინის სახელმძღვანელოები )

მაღალი ქულებიც კი შეიძლება არასწორი იყოს, განსაკუთრებით შემდეგ შემთხვევებში:

  • სტანდარტიზებული წერა

  • გარკვეული ჟანრები (რეზიუმეები, განმარტებები)

  • ინგლისური ენის, როგორც მეორე ენის, წერა ( ლიანგი და სხვ. (arXiv) )

მოძებნეთ ახსნა-განმარტებები და არა მხოლოდ ციფრები

უკეთესი დეტექტორები უზრუნველყოფენ:

თუ ხელსაწყო არაფრის ახსნაზე უარს იტყვის და უბრალოდ შუბლზე ციფრს დაგიკრავთ... მე არ ვენდობი მას. შენც არ უნდა ენდო.

11) როგორ მუშაობენ ხელოვნური ინტელექტის დეტექტორები: მარტივი გონებრივი მოდელი 🧠🧩

თუ გსურთ სუფთა შედეგი, გამოიყენეთ ეს გონებრივი მოდელი:

  1. ხელოვნური ინტელექტის დეტექტორები ეძებენ სტატისტიკურ და სტილისტურ ნიმუშებს, რომლებიც გავრცელებულია მანქანური გენერირების ტექსტში. ( კვლევის შედეგები LLM-ის მიერ გენერირებული ტექსტის ამოცნობის შესახებ )

  2. ისინი ამ ნიმუშებს ადარებენ იმას, რაც ტრენინგის მაგალითებიდან ისწავლეს. ( LLM-ის მიერ გენერირებული ტექსტის ამოცნობის კვლევა )

  3. ისინი ალბათობის მსგავს ვარაუდს და არა ფაქტობრივ წარმოშობის ისტორიას. ( OpenAI )

  4. ვარაუდი მგრძნობიარეა ჟანრის, თემის, სიგრძის, რედაქტირებისა და დეტექტორის სასწავლო მონაცემების . ( LLM-ის მიერ გენერირებული ტექსტის დეტექციის კვლევა )

სხვა სიტყვებით რომ ვთქვათ, ხელოვნური ინტელექტის დეტექტორების მუშაობის პრინციპი იმაში მდგომარეობს, რომ ისინი „განსჯიან მსგავსებას“ და არა ავტორობას. ეს იგივეა, რაც იმის თქმა, რომ ვინმე თავის ბიძაშვილს ჰგავს. ეს არ არის იგივე, რაც დნმ-ის ტესტი... და დნმ-ის ტესტებსაც კი აქვთ უპირატესი შედეგები.

12) პრაქტიკული რჩევები შემთხვევითი დროშების შესამცირებლად (თამაშების გარეშე) ✍️✅

არა „როგორ მოვატყუოთ დეტექტორები“. უფრო ისაა, თუ როგორ დავწეროთ ისე, რომ ასახავდეს რეალურ ავტორობას და თავიდან ავიცილოთ უცნაური არასწორი ინტერპრეტაციები.

  • დაამატეთ კონკრეტული დეტალები: თქვენს მიერ რეალურად გამოყენებული კონცეფციების სახელები, გადადგმული ნაბიჯები, განხილული კომპრომისები

  • გამოიყენეთ ბუნებრივი ვარიაცია: შეურიეთ მოკლე და გრძელი წინადადებები (როგორც ადამიანები აკეთებენ ფიქრის დროს)

  • ჩართეთ რეალური შეზღუდვები: დროის ლიმიტები, გამოყენებული ინსტრუმენტები, რა მოხდა არასწორად, რას გააკეთებდით სხვაგვარად

  • მოერიდეთ შაბლონური ფორმულირების გადაჭარბებულ გამოყენებას: შეცვალეთ „გარდა ამისა“ ისეთით, რასაც რეალურად იტყვით

  • შეინახეთ პროექტები და შენიშვნები: თუ ოდესმე დავა წარმოიქმნება, პროცესის მტკიცებულებები უფრო მნიშვნელოვანია, ვიდრე შინაგანი შეგრძნება

სინამდვილეში, საუკეთესო დაცვა უბრალოდ... გულწრფელობაა. არასრულყოფილად გულწრფელი და არა „იდეალური ბროშურის“ გულწრფელი.

დასკვნითი შენიშვნები 🧠✨

ხელოვნური ინტელექტის დეტექტორები შეიძლება ღირებული იყოს, მაგრამ ისინი არ არიან სიმართლის მანქანები. ისინი არასრულყოფილ მონაცემებზე გაწვრთნილი ნიმუშების შესაბამისობის მექანიზმები არიან, რომლებიც მუშაობენ სამყაროში, სადაც წერის სტილები მუდმივად ემთხვევა ერთმანეთს. ( OpenAI ; LLM-ის მიერ გენერირებული ტექსტის ამოცნობის კვლევა )

მოკლედ:

  • დეტექტორები კლასიფიკატორებს, დაბნეულობას/სიბლანტესობას, სტილომეტრიას და ზოგჯერ წყლის ნიშნებსაც ეყრდნობიან 🧩 ( LLM-ის მიერ გენერირებული ტექსტის დეტექციის კვლევა )

  • ისინი აფასებენ „ხელოვნურ ინტელექტთან მსგავსებას“ და არა დარწმუნებულობას ( OpenAI )

  • ცრუ დადებითი შედეგები ხშირად გვხვდება ფორმალურ, ტექნიკურ ან არამშობლიურ წერაში 😬 ( ლიანგი და სხვ. (arXiv) ; Turnitin )

  • დეტექტორის შედეგები გამოიყენეთ გადახედვის მიზეზად და არა განაჩენის გამოსატანად ( ტურნიტინი )

და კი... თუ ვინმე კვლავ გკითხავთ, როგორ მუშაობენ ხელოვნური ინტელექტის დეტექტორები , შეგიძლიათ უპასუხოთ: „ისინი ვარაუდობენ შაბლონების მიხედვით - ზოგჯერ ჭკვიანური, ზოგჯერ სულელური, ყოველთვის შეზღუდული“. 🤖

ხშირად დასმული კითხვები

როგორ მუშაობენ ხელოვნური ინტელექტის დეტექტორები პრაქტიკაში?

ხელოვნური ინტელექტის დეტექტორების უმეტესობა ავტორობას არ „ამტკიცებს“. ისინი აფასებენ, თუ რამდენად ჰგავს თქვენი ტექსტი ენობრივი მოდელების მიერ ჩვეულებრივ შექმნილ ნიმუშებს და შემდეგ გამოაქვთ ალბათობის მსგავსი ქულა. ფარულად, მათ შეიძლება გამოიყენონ კლასიფიკატორის მოდელები, დაბნეულობის სტილის პროგნოზირებადობის ქულა, სტილიმეტრიის ფუნქციები ან წყლის ნიშნის შემოწმება. შედეგი საუკეთესოდ განიხილება, როგორც რისკის სიგნალი და არა საბოლოო განაჩენი.

რა სიგნალებს ეძებენ ხელოვნური ინტელექტის დეტექტორები წერილობით?

გავრცელებული სიგნალებია პროგნოზირებადობა (რამდენად „გაოცებულია“ მოდელი თქვენი შემდეგი სიტყვებით), წინადადებების სქემაში გამეორება, უჩვეულოდ თანმიმდევრული ტემპი და ზოგადი ფრაზირება დაბალი კონკრეტული დეტალებით. ზოგიერთი ინსტრუმენტი ასევე იკვლევს სტილის მარკერებს, როგორიცაა წინადადების სიგრძე, პუნქტუაციის ჩვევები და ფუნქციური სიტყვების სიხშირე. ეს სიგნალები შეიძლება გადაფარავდეს ადამიანის წერილობით წერილობით წერილებს, განსაკუთრებით ფორმალურ, აკადემიურ ან ტექნიკურ ჟანრებში.

რატომ აღნიშნავენ ხელოვნური ინტელექტის დეტექტორები ადამიანის წერილობით დაწერილ ტექსტს, როგორც ხელოვნურ ინტელექტს?

ცრუ დადებითი შედეგები მაშინ ჩნდება, როდესაც ადამიანის მიერ დაწერილი ტექსტი სტატისტიკურად „გლუვად“ ან შაბლონის მსგავსად გამოიყურება. ფორმალური ტონი, შესაბამისობის სტილის ფორმულირება, ტექნიკური განმარტებები, მოკლე ნიმუშები და არამშობლიური ინგლისური შეიძლება არასწორად იქნას აღქმული, როგორც ხელოვნური ინტელექტის მსგავსი, რადგან ისინი ამცირებენ ვარიაციას. სწორედ ამიტომ, სუფთა, კარგად რედაქტირებულ აბზაცს შეუძლია მაღალი ქულის გამოწვევა. დეტექტორი ადარებს მსგავსებას და არა ადასტურებს წარმომავლობას.

საიმედოა თუ არა დაბნეულობისა და „აფეთქების“ დეტექტორები?

დაბნეულობაზე დაფუძნებული მეთოდები შეიძლება იმუშაოს, როდესაც ტექსტი არის ნედლი, მაღალპროგნოზირებადი ხელოვნური ინტელექტის მიერ შექმნილი გამომავალი. თუმცა, ისინი მყიფეა: მოკლე პასაჟები ხმაურიანია და ბევრი ლეგიტიმური ადამიანური ჟანრი ბუნებრივად პროგნოზირებადია (რეზიუმეები, განმარტებები, კორპორატიული ელფოსტა, სახელმძღვანელოები). რედაქტირებას და დახვეწას ასევე შეუძლია მკვეთრად შეცვალოს ქულის შეფასება. ეს ინსტრუმენტები შესაფერისია სწრაფი დახარისხებისთვის და არა მაღალი რისკის შემცველი გადაწყვეტილებებისთვის.

რა განსხვავებაა კლასიფიკატორის დეტექტორებსა და სტილისტომეტრიის ინსტრუმენტებს შორის?

კლასიფიკატორის დეტექტორები სწავლობენ ადამიანისა და ხელოვნური ინტელექტის (და ზოგჯერ ჰიბრიდული) ტექსტის ეტიკეტირებული მონაცემთა ნაკრებებიდან და პროგნოზირებენ, რომელ ველს ჰგავს თქვენი ტექსტი ყველაზე მეტად. სტილიმეტრიის ინსტრუმენტები ფოკუსირებულია წერის „თითის ანაბეჭდებზე“, როგორიცაა სიტყვების არჩევის ნიმუშები, ფუნქციური სიტყვები და წაკითხვის სიგნალები, რაც შეიძლება უფრო ინფორმატიული იყოს გრძელი ფორმის ანალიზში. ორივე მიდგომა განიცდის დომენის ცვლილებას და შეიძლება გართულდეს, როდესაც წერის სტილი ან თემა განსხვავდება მათი სასწავლო მონაცემებისგან.

წყლის ნიშნები სამუდამოდ წყვეტენ ხელოვნური ინტელექტის ამოცნობის პრობლემას?

წყლის ნიშნები შეიძლება ძლიერი იყოს, როდესაც მოდელი იყენებს მათ და დეტექტორმა იცის წყლის ნიშნის სქემა. სინამდვილეში, ყველა პროვაიდერის წყლის ნიშანი არ არის და გავრცელებული ტრანსფორმაციები - პერიფრაზირება, თარგმანი, ნაწილობრივი ციტირება ან წყაროების შერევა - შეიძლება შეასუსტოს ან დაარღვიოს ნიმუში. წყლის ნიშნის აღმოჩენა ძლიერია ვიწრო შემთხვევებში, სადაც მთელი ჯაჭვი ერთ ხაზზეა, მაგრამ ის უნივერსალური დაფარვის არეალი არ არის.

როგორ უნდა გავიგო „X% AI“ ქულა?

ერთი პროცენტი „ხელოვნური ინტელექტის მსგავსების“ დაახლოებით მაჩვენებლად უნდა ჩაითვალოს და არა ხელოვნური ინტელექტის ავტორობის დასტურად. საშუალო დიაპაზონის ქულები განსაკუთრებით ბუნდოვანია და სტანდარტიზებულ ან ფორმალურ წერილობით წერაში მაღალი ქულებიც კი შეიძლება არასწორი იყოს. უკეთესი ინსტრუმენტები ისეთ განმარტებებს იძლევა, როგორიცაა ხაზგასმული ინტერვალები, მახასიათებლების შენიშვნები და გაურკვევლობის ენა. თუ დეტექტორი საკუთარ თავს ვერ ხსნის, ნუ ჩათვლით რიცხვს ავტორიტეტულად.

რა ხდის ხელოვნური ინტელექტის დეტექტორს კარგს სკოლებისა თუ სარედაქციო სამუშაო პროცესებისთვის?

მყარი დეტექტორი დაკალიბრებულია, მინიმუმამდე ამცირებს ცრუ დადებით შედეგებს და ნათლად გადმოსცემს ზღვრებს. მან თავი უნდა აარიდოს მოკლე ნიმუშებზე ზედმეტად თავდაჯერებულ მტკიცებებს, დაამუშაოს სხვადასხვა სფერო (აკადემიური vs ბლოგის vs ტექნიკური) და დარჩეს სტაბილური, როდესაც ადამიანები ტექსტს ასწორებენ. ყველაზე პასუხისმგებლიანი ინსტრუმენტები თავმდაბლურად იქცევიან: ისინი გვთავაზობენ მტკიცებულებებს და გაურკვევლობას, ნაცვლად იმისა, რომ იმოქმედონ როგორც გონების წამკითხველები.

როგორ შევამცირო შემთხვევითი ხელოვნური ინტელექტის დროშები სისტემის „თამაშის“ გარეშე?

ფოკუსირება მოახდინეთ ავტორობის ავთენტურ სიგნალებზე და არა ხრიკებზე. დაამატეთ კონკრეტული დეტალები (გადადგმული ნაბიჯები, შეზღუდვები, კომპრომისები), ბუნებრივად შეცვალეთ წინადადების რიტმი და მოერიდეთ ზედმეტად შაბლონურ გადასვლებს, რომლებსაც ჩვეულებრივ არ გამოიყენებდით. შეინახეთ მონახაზები, შენიშვნები და რედაქტირების ისტორია - დავებში პროცესის მტკიცებულებები ხშირად უფრო მნიშვნელოვანია, ვიდრე დეტექტორის ქულა. მიზანია სიცხადე და პიროვნული თვისებები და არა სრულყოფილი ბროშურის პროზა.

ცნობები

  1. გამოთვლითი ლინგვისტიკის ასოციაცია (ACL ანთოლოგია) - LLM-ის მიერ გენერირებული ტექსტის ამოცნობის კვლევა - aclanthology.org

  2. OpenAI - ახალი AI კლასიფიკატორი AI-ის მიერ დაწერილი ტექსტის აღსანიშნავად - openai.com

  3. Turnitin-ის სახელმძღვანელოები - ხელოვნური ინტელექტით ჩაწერის აღმოჩენა კლასიკურ რეპორტში - guides.turnitin.com

  4. Turnitin-ის სახელმძღვანელოები - ხელოვნური ინტელექტით წერის ამოცნობის მოდელი - guides.turnitin.com

  5. Turnitin - ცრუ დადებითი შედეგების გაგება ჩვენი ხელოვნური ინტელექტის მიერ ჩაწერის აღმოჩენის შესაძლებლობების ფარგლებში - turnitin.com

  6. arXiv - DetectGPT - arxiv.org

  7. ბოსტონის უნივერსიტეტი - Perplexity-ის პოსტები - cs.bu.edu

  8. GPTZero - დაბნეულობა და აფეთქება: რა არის ეს? - gptzero.me

  9. PubMed Central (NCBI) - სტილომეტრია და სასამართლო ექსპერტიზა: ლიტერატურის მიმოხილვა - ncbi.nlm.nih.gov

  10. გამოთვლითი ლინგვისტიკის ასოციაცია (ACL ანთოლოგია) - ფუნქციური სიტყვები ავტორობაში ატრიბუციის მიხედვით - aclanthology.org

  11. arXiv - წყლის ნიშანი დიდი ენობრივი მოდელებისთვის - arxiv.org

  12. Google-ის ხელოვნური ინტელექტი დეველოპერებისთვის - SynthID ტექსტი - ai.google.dev

  13. arXiv - დიდი ენობრივი მოდელების წყლის ნიშნების სანდოობის შესახებ - arxiv.org

  14. OpenAI - იმის გაგება, თუ რა წყაროს ვხედავთ და გვესმის ონლაინ - openai.com

  15. სტენფორდის HAI - ხელოვნური ინტელექტის დეტექტორები არაინგლისურის მწერლების მიმართ მიკერძოებულები არიან - hai.stanford.edu

  16. arXiv - ლიანგი და სხვ. - arxiv.org

იპოვეთ უახლესი ხელოვნური ინტელექტი ოფიციალურ ხელოვნური ინტელექტის ასისტენტების მაღაზიაში

ჩვენს შესახებ

ბლოგზე დაბრუნება