ფსიქოლოგიურ კვლევებში რეალური ადამიანების ჩართვა დიდ ხარჯებთანაა დაკავშირებული. ისინი სწრაფად იღლებიან და ზოგჯერ დიდ ფსიქოლოგიურ სტრესსაც განიცდიან. სოციალური მეცნიერებების სფეროში მომუშავე ბევრი მკვლევრისთვის ერთგვარი ოცნებაა, რომ ექსპერიმენტის მონაწილეები ხელოვნური ინტელექტით (AI), კერძოდ "ციფრული ტყუპისცალებით", ჩანაცვლდნენ.

ახალი ნაშრომის შედეგები იმაზე მიანიშნებს, ამ "ოცნების" სრულყოფამდე ჯერ კიდევ დიდი დრო გვაშორებს. მეცნიერები აღნიშნავენ, რომ კონკრეტული ადამიანების ქცევის იმიტაციისთვის შექმნილი AI აგენტები რეალური ადამიანების შეხედულებებს ამახინჯებენ და ერთგვარ "მრუდე სარკის" ეფექტს ქმნიან.

"გარკვეული პერსპექტივა ნამდვილად ჩანს, თუმცა შედეგები მაინც იმედგამაცრუებელი აღმოჩნდა", — აცხადებს ოლივიე ტუბია, გამოთვლითი სოციალური მეცნიერების სპეციალისტი ნიუ-იორკის კოლუმბიის ბიზნესსკოლიდან.

ღია მონაცემთა ბაზიდან ექსპერიმენტამდე

გასულ წელს Marketing Science-ში გამოქვეყნებული ნაშრომის ფარგლებში ტუბიამ და მისმა კოლეგებმა 2 000-ზე მეტი მონაწილე გამოკითხეს აშშ-ის მასშტაბით. რესპონდენტებმა 500-ზე მეტ კითხვას უპასუხეს. შეკითხვები ეხებოდა მათ ასაკს, პიროვნულ თვისებებს, ეთნიკურ კუთვნილებას, შემოსავალს, განათლებას, რელიგიურ და პოლიტიკურ შეხედულებებს, ფულის ხარჯვის ჩვევებს, ასევე მათემატიკურ და ლექსიკურ უნარებს. ამ კითხვების დიდი ნაწილი ფსიქოლოგიის, ეკონომიკისა და ბიზნესის კვლევების სტანდარტული სკალებიდან აიღეს. ამასთან ერთად, მონაწილეებმა აზროვნების თავისებურებებისა და მიკერძოებების შესაფასებელი ონლაინ ტესტებიც გაიარეს.

ტუბიას თქმით, ვინაიდან ციფრული ტყუპისცალების ეფექტიანობის შესახებ საკმარისი მონაცემები არ არსებობდა, პროექტის მთავარი მიზანი ღია მონაცემთა ბაზის შექმნა იყო სხვა მეცნიერებისთვის.

"ამ ეტაპზე ეს ბაზა 25 000-ზე მეტჯერაა ჩამოტვირთული", — დასძენს იგი.

ახალ ექსპერიმენტში AI ტყუპისცალების დასაგენერირებლად მკვლევრებმა თითოეული მონაწილის სრული ინფორმაცია დიდ ენობრივ მოდელში (LLM) შეიყვანეს. მათ ალგორითმს დაავალეს, პასუხები კონკრეტული ადამიანის სახელით გაეცა. სოციალური მეცნიერებების 19 სხვადასხვა ექსპერიმენტში მეცნიერებმა მრავალი ასპექტი შეამოწმეს, თუნდაც როგორ პასუხებს სცემდნენ ადამიანები და მათი "ტყუპისცალები" დემოკრატიული ან რესპუბლიკური პარტიების ამომრჩევლებს.

შედეგებმა აჩვენა, რომ ციფრული ტყუპისცალების სიზუსტე შემთხვევითი ალბათობის მაჩვენებელს აღემატებოდა, თუმცა საშუალოდ შემთხვევათა დაახლოებით მეოთხედში მოდელი მაინც ცდებოდა. საბოლოო ჯამში, მათი ეფექტიანობა იმ დაახლოებით ჩატბოტების დონეზე აღმოჩნდა, რომლებსაც მხოლოდ საბაზისო დემოგრაფიულ მონაცემებს აწვდიდნენ.

ამასთანავე, ციფრულმა ტყუპისცალებმა ადამიანთა პასუხების რეალური ცვალებადობა იმაზე უკეთ ასახეს, ვიდრე მხოლოდ დემოგრაფიული ცნობების მქონე მოდელებმა. მაგალითად, თვითკონტროლის სკალაზე ერთმა ადამიანმა საკუთარი თავი შეიძლება 2 ქულით შეაფასოს, ხოლო მეორემ — 4 ქულით. შეზღუდული ინფორმაციის მქონე LLM ორივე შემთხვევაში, სავარაუდოდ, საშუალო 3 ქულას აირჩევდა, რაც მათ შორის განსხვავებას წაშლიდა. მეორე მხრივ, ციფრულმა ტყუპისცალმა შეიძლება პასუხად 3 და 5 ქულა დააფიქსიროს. ეს პროგნოზიც მცდარია, მაგრამ იგი ჯგუფში არსებული ინდივიდუალური განსხვავებების შესახებ მაინც უკეთეს წარმოდგენას გვიქმნის.

სისტემური ცდომილებები და არარეალური რაციონალურობა

მკვლევრები AI ტყუპისცალების დაბალ სიზუსტეს რამდენიმე სისტემურ ცდომილებას მიაწერენ. კერძოდ, ხელოვნური ინტელექტის პასუხები ადამიანთა პასუხებზე ბევრად ერთფეროვანი იყო და ხშირად დემოგრაფიულ სტერეოტიპებს ეფუძნებოდა. ამასთან ერთად, მოდელის სიზუსტე შედარებით მაღალი შემოსავლისა და უკეთესი განათლების მქონე მონაწილეების შემთხვევაში იზრდებოდა. AI აგენტებმა სხვა მიკერძოებებიც გამოავლინეს: ისინი ადამიანებისადმი მეტ ნდობას გამოხატავდნენ და ტექნოლოგიურ რისკებს ნაკლებად უფრთხოდნენ. რეალურ ადამიანებთან შედარებით, ციფრული ტყუპისცალები ბევრად რაციონალურად გამოიყურებოდნენ.

ჰადი ჰოსეინი, პენსილვანიის შტატის უნივერსიტეტის ეკონომისტი და ხელოვნური ინტელექტის მკვლევარი, ანალოგიურ ეფექტს წააწყდა იმის შესწავლისას, თუ როგორ იღებს AI გადაწყვეტილებებს ჯანდაცვის სფეროში რესურსების დეფიციტის დროს.

"დიდი ენობრივი მოდელები ადამიანის მსჯელობას სპეციფიკური მიმართულებით ამახინჯებს — ისინი პასუხებს იმაზე ბევრად რაციონალურსა და გონივრულს ხდის, ვიდრე ადამიანები რეალურად არიან", — განმარტავს ჰოსეინი.

რა ელით ციფრულ ტყუპისცალებს მომავალში?

ჰოსეინის აზრით, ციფრული ტყუპისცალების გაუმჯობესების გზები მაინც არსებობს. მისი თქმით, ექსპერიმენტში კითხვების ძალიან სტატიკური ნაკრები გამოიყენეს. მონაცემთა ხარისხის ასამაღლებლად შესაძლებელია, რომ უფრო დინამიკური მიდგომებიც დაინერგოს — მაგალითად, ჩატბოტმა თვალყური ადევნოს ადამიანის ყოველდღიურ აქტივობებს ან მასთან რეგულარულ დიალოგში ჩაერთოს.

ოლივიე ტუბიას, მეორე მხრივ, სამომავლოდ სწავლების უფრო კომპლექსური მეთოდების გამოცდა სურს. მისი თქმით, AI ტყუპისცალები არსებული ფორმითაც კი შეიძლება აღმოჩნდნენ სასარგებლო გარკვეულ სიტუაციებში. მაგალითად, როდესაც მკვლევრებს ვრცელი და დეტალური პასუხი სჭირდებათ, დაღლილი ადამიანი შეიძლება მხოლოდ ერთი წინადადებით შემოიფარგლოს, დაუღალავი AI კი ამ დროს მთელს ესეს დაწერს. ასევე, ციფრული ტყუპისცალების მეშვეობით ექსპერიმენტის წინასწარი ტესტირება მეცნიერებს საშუალებას მისცემს, კვლევის დიზაინი მანამ შეამოწმონ, სანამ რეალური ადამიანების დროსა და ენერგიას დახარჯავენ.

ტუბია კოლეგებს მეტი სიფრთხილისკენ მოუწოდებს. მისი თქმით, სოციალურ მეცნიერებებში ხშირად მიიჩნევენ, რომ სკალები და გამოკითხვები ადამიანური გამოცდილების სრულ სპექტრს ასახავს, თუმცა ადამიანის ქცევის მანქანური პროგნოზირება უაღრესად რთული ამოცანაა.

"სინთეზური მონაცემების მიმართ რეალური მოლოდინები უნდა გვქონდეს," — ასკვნის მეცნიერი.

კვლევა 2 სექტემბერს Science Advances-ში გამოქვეყნდა.