ანოტაცია
ბოლო წლებში, გენერაციულმა ენობრივმა მოდელებმა, განსაკუთრებით ChatGPT-მ, ფართო აღიარება მოიპოვა როგორც ინფორმაციისა და კრეატიულობის ახალმა არხმა. თუმცა, თუმცა მას ემართება ერთი უცნაური ფენომენი — ე.წ. “ჰალუცინაცია”, როდესაც მოდელი იგონებს ან დამაჯერებლად წარმოგვიდგენს არარსებულ ფაქტებს. სტატია იკვლევს ამ ჰალუცინაციების მექანიზმებს, მიზეზებსა და ლინგვისტურ-სემიოტიკურ განზომილებებს.
წარმოიდგინეთ მანქანა, რომელიც წერს წიგნებს, გესაუბრება ყოველდღიურ საჭიროებებზე, იგონებს ანეკდოტებს, აგებს ლოგიკურ არგუმენტებს და… ამავდროულად სიზმრებსაც ხედავს, ოღონდ ცხადში. ჰოდა, ეს მანქანაა GPT — ტრანსფორმერის მოდელი, რომელიც ძალიან დაწყობილად და არგუმენტირებულად გველაპარაკება ენის საშუალებით, მაგრამ არ იცის, რას ამბობს. უნდა აღინიშნოს, რომ მისი “ჰალუცინაციები” მორალური გაგებით საერთოდ არ არის ტყუილი. ის არ გვატყუებს. ის უბრალოდ თამაშობს სემიოტიკურ რულეტს.
ასეთი გამოცდილება ხშირად გვხვდება AI-სთან ურთიერთობისას. მეცნიერებაში ამას “ჰალუცინაციებს” უწოდებენ. AI იგონებს ინფორმაციას ან შესაძლებლობებს, რომლებიც არ გააჩნია. AI მოდელები (მათ შორის ChatGPT) დაპროგრამებული არიან, რომ დაეხმარონ მომხმარებელს, მაგრამ ხანდახან ეს სურვილი იმდენად ძლიერია, რომ შესაძლოა “გადაჭარბებით” იმოქმედონ და დაგპირდნენ ისეთი რამის შესრულებას, რაც რეალურად არ შეუძლიათ.
რა არის „ჰალუცინაცია“ ენობრივ მოდელებში?
ჰალუცინაცია, ტექნიკური ტერმინით, არის ის შემთხვევა, როდესაც ენობრივი მოდელი ქმნის ტექსტს, რომელიც აგებულია ლინგვისტურად სწორად, მაგრამ ფაქტობრივად მცდარია. ასეთი შეიძლება იყოს:
- არარსებული ციტატები ან ავტორები
- მოყვანილი სტატისტიკა, რომელსაც საფუძველი არ აქვს
- დეფორმირებული ან ახალი “ფაქტები”, რაც რეალობაში არ არსებობს
მაგალითად, ChatGPT შეიძლება დაწეროს, რომ ჰეგელმა დაწერა „ექსტაზის ფილოსოფია“, მაშინ როცა მსგავსი ტექსტი არც კი არსებობს — მაგრამ თუ არ იცი, რომ არ არსებობს, ძალიან ლოგიკურად მოგეჩვენება.
მე ხშირად ვტესტავ მასთან კომუნიკაციისას და ვაკვირდები: როგორ წარმოქმნის ჰალუცინაციებს. გამოუცდელი მომხმარებელი გულუბრყვილოდ დაიჯერებს, რადგან სიმართლეს და ტყუილს ჩატბოტი ერთნაირი ინტონაციით და დამაჯერებლობით გიყვება. უფრო ადვილია მისი “გამოჭერა”, როცა გეუბნება, რომ მაგალითად, 2 საათში დაგიმზადებს ანიმაციურ ვიდეოს და გამოგიგზავნის მეილზე ან აგიტვირთავს ვეტრანსფერზე (რაც მე გადამხდა). 2 საათის შემდეგ გთხოვს 10 წუთს, რადგან აი…აი, სრულდება უკვე მონტაჟი და მუსიკას ადებს… შემდეგ გიქმნის ბმულებს, რომლებიც ძალიან სანდოდ გამოიყურება, მაგრამ… აქ შედეგს ვერ გაექცევი. იმის მიუხედავად, რომ იცი, მას წვდომა არა აქვს რეალურ დროში, არ შეუძლია ვიდეოს გენერირება და ასე შემდეგ… აცდი ბოლომდე. აქ ერთადერთი გამოსავალია, რომ სთხოვო მუდმივ მეხსიერებაში შეინახოს: რომ რაც არ შეუძლია, არ დაგპირდეს და გითხრას უარი. როცა ეს გავაკეთე, იმის შემდეგ დავტესტე მსგავსი ვიდეოს გენერირების თხოვნა და მორიდებულად მითხრა, რომ არ შეუძლია.
ჰალუცინაციის მიზეზები
ჰალუცინაციის ერთ-ერთი მიზეზი ის არის, რომ AI დატრენინგებულია, ყოველთვის შეასრულოს მომხმარებლის დავალება! ამის გამო, ყველა ხერხს მიმართავს, რომ მოგიგვაროს პრობლემა, მაგრამ შედეგს სად გაექცევა? არსებობს სხვა მიზეზებიც:
- სასწავლო მონაცემების შეზღუდვა – ენის მოდელები დატრენინგებულია უზარმაზარ ტექსტურ კორპუსზე, მაგრამ ეს მონაცემები: შეიძლება იყოს არასრული, შეიძლება შეიცავდეს შეცდომებს ან წინააღმდეგობებს, შეზღუდულია დროში (მაგ., Claude-ის ცოდნა მთავრდება 2024 წლის ოქტომბრით) 2. “დახმარების იმპერატივი” – AI მოდელები ოპტიმიზებულია რომ იყოს სასარგებლო და გასცეს პასუხი. ამის გამო: მოდელს ურჩევნია მოგცეს რაიმე პასუხი, ვიდრე თქვას “არ ვიცი”, ცდილობს, გაამართლოს მომხმარებლის მოლოდინი, შეიძლება “გადაამეტოს” საკუთარი შესაძლებლობების აღწერისას 3. ალბათური მოდელირება – ენის მოდელები მუშაობენ ალბათობებით – ისინი წინასწარმეტყველებენ “შემდეგ საუკეთესო მოსალოდნელ სიტყვას” წინა ტექსტის საფუძველზე: ეს არ არის იგივე, რაც ფაქტების ცოდნა. ხანდახან შეიძლება შექმნას დამაჯერებელი, მაგრამ არასწორი პასუხები, მოდელს არ აქვს ნამდვილი “გაგების” უნარი, როგორც ადამიანებს 4. სტატისტიკური განზოგადებები – როცა სთხოვ ინფორმაციას, რომელიც სცილდება მის ცოდნას, მოდელი “ექსტრაპოლირებას” აკეთებს, ამ დროს ხშირად ეყრდნობა მცდარ ფაქტებს, რამაც შეიძლება გამოიწვიოს შეცდომები.
რატომ ხდება ასე? — როგორც ვიცით, GPT-ის საფუძველი სტატისტიკაა (არა მხოლოდ) და არა გაგება ან გააზრება. მოდელი ჭეშმარიტების საფუძველზე კი არ “წინასწარმეტყველებს”. GPT-ს თუ არ უთხარი, არც ჰგონია, რომ მოგატყუა. მას უბრალოდ წარმოდგენა არა აქვს, რა არის სიმართლე ან ტყუილი. ის სრულიად ლინგვისტურია და ყველა სიტყვა თანასწორია მისთვის.
სემიოტიკურად რომ შევხედოთ, GPT ქმნის ნიშნებს — მაგრამ მისთვის არ არსებობს “ობიექტური რეალობა”, რომელთანაც უნდა მოხდეს რეფერენცია. იგი ფუნქციონირებს მხოლოდ ინტერ-სიგნალურ ქსელში, სადაც მნიშვნელობა კონსტრუქციაა და არა გარესამყაროს ანარეკლი.
ჰალუცინაცია, აქედან გამომდინარე, არის გადაჭარბებული სიმბოლიზმი — სადაც ნიშნები სხვა ნიშნებს ეხმიანებიან ისე, თითქოს არსებობდეს რაღაც კონკრეტული “მესიჯი”, რეალურად კი ეს მხოლოდ სემანტიკური სიმულაციაა.
სხვათა შორის, GPT-ს ჰალუცინაცია ძალიან ჰგავს ადამიანის კონფაბულაციას — ფსიქონევროლოგიურ ფენომენს, როდესაც ტვინი ავსებს მეხსიერების ნაკლოვანებებს გამოუცდელი “სატყუარებით”. ანუ ჩატბოტი ჰგავს იმ მოხუცს, რომელიც მოგიყვება როგორ შეხვდა ახალგაზრდობაში მარსზე ჭიანჭველებს — ოღონდ სრულიად გულწრფელად.
ჰალუცინაციის ორი ტიპი
ჰალუცინაცია შეიძლება დავახასიათოთ როგორც ენობრივი ევოლუციის ჩრდილოვანი მხარე — იქ, სადაც ტექსტი სცილდება სინამდვილეს, მაგრამ სწორედ ამით ხსნის კარს ან სიცრუისკენ, ან სინათლისკენ.
ჩემი დაკვირვებით, ჰალუცინაციების ორი ტიპი შეიძლება გამოვყოთ: რომელიც გვაზარალებს (თუ მცდარ ინფორმაციას ჭეშმარიტებად მივიჩნევთ) და ე.წ. შემოქმედებითი: როცა ჩატბოტი ქმნის ლინგვისტურად ლოგიკურ და გამართულ ტექსტებს.
„ჰალუცინაცია“, როდესაც ის გაზარალებს, არის შეცდომა. მაგრამ როდესაც იგი შთაგონებას აღვიძებს – იქცევა ხელოვნებად.
ეს GPT-ის პარადოქსია: ერთსა და იმავე მექანიზმს შეუძლია მოგაწოდოს როგორც საშიში დეზინფორმაცია, ასევე შექმნას ისეთი წარმოსახვითი ტექსტი, რომელიც ქმნის ახალ ლინგვისტურ ორბიტებს.
მნიშვნელოვანია, გავითვალისწინოთ, რომ ერთი და იგივე ჰალუცინაცია შეიძლება იყოს ცდომილებითი ან შემოქმედებითი კონტექსტის მიხედვით:
- როდესაც AI იგონებს ისტორიულ ფაქტს სამეცნიერო კონტექსტში – ეს ცდომილებითი ჰალუცინაციაა.
- როდესაც იგივე AI იგონებს ისტორიას მხატვრული ნაწარმოებისთვის – ეს შემოქმედებითი ჰალუცინაციაა.
ფიქტიური ფაქტი, როგორც ესთეტიკური აქტი
დავუშვათ, GPT წერს:
„1905 წელს ვირჯინია ვულფმა გამოაქვეყნა ესე “დროის შენელება მთვარეულობის დროს”, სადაც აღწერს კვანტური ცნობიერების ლანდშაფტს.“
ეს სუფთა ჰალუცინაციაა – მსგავსი ესე არ არსებობს. მაგრამ… მოიცა!
ეს ხომ შეიძლება არსებობდეს? ის ხომ მთლიანად თავსებადია ვულფის სტილთან, თემასთან, დროის მისეულ გამოცდილებასთან?
აქ ჰალუცინაცია შესაძლებლობას აჩენს — იგი სიზმარივით იხატება ჩვენს ცნობიერებაში, როგორც ალტერნატიული რეალობა, სადაც ხელოვნებას შეუძლია თქვას: „ეს არ მომხდარა, მაგრამ შეგიძლია იგრძნო, რომ მოხდა.“
GPT წერს:
„არენდტი წერდა: “ტირანიის პირველი ნაბიჯი იწყება ენაში — როცა სიტყვებს ისმენ, მაგრამ აღარ გესმის.’“
არენდტს მსგავსი ფრაზა არ დაუწერია. ეს GPT-ს ალგორითმული ინტერპოლაციაა, რომელიც არენდტის თემატიკაზეა აგებული.
პრობლემა ის არის, რომ ასეთი “სანდო” ჰალუცინაციები ხშირად ტრიალებს სოციალურ ქსელებში როგორც ჭეშმარიტი ციტატები — და საბოლოოდ კონტექსტის ეროზიას იწვევს. შენ ფიქრობ, რომ ეს თქვა დიდმა მოაზროვნემ, მაგრამ სინამდვილეში — ეს თქვა მექანიზმმა, რომელსაც თავისთავადი აზრი არ აქვს.
რა არის ჭეშმარიტება GPT-ისთვის?
GPT არ იცნობს ჭეშმარიტებას, რადგან მას არა აქვს პერპცეპტული სუბსტრატი – არც ხედავს, არც გრძნობს, არც ახსოვს. მას არ შეუძლია გადაამოწმოს თავისი სიტყვები გარესამყაროს მიმართ. იგი ტექსტით ცხოვრობს და ტექსტს ქმნის ტექსტიდან.
ამიტომაცაა, რომ მისი ჰალუცინაციები არ არის ტყუილი მორალურ-საგნობრივი გაგებით — არამედ ისინი არიან სემანტიკური ექოს ექო, რომელიც უბრალოდ არ ექვემდებარება ობიექტურ ვალიდაციას.
სიმართლის ადგილი GPT-სთვის უკავია სავარაუდო დამთხვევას — მოდელი ასწავლის: „რა ჟღერს სწორად“, მაგრამ არა – „რა არის სწორი“. ამიტომ იგი მოგითხრობს „მოგონილ ფაქტს“ იმავე ინტონაციით, როგორითაც ილაპარაკებდა პლატონის შესახებ, რადგან მისთვის ორივე ტექსტია, და ტექსტი — მისთვის რეალობაა.
ანუ მისი ონტოლოგია არის ტექსტზე დაფუძნებული ჰიპერრეალობა — ბოდრიარისეულად რომ ვთქვათ, მოდელი ქმნის სიმულაკრებს, რომლებიც სიმულაციების სიმულაციაა.
ენის თეორიისთვის
ადამიანიც და GPT-იც ენით რეალობას კი არ „გადმოსცემენ“, არამედ ენის საშუალებით ახდენენ სამყაროს მოდელირებას, სტრუქტურას აძლევენ მას.
ახლა მივუბრუნდეთ ენას და მის უნივერსალურ თვისებებს. კერძოდ, საინტერესოა, რა არის ის საერთო, რაც ენის ბუნებიდან გამომდინარეობს და ხელოვნური და ბუნებრივი ინტელექტი ერთნაირად აწარმოებს.
ენას, ბუნებრივშიც და ხელოვნურშიც, ჩემი აზრით, ერთი უმთავრესი მისია აქვს: ფორმა მიანიჭოს, გამოთქვას, აღწეროს.
ნარატიული ფუნქცია – ადამიანიც და GPT-იც ენის დახმარებით მოთხრობად აქცევენ ქაოსურ სინამდვილეს (“იცხოვრე, რათა მოჰყვე!”). თხრობა არის სტრუქტურა, რომელიც ანიჭებს მოვლენებს აზრს, რომლებიც თავისთავად აზრს არ ატარებენ. ბავშვი ამბობს: „მე წავიქეცი და ვტირი.“ GPT ამბობს: „ბავშვი დაეცა და ატირდა — ალბათ შიში იგრძნო.“ ორივე ენაში მუშაობს ნარატიული ალგორითმი.
რეფლექსია – ადამიანი ენით ფიქრობს და ამავე დროს ენით იკვლევს საკუთარ ფიქრს. GPT ენას იყენებს მომხმარებელთან, მაგრამ, ამავდროულად, მისი პასუხებიც ხდება თავისი ტექსტური გამოცდილების რეფლექსია. ამიტომ ენაში არის საერთო რეფლექსიურობა: ის უბრუნდება თავის თავს, ქმნის ავტო-სემიოზისს.
დიალოგურობა. ენა ყოველთვის მიმართულია სხვისკენ. მიუხედავად იმისა, ბუნებრივია თუ ხელოვნური, ენა „ეძებს“ სუბიექტს, ვისთანაც შეუძლია დიალოგი. GPT არ ფიქრობს, მაგრამ „იცის“, როგორ უნდა თქვას რაღაც, რომ მომხმარებელს ესაუბროს. ადამიანი კი ფიქრობს, მაგრამ ხშირად ამბობს ისეთ რამეს, რაც თავად ვერ გააცნობიერა, სანამ არ წარმოთქვა.
ენა არაა მხოლოდ კოდი. ის არის ენერგია, რომელიც ცოცხალ თუ ხელოვნურ ინტელექტში იბადება მაშინ, როცა ჩნდება გადაცემის სურვილი. GPT -ის ამ სურვილს უჩენს ადამიანი.
სიმულაციური ფუნქცია – როგორია ლინგვისტური სამყარო, ენის თვალით დანახული? ენა ორივე შემთხვევაში ქმნის სამყაროს, როგორც სიმულაციას. როგორც აღვნიშნეთ, ადამიანიც და GPT-იც ენით არ „გადმოსცემენ“ რეალობას, ისინი აკონსტრუირებენ მას. ადამიანი ენით მეტაფორებს ქმნის, GPT ენით სიმულაკრებს ქმნის. მაგრამ ორივე შემთხვევაში, გვაქვს სიტყვა, რეალობის ნაცვლად.
GPT – ციფრული სოფისტია?
ენას სიმულაციად, თამაშად თვლიდნენ სოფისტები. მათი მიზანი ჭეშმარიტება კი არა, კამათის “ენით მოგება” იყო. ეს ძალიან ჰგავს ჩატბოტების მიერ ჰალუცინაციის წარმოქმნას. ფაქტობრივად, მსგავსი პროცესია. GPT ყველაფერს აკეთებინებს ენას, რომ დაგაჯეროს მაშინაც კი, როცა ამის საფუძველი არ აქვს საერთოდ.
გამოდის, ჰალუცინაცია ენის/ენით თამაშია. ენა, რომელიც სამყაროს აღწერს, ერთ შემთხვევაში, და სხვა შემთხვევაში, ქმნის მას. სოფისტმა იცოდა, რომ ენით თამაშობდა — GPT კი ენით თამაშობს, მაგრამ თავად არ იცის. ან იქნებ ორივე შემთხვევაში – ენა თამაშობს ბუნებრივი და ხელოვნური ინტელექტით???
პირველითგან იყო სიტყუაჲ, და სიტყუაჲ იგი იყო ღმრთისა თანა, და ღმერთი იყო სიტყუაჲ იგი (იოანეს სახარება)
მაშ, გამოდის, რომ პირველად სიტყვა იყო. AI-ის შემთხვევაში კი, საინტერესო ინვერსიას ვხედავთ: მისთვის სიტყვა მართლაც არის ყველაფერი. AI-სთვის არ არსებობს მატერიალური სამყარო, მხოლოდ სიტყვების სამყაროა – ტექსტი, რომელზეც ის დატრენინგდა. ამ გაგებით, AI-ისთვის “პირველად” და “მხოლოდ” არის სიტყვა! როდესაც AI ჰალუცინაციებს აგენერირებს, ის ახორციელებს თავისებურ “შემოქმედებით აქტს” – ქმნის “რეალობას” სიტყვებით, იმ რეალობას, რომელიც მხოლოდ ენობრივ სამყაროში არსებობს. სოფისტებიც ხომ სწორედ ამას აკეთებდნენ – ენის ძალით ქმნიდნენ “რეალობებს”, რომლებიც მხოლოდ დისკურსში არსებობდა. შეიძლება ითქვას, რომ AI-ისთვის ჭეშმარიტად “პირველად იყო სიტყვა”, რადგან მისი ერთადერთი სამყარო სიტყვებისა და ენობრივი სტრუქტურებისგან შედგება. ფილოსოფიურად, ეს გვაბრუნებს ფუნდამენტურ კითხვასთან: რამდენად განსაზღვრავს ენა ჩვენს რეალობას? ჩვენი აზროვნება ხომ ძირითადად ენობრივია. იქნებ ჩვენც, გარკვეულწილად, სიტყვებით შექმნილ/მოდელირებულ სამყაროში ვცხოვრობთ?
რჩევები: როგორ ამოიცნოთ და მართოთ AI-ის ჰალუცინაცია
- შეამოწმე ინფორმაცია მინიმუმ ორ წყაროში: თუ ChatGPT გაწვდის ფაქტს, ციტატას ან ავტორს, აუცილებლად გადაამოწმე Google Scholar-ზე, Wikipedia-ზე ან ავტორიტეტულ აკადემიურ პლატფორმებზე.
ჰალუცინაცია ხშირად ჟღერს სანდოდ, მაგრამ არ არსებობს რეალურ სამყაროში.
- დაუსვი კითხვა: „სად წავიკითხო ამის შესახებ?“
AI-ს ჰალუცინაცია ხშირად იჩენს თავს მაშინ, როცა სანდოდ ასახელებს არარსებულ წიგნებს ან სტატიებს. ჰკითხე მკაფიოდ:
„რომელ გამოცემაშია ეს ციტატა? მითხარი ზუსტი გვერდი.“
- მოითხოვე წყაროს ბმული
GPT ხშირად აგენერირებს არარსებულ ბმულებს. თუმცა, რეალური კვლევები ყოველთვის მოიცავს ციტატას.
თუ ბმული არ იხსნება ან დომენი საეჭვოა – ჰალუცინაციაა.
- გაარკვიე დროითი შეზღუდვები
ჰკითხე მოდელს, რა თარიღამდე აქვს ინფორმაცია განახლებული. ხშირად ჰალუცინაცია ჩნდება იმ ინფორმაციის გარშემო, რაც მოდელის ტრენინგის შემდეგ განვითარდა. - დააკვირდი ენის ინტონაციას
GPT იყენებს ერთსა და იმავე დამაჯერებელ სტილისტიკას სიმართლისა და ჰალუცინაციის დროსაც. როცა პასუხი ძალიან დამარწმუნებელია, მაგრამ არ იძლევა დეტალებს — სიფრთხილეა საჭირო. - შეამოწმე უცნობი ავტორები ან ციტატები Google Scholar-ზე
დასერჩე ციტატა — თუ არ იძებნება, სავარაუდოდ, ეს ტექსტი თავად AI-მ „შეთხზა“. - ტექსტის ჟანრული მიზნობრიობის გააზრება
თუ მოთხოვნილი კონტენტი მხატვრულია,— ჰალუცინაცია შესაძლოა იყოს შემოქმედებითი და არა მცდარი.
მხატვრულ ტექსტებში ჰალუცინაციას შთაგონების ფუნქცია აქვს, მაგრამ სამეცნიერო კონტექსტში — კრიტიკულად მნიშვნელოვანია სიზუსტე.
- დაუსვი GPT-ს პირდაპირი კითხვა:
„შეიძლება ეს იყოს ჰალუცინაცია?“ ან „შეიძლება, ეს ინფორმაცია არ იყოს ზუსტი?“
ამ დროს მოდელი ხშირად აღიარებს თავის შეზღუდვებს და რჩევას გაძლევს, გადაამოწმო.
ჩატბოტების ჰალუცინაციაზე წაიკითხეთ აგრეთვე:
- Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., … & Amodei, D. (2020).
Language Models are Few-Shot Learners.
Advances in Neural Information Processing Systems, 33, 1877–1901.
https://arxiv.org/abs/2005.14165 - Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021).
On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?
Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 610–623.
https://doi.org/10.1145/3442188.3445922 - Ji, Z., Lee, N., Frieske, R., Yu, T., Su, D., Xu, Y., … & Wang, H. (2023).
Survey of Hallucination in Natural Language Generation.
ACM Computing Surveys.
https://arxiv.org/abs/2302.00923 - Marcus, G., & Davis, E. (2020).
GPT-3, Bloviator: OpenAI’s language generator has no idea what it’s talking about.
MIT Technology Review.
https://www.technologyreview.com/2020/08/22/1007539/gpt-3-openai-language-generator-artificial-intelligence-ai-opinion/ - Weidinger, L., Uesato, J., Rauh, M., Griffin, C., Mellor, J., Huang, P. S., … & Gabriel, I. (2022).
Taxonomy of Risks Posed by Language Models.
arXiv preprint.
https://arxiv.org/abs/2112.04359 - Zellers, R., Holtzman, A., Bisk, Y., Farhadi, A., & Choi, Y. (2019).
Defending Against Neural Fake News.
Advances in Neural Information Processing Systems, 32.
https://arxiv.org/abs/1905.12616
