თანამედროვე ციფრულ ეპოქაში, სადაც ჩვენი ცხოვრების მნიშვნელოვანი ნაწილი ონლაინპლატფორმებზე მიმდინარეობს, სულ უფრო ხშირად ვაწყდებით უხილავ, მაგრამ ყოვლისშემძლე ძალას – ალგორითმს. რა ხდება, როდესაც ეს ავტომატიზებული სისტემა, კონტექსტის გააზრების გარეშე, ჩვენს მსაჯულად, ცენზორად და ზოგჯერ დამსჯელადაც გვევლინება? და საერთოდ, საით მივყავართ ალგორითმების ასეთ „ქცევას“?
ალგორითმების „შავი ყუთი“
ალბათ ყველას გქონიათ გამოცდილება, როდესაც რომელიმე პლატფორმა „გსჯით“ იმ დანაშაულის გამო, რომელიც არ ჩაგიდენიათ და მიგანიშნებთ რაღაცა ტიპის დარღვევაზე, რომელზეც წარმოდგენა არ გაქვთ. მაგალითად, მახსოვს ერთხელ რაღაც ტესტი დავდე ფეისბუკზე, სურათზე გამოსახული იყო: ძროხა, ქათამი და ბალახი და მომხმარებლებს ვთხოვდი, დაეჯგუფებინათ. ვინც კი სიტყვა „ქათამი“ დაწერა კომენტარში, ფეისბუკის ალგორითმმა ყველას კომენტარი წაშალა და გაფრთხილება მისცა, მათ შორის, მეც. ვერაფრით მივხვდი და დავიწყე გამოკვლევა, რა მოხდა და რატომ დავისაჯეთ. აღმოჩნდა, რომ სიტყვა „ქათამი“ რაღაც კოდური სიტყვაა, რომელიც ფეისბუკის „შავ სიაშია“ შეტანილი. „შავი სია“ ნიშნავს იმ აკრძალულ სიტყვებს, რომელთა გამოყენებაზეც მომხმარებლებს ბანი ედებათ. ჩვენ არ ვიცით ყველა სიტყვა, რომლის გამოყენებაც „ისჯება“ და ზოგს მაშინ ვიგებთ, როცა შეტყობინება მოგვდის.
ცოტა ხნის წინ კი Open AI-ის ალგორითმმა მოულოდნელად მთელი 2 წლის ანგარიში წამიშალა (თავისი ჩატებით, თასქებით, ჯიპიტებით, ასობით ჩატით, სტატიით, სამუშაო საქაღალდეებით და ასე შემდეგ). მეილზე მომწერა, რომ ჩემს კონტენტში აღმოაჩინეს ძალადობის შემცველი სიტყვები. რა თქმა უნდა, გავასაჩივრე და პასუხად მივიღე, რომ განიხილეს და ძალაში ტოვებენ გადაწყვეტილებას ანგარიშის წაშლის შესახებ და რომ აპელაცია აღარ განიხილება. მხოლოდ ამ მოკლე აბსტრაქტული განცხადებით შემოიფარგლნენ. ბევრი ვიფიქრე თუ ცოტა (განვიხილე ეს თემა სხვა ჩატბოტებთან), იმ დასკვნამდე მივედი, რომ ChatGPT-ის ალგორითმმა დამსაჯა საბავშვო წიგნისთვის ილუსტრაციების შექმნის გამო. კერძოდ, პრომპტში გამოყენებული ისეთი სიტყვებისთვის, როგორიცაა: „ბავშვი ნაძვის ხეს ჩაეხუტა“, „გოგონა დაწვა საწოლში და ბებომ ზღაპარი წაუკითხა“, „ლეკვმა ბიჭუნა ალოკა“… რაც არ უნდა ვიმეორო, რომ ალგორითმი უსამართლოდ მომექცა, არაფერს არ ცვლის ეს აღშფოთება. ალგორითმისთვის არ არსებობს სამართლიანი/უსამართლო ქცევა, მისთვის არსებობს აკრძალული ლექსიკის „შავი ყუთი“, რომლის შესახებაც მომხმარებელს უმეტესად წარმოდგენა არა აქვს. ამ დიდი „კაპიტალის“ დაკარგვის შემდეგ (2 წლის ჩატები), გადავწყვიტე, უფრო დეტალურად შემესწავლა ეს თემები და საზოგადოებისთვისაც ინფორმაცია მიმეწოდებინა, რადგან სხვაგვარად თავდაცვა უბრალოდ არ არსებობს. ალგორითმს არ აინტერესებს შენი ქცევები, ის რეაგირებს შენს ლექსიკაზე, რომლის კონტექსტში აღქმაც კი არ შეუძლია, თორემ ნახავდა, რომ როცა ვწერდი პრომპტში: „ბავშვი თამაშობს“, მართლა ბავშვის თამაში მქონდა მხედველობაში. ეს რომ ერთეული და მხოლოდ ჩემი შემთხვევა ყოფილიყო, განხილვად არ ეღირებოდა, მაგრამ ასე ხდება მასობრივად.
ალგორითმული მმართველობა
ამ საკითხის კვლევისას მივადექი ახალ თემას: ეს არის ალგორითმული მმართველობა. ალგორითმი გაიძულებს, გაითვალისწინო მისი შეზღუდვები, ის გიწესებს სოციალურ პლატფორმაზე თავისი თამაშის წესებს და თან ისე, რომ ბოლომდე და ღიად ამის შესახებ ინფორმაციას არ გაწვდის.
ეს ყველაფერი უფრო შორსაც მიდის, სხვადასხვა ქვეყანაში არსებობს უკვე „ალგორითმული პოლიცია“, რომელიც სავარაუდო დამნაშავეების იდენტიფიცირებას ახდენს დანაშაულის ჩადენამდე.
პრობლემას ამძიმებს ის, რომ ციფრული ინდექსები ხშირად ცდომილებითაა სავსე. სტატისტიკურად, ალგორითმული ფილტრები მნიშვნელოვანი რაოდენობით ცრუ დადებით სიგნალებს (false positives) გამოიმუშავებენ. მაგალითად, predictive policing-ის სისტემაში 94,000-დან მხოლოდ 277 შემთხვევა დადასტურდა სწორ პროგნოზად[1].
ზემოთ განხილული პრევენციული და სემიოტიკური მექანიზმების შერწყმით წარმოიშობა პარადოქსული რეალობა, რომელსაც შეიძლება ვუწოდოთ „ლინგვისტური დანაშაული“. ეს არის სიტუაცია, როდესაც საწყისი „დანაშაული“ მხოლოდ ენაში/ლექსიკაში არსებობს: მომხმარებლის მიერ დაწერილ სიტყვებში, ან ალგორითმის მიერ მათთვის მინიჭებულ ინტერპრეტაციაში და არა ობიექტურ რეალობაში. სხვა სიტყვებით რომ ვთქვათ, ენობრივი გამოხატულება იქცევა „დანაშაულად“, მიუხედავად იმისა, რომ არანაირ უკანონობას ადგილი არ ჰქონია.
ეს ტენდენცია სერიოზულ საფრთხეს უქმნის გამოხატვის თავისუფლებას და თავად სამართლიანობის პრინციპებს ციფრულ სივრცეში. როცა ალგორითმი ხდება მოსამართლე, ჩნდება ე.წ. „ალგორითმული ლევიათანი“, რომელიც უსამართლოდ უზღუდავს მომხმარებლებს უფლებებს. კვლევები ადასტურებენ (Algorithmic Arbitrariness in Content Moderation Juan Felipe Gomez , Caio Vieira Machado, Lucas Monteiro Paes, Flavio P. Calmon)[2], რომ მასშტაბური ავტომატური მოდერაცია ქმნის ისეთი გარემოს, სადაც ალგორითმი დომინანტურად აკონტროლებს ადამიანის ძირითად უფლებებს, მათ შორის თავისუფალ კომუნიკაციას. მაგალითად, დიდ პლატფორმებზე არაერთხელ ყოფილა შემთხვევა, როცა ავტომატურმა ფილტრმა უაპელაციოდ დაბლოკა ლეგიტიმური კონტენტი ან განარიდა დისკუსიიდან მომხმარებელი პროცედურული გამჭვირვალობის გარეშე. ასეთი შემთხვევა განმარტებულია, როგორც „ალგორითმული თვითნებობა“, სადაც კოდით დაწესებული ენა/ალგორითმი სჯის ცოცხალ ადამიანს სამართლებრივი დაცვის შესაძლებლობის გარეშე.
კემბრიჯის უნივერსიტეტის პროფესორი, კარენ იეუნგი, ერთ-ერთი პირველი იყო, ვინც ტერმინი „ალგორითმული ლევიათანი“ აკადემიურ დისკურსში დაამკვიდრა (Karen Yeung – “‘Hypernudge’ and the ‘Algorithmic Leviathan’”). ნაშრომში ის აანალიზებს, თუ როგორ იყენებენ ალგორითმული სისტემები „ჰიპერ-ბიძგის“ (Hypernudge) ტექნიკას ადამიანების ქცევის სამართავად ფაქტობრივად უხილავად და ავტომატიზებულად. ის პირდაპირ უკავშირებს ამ ახალ მარეგულირებელ ძალას ჰობსის ლევიათანის განახლებულ, უფრო ყოვლისმომცველ და ნაკლებად ანგარიშვალდებულ ფორმას.
„ავტომატიზებული გადაწყვეტილების მიმღები სისტემები, რომლებიც დიდ სექტორზე უნიფიცირებულ შეფასებებს აკეთებენ და რომლებსაც მოკლედ შეგვიძლია ვუწოდოთ „ალგორითმული ლევიათანები“ – მორალურად შემაშფოთებელი გზებით ზღუდავენ ადამიანების შესაძლებლობებს“[3].
„შესაძლებლობების მონოპოლია“ არის ძალიან მძლავრი მეტაფორა, რომელსაც იყენებს Karen Yeung და რომელიც აღწერს სისტემას, სადაც ინდივიდს აღარ აქვს ალტერნატივა და მისი ცხოვრების ტრაექტორია ერთიანი, უხილავი ძალაუფლების მიერ კონტროლდება.
Antoinette Rouvroy & Thomas Berns – “Algorithmic Governmentality and the End of the World” – ავტორები ამ ნაშრომში ფუკოს „მმართველობის“ (Governmentality) იდეას ავითარებენ და თანამედროვე ციფრულ სამყაროს არგებენ. ისინი აღწერენ „ალგორითმულ მმართველობას“, როგორც მართვის ახალ რეჟიმს, რომელიც უგულებელყოფს სოციალურ ნორმებს, კანონებსა და რეფლექსიას და მათ ნაცვლად ეყრდნობა მონაცემთა კორელაციებსა და ავტომატიზებულ გადაწყვეტილებებს[4].
რუვრუა და ბერნსი აანალიზებენ მმართველობის ფუნდამენტურ ტრანსფორმაციას, რომელიც ფუკოს მიერ აღწერილ დისციპლინარულ და ბიოპოლიტიკურ საზოგადოებებს ცვლის. მათი მთავარი არგუმენტებია:
გადასვლა ნორმებიდან სიგნალებზე: ტრადიციული მმართველობა ეფუძნებოდა კანონებს, წესებსა და ნორმებს (ანუ იმას, თუ როგორ უნდა მოქცეულიყო ადამიანი). „ალგორითმული მმართველობა“ კი ამას გვერდს უვლის და პირდაპირ მონაცემთა უწყვეტ ნაკადზე – „სიგნალებზე“ – ოპერირებს. ის არ გეუბნება, რა არის სწორი, არამედ პროგნოზირებს, თუ რას გააკეთებ სავარაუდოდ მომავალში.
არანორმატიული კონტროლი: ეს მმართველობა არ არის მორალური ან იდეოლოგიური. მისი მიზანი არ არის ინდივიდის გამოსწორება ან დასჯა, არამედ სისტემის ოპტიმიზაცია და პოტენციური რისკების წინასწარ მართვა. ის არ კრძალავს, არამედ „პროფილაქტიკურად“ ზღუდავს არასასურველ ქცევას, სანამ ის მოხდება.
კრიტიკისა და სუბიექტის დასასრული: რადგან ეს სისტემა არ ეფუძნება გასაგებ წესებს (არამედ გაუგებარ კორელაციებს „შავ ყუთში“), ინდივიდს არა აქვს კრიტიკის შესაძლებლობა. შენ ვერ შეეწინააღმდეგები იმას, რის ლოგიკაც არ გესმის. ეს იწვევს ტრადიციული, რაციონალური სუბიექტის გაქრობას. სწორედ ეს არის სათაურში ნახსენები „სამყაროს დასასრული“ – იმ სამყაროსი, რომელიც საერთო მნიშვნელობებსა და კრიტიკულ აზროვნებაზე იდგა.
ალგორითმული ლევიათანის ონტოლოგია
ალგორითმული ლევიათანი უბრალოდ ხელისუფლების ახალი ფორმა კი არ არის, არამედ რადიკალურად განსხვავებული ონტოლოგიური ფენომენია, რომელსაც რამდენიმე უნიკალური მახასიათებელი აქვს:
- უსხეულობა (Incorporeality): ალგორითმულ ლევიათანს არ გააჩნია მატერიალური სხეული, ფიზიკური ფორმა. ეს მის წინააღმდეგ წინააღმდეგობას უკიდურესად ართულებს – როგორ ვებრძოლოთ იმას, რასაც სხეული არ გააჩნია?
- ყველგანმყოფობა (Omnipresence): ის ყველგანაა, სადაც კი ციფრული ტექნოლოგია არსებობს. ის არ მოძრაობს სივრცეში; თავად არის სივრცე – ციფრული სივრცე.
- კვაზი-ყოვლისმცოდნეობა (Quasi-omniscience): მისი „ცოდნა“ მონაცემთა მასივების ანალიზს ემყარება. ის მომხმარებლის ქცევას ხშირად თავად მომხმარებელზე უკეთ „იცნობს“.
ძალაუფლების ახალი არქიტექტურა
ალგორითმული ლევიათანი ძალაუფლების სრულიად ახალ არქიტექტურას ქმნის: ის არ აყალიბებს ძალაუფლების კლასიკურ ვერტიკალს. მის ნაცვლად, ის ქმნის ქსელურ, რიზომულ (rhizomatic) სტრუქტურას, სადაც კონტროლი ყველგანაა და, ამავდროულად, არსად. მიშელ ფუკოს ტერმინოლოგიით, ალგორითმული ლევიათანი მიკროძალაუფლების ლოგიკით მოქმედებს: იგი არა მხოლოდ კრძალავს, არამედ აწარმოებს და მიმართულებას აძლევს სურვილებსა და ქცევებს. ეს არის პანოპტიკონი 2.0: – ბენთამის პანოპტიკონის იდეის ციფრული ევოლუცია, სადაც მეთვალყურეობის მექანიზმი დეცენტრალიზებული და ინტერნალიზებულია — სუბიექტი თავად ხდება საკუთარი თავის მაკონტროლებელი.
დასკვნის მაგიერ:
აი, ასეთ მოცემულობაში ვართ ციფრული ეპოქის კონტექსტში, სადაც უხილავი კოდი ჩვენი სოციალური ქსოვილის არბიტრად იქცევა. კრიტიკული აზროვნება და სიფხიზლე აუცილებელია, რათა ერთ მშვენიერ დღეს რომელიმე ტექნოლოგიურმა გიგანტმა წყალში არ ჩაგვიყაროს წლების ნაშრომი და ჩვენს ციფრულ იდენტობას არ დაეწეროს – ERROR.
ამ მოცემულობიდან შეგვიძლია დავასკვნათ:
- ტექნიკური იმპერატივი: ციფრული ავტონომია. ყველაზე პირდაპირი და პრაგმატული გაკვეთილი მონაცემთა სუვერენიტეტის აუცილებლობაა. ყოველთვის ჩამოტვირთეთ, დააარქივეთ და შეინახეთ მნიშვნელოვანი დოკუმენტები ლოკალურ ან პირად ღრუბლოვან საცავში. ინსტრუმენტებზე დამოკიდებულება სტრატეგიული სისუსტეა. ჩვენი ინტელექტუალური საკუთრება არ უნდა იყოს ერთი კომპანიის კეთილ ნებაზე დამოკიდებული.
- დაკარგული კონტექსტის კრიზისი. „ალგორითმული ლევიათანი“ ქმნის სემანტიკურ ვაკუუმს, სადაც სიტყვები მოწყვეტილია თავის კონტექსტს, განზრახვასა და კულტურულ ნიუანსებს. ჩვენი ამოცანაა, ვიბრძოლოთ მნიშვნელობის შენარჩუნებისთვის. ეს ნიშნავს ახალი „ციფრული წიგნიერების“ სტანდარტების შემუშავებას, რომელიც მომხმარებელსაც და დეველოპერსაც კონტექსტის კრიტიკულ მნიშვნელობას ასწავლის.
- გამჭვირვალობისა და ანგარიშვალდებულების მოთხოვნა. ჩვენ, როგორც მომხმარებლებმა და ციფრულმა მოქალაქეებმა, უნდა მოვითხოვოთ ალგორითმული პროცესების გამჭვირვალობა. „შავი ყუთი“ უნდა გაიხსნას. აუცილებელია შეიქმნას დამოუკიდებელი მარეგულირებელი ორგანოები და ადამიანური ჩართულობით მოქმედი სააპელაციო მექანიზმები, რომლებიც უზრუნველყოფენ, რომ მანქანის მიერ მიღებული გადაწყვეტილება არ იყოს საბოლოო და უპირობო განაჩენი.
- ცნობიერების ბრძოლა ავტომატიზაციის წინააღმდეგ. საბოლოო ჯამში, ეს ბრძოლა სცილდება ტექნოლოგიურ და სამართლებრივ ჩარჩოებს. ეს არის ბრძოლა ადამიანური ნების, კრიტიკული აზრისა და ცნობიერი გადაწყვეტილების დასაცავად მზარდი ავტომატიზაციის საპირისპიროდ. „ალგორითმული ლევიათანი“ საფრთხეს უქმნის არა მხოლოდ ჩვენს მონაცემებს, არამედ ჩვენს უნარს, ვიყოთ რაციონალური, მორალური და თავისუფალი სუბიექტები. ამიტომ, ამ უხილავ ძალასთან დაპირისპირება ჩვენი ეპოქის ერთ-ერთი უმნიშვნელოვანესი ეგზისტენციალური ამოცანაა.
გაგრძელება იქნება…
[1] https://algorithmwatch.org/en/algorithmic-policing-explained/#:~:text=Some%20findings%20on%20the%20rate,3%20per%20cent
[2]https://ar5iv.labs.arxiv.org/html/2402.16979v1#:~:text=model%20multiplicity%20compares%20to%20unambiguous,discussed%20and%20passed%20in%20many
[3] Karen Yeung – “‘Hypernudge’ and the ‘Algorithmic Leviathan’” – https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3786377
[4] https://shs.cairn.info/revue-reseaux-2013-1-page-163?lang=fr
