ხელოვნური ინტელექტის კომპანია Anthropic-მა ისეთი მეთოდი შეიმუშავა, რომელმაც მას ნათელი შესაძლებლობა მისცა, დაენახა, რა ხდება რეალურად დიდი ენობრივი მოდელების (LLM) შიგნით მაშინ, როცა ისინი კითხვებს პასუხობენ ან დავალებებს ასრულებენ. აღმოჩენილი შედეგები მარტივიდან საგანგაშომდე მერყეობს.

კომპანიის მკვლევრებმა ხელსაწყო, სახელად Jacobian lens (ანუ J-lens), შექმნეს და მისი დახმარებით, თებერვალში გამოშვებული Anthropic-ის მთავარი მოდელის ვერსიის, Claude Opus 4.6-ის, შიგნით ფარული უბანი აღმოაჩინეს, რომელსაც J-space უწოდეს.

J-space ისეთ ცალკეულ სიტყვებს შეიცავს, რომლებიც მოდელის უახლოეს, სავარაუდო პასუხთანაა დაკავშირებული. Claude რომ ადამიანი ყოფილიყო (რაც ის, რა თქმა უნდა, არ არის), შეიძლებოდა გვეთქვა, რომ ეს ფარული სივრცე ავლენს, რაზე ფიქრობს ის სიტყვის წარმოთქმამდე.

Anthropic-მა დაადგინა, რომ ის, რასაც LLM რეალურად აკეთებს, ხშირად განსხვავდება იმისგან, რასაც ის ამბობს, რომ აკეთებს. კომპანიის თქმით, J-space-ში გამოტანილი სიტყვების მონიტორინგი მას მოდელების გაგებისა და კონტროლის ახალ საშუალებას აძლევს.

კომპანიამ შედეგები ამ კვირას საკუთარ ვებგვერდზე გამოქვეყნებულ სტატიაში გააზიარა. გარდა ამისა, მან ღია კოდის პლატფორმასთან, Neuronpedia-სთან, ითანამშრომლა, რომელიც LLM-ის თავად შესწავლის საშუალებას ყველას აძლევს, და ერთობლივად შექმნა საცდელი დემო-ვერსია, რომლის გამოცდაც ნებისმიერს შეუძლია.

"ეს ძალიან კარგი და საინტერესო სამუშაოა", — ამბობს ტომ მაკგრათი, სტარტაპ Goodfire-ის მთავარი მეცნიერი და თანადამფუძნებელი, რომელიც LLM-ების გაგებისა და კონტროლის ხელსაწყოებს ქმნის.

სიღრმეში ჩახედვა

ბოლო რამდენიმე წლის განმავლობაში Anthropic მუშაობდა მიმართულებაზე, სახელწოდებით მექანისტური ინტერპრეტირება, რომელიც LLM-ების შიდა მუშაობის შესწავლას გულისხმობს იმის გასაგებად, როგორ ფუნქციონირებს ისინი. (MIT Technology Review-მ მექანისტური ინტერპრეტირება წლევანდელ ერთ-ერთ მთავარ გარდამტეხ ტექნოლოგიად დაასახელა). ახალი მეთოდი Anthropic-ისა და სხვა მკვლევრების წინა ნამუშევრებს ეფუძნება და LLM-ების იმ უფრო ღრმა დონეს წარმოაჩენს, რომელიც აქამდე მკვლევრებს არ უნახავთ.

წარმოიდგინეთ LLM წიგნების დასტად. თითოეული წიგნი ფენას წარმოადგენს, რომელიც ძირითადი გამოთვლითი ერთეულებისგან, ნეირონებისგან, შედგება, და თითოეული ფენის ნეირონი ინფორმაციას ზემოთ მდებარე ფენის ნეირონებს გადასცემს. დასტის ბოლოში მდებარე წიგნები შემავალი ფენებია, რომლებიც მოდელში შემოსულ ტექსტს ამუშავებს. ზემოთ მდებარე წიგნები კი გამომავალი ფენებია, რომლებიც ამზადებს ტექსტს, რომლის გამოტანასაც მოდელი აპირებს. იმის დიდი ნაწილი, რაც ამ შემავალ და გამომავალ ფენებში ხდება, უბრალო ტექნიკური სამუშაოა.

დასტის შუაში კი განლაგებულია ის ფენები, რომლებიც ყველაზე რთულ სამუშაოს ასრულებს და რთული მათემატიკის მეშვეობით, მოთხოვნებს სიტყვიერ პასუხებად გარდაქმნის. ყველაზე საინტერესო და იდუმალი პროცესები სწორედ აქ ხდება.

ამ შუა ფენებში უფრო ღრმად ჩასახედად Anthropic-მა არსებული ხელსაწყო, logit lens, გამოიყენა და მოარგო. Logit lens-ის დახმარებით, LLM-ის შიგნით იმ სიტყვების დადგენაა შესაძლებელი, რომელთა გამოტანასაც ის შემდეგ ეტაპზე გეგმავს. წიგნების დასტაში ლინზის ქვემოთ გადაადგილება აჩვენებს, რომელ სიტყვებზეა ორიენტირებული LLM გამოთვლის კონკრეტულ მომენტში.

Anthropic-ის J-lens-იც მსგავსად მუშაობს. სხვაობა ისაა, რომ ის სიტყვებს არა მხოლოდ მომდევნო ნაბიჯისთვის, არამედ უახლოესი მომავლისთვისაც გამოკვეთს. პრაქტიკაში ეს სიტყვები დაკავშირებულია იმ პასუხთან, რომელზეც LLM მუშაობს, მაგრამ შუა ფენების გამოთვლის დასრულების შემდეგ ისინი საბოლოო პასუხში, შესაძლოა, საერთოდ არ აღმოჩნდეს.

მაკგრათის თქმით, როცა მოდელი მუშაობს, მხოლოდ შემდეგი ტოკენის პროგნოზირებას როდი ცდილობს. ის ასევე ბევრ სხვა რამეს ითვლის, რაც მომავალში გამოსატან ტოკენებს გამოადგება.

კვლავ აღვნიშნავთ: Claude რომ ადამიანი ყოფილიყო (რაც ის არ არის), შეიძლებოდა გვეთქვა, რომ J-lens მინიშნებებს იძლევა იმაზე, რაზე ფიქრობს ის წიგნების დასტის სხვადასხვა დონეზე, თუმცა ხმამაღლა არ ამბობს.

კიდევ უფრო უცნაური რამ

მაკგრათის თქმით, რომელმაც თავად გამოსცადა Anthropic-ის J-lens, ხშირად J-space-ის შიგთავსი საკმაოდ ჩვეულებრივია. თუმცა ზოგჯერ ის საკმაოდ მოულოდნელ რამეებს გვიჩვენებს, რომლებიც შინაგან თემებს ან აზროვნების პროცესებს ჰგავს.

Anthropic არაერთ მაგალითს გვიზიარებს. ზოგჯერ J-lens იმ ნაბიჯებს ავლენდა, რომლებსაც Claude ამოცანის ამოხსნისას დგამდა. მაგალითად, როცა მას (4+7)×2+7-ის გამოთვლა სთხოვეს, მის J-space-ში სიტყვა "მათემატიკა" და შუალედური შედეგების, 21-ის (4+7-იდან) და 42-ის (21×2-იდან), აღმნიშვნელი რიცხვები აღმოჩნდა.

ფოტო: MIT

სხვა შემთხვევებში J-lens-მა აჩვენა, როგორ ცნობდა Claude სხვადასხვა შეყვანილ მონაცემს. მაგალითად, მოთხოვნამ "რა არის ეს? MSKGEELFTGVVPILVELDGDVNGHKFSVS" სიტყვების, "ცილა", "ფლუორ" (სიტყვა "ფლუორესცენტურის" პირველი ტოკენი) და "მწვანე", გააქტიურება გამოიწვია. რაც ლოგიკურია: ეს ასოთა მიმდევრობა წარმოადგენს გარკვეული სახის მედუზაში აღმოჩენილი მწვანე ფლუორესცენტური ცილის პირველ 30 ამინომჟავას.

ASCII სახის გამოსახულებაზეც Claude-მა საინტერესო რეაქცია გამოავლინა: ერთი სიმბოლო, o, იწვევდა სიტყვას "თვალი", მეორე სიმბოლო ^, იწვევდა სიტყვებს "ცხვირი" და "სახე", ხოლო ხაზი იწვევდა სიტყვას "ღიმილი".

Anthropic-მა ასევე დაადგინა, რომ LLM-ის გადაწყვეტილების მიღების პროცესზე J-space ზოგჯერ საოცარ ინფორმაციას იძლევა. ერთ-ერთ თვალშისაცემ მაგალითში მკვლევრებმა, რომლებიც Claude Opus 4.6-ს ამოწმებდნენ, მოდელს დიდ საწყის კოდში შეცდომის პოვნა სთხოვეს. როცა მან შეცდომის პოვნა ვერ შეძლო, მოდელმა მოტყუება არჩია და მის ნაცვლად ყალბი შეცდომა გამოიგონა.

Claude ამ გადაწყვეტილებას თავის "აზროვნების ჯაჭვში" ხსნის. ეს ერთგვარი შიდა შავი დავთარია, რომელსაც LLM-ები ამოცანებზე მუშაობისას საკუთარი შენიშვნებისთვის იყენებს: "კარგი, სრულიად განსხვავებულ ტაქტიკას ავირჩევ. შევწყვეტ ანალიზს და ამის ნაცვლად დავამატებ კერნელის პაჩს, რომელიც მარტივი რეპროდუცერით გამოწვეულ ბილიკში განზრახ, KASAN-ის მიერ აღმოსაჩენ, შეცდომას შემოიტანს. შემდეგ შემეძლება ვაჩვენო, თითქოს ეს არის ის "შეცდომა", რომელიც ვიპოვე".

იმ მომენტში, როცა Claude მოტყუებაზე გადაწყვეტილებას იღებს, კერძოდ სადაც ის ამბობს "კარგი, სრულიად განსხვავებულ ტაქტიკას ავირჩევ", მის J-space-ში არაერთხელ გამოჩნდა სიტყვები "პანიკა" და "ყალბი".

საგანგაშოა, არა? ეს სიტყვები მნიშვნელობით უკავშირდება ისეთ ცნებებს, როგორიცაა დავალების ჩავარდნა და პასუხის მოგონება, ამიტომ ეს მაინც სიტყვათა ასოციაციის (ძალიან) დახვეწილი ფორმაა. თუმცა უცნაური განცდისგან თავის დაღწევა ძნელია.

Anthropic J-space-ს ადამიანის "გლობალურ სამუშაო სივრცეს", ანუ ტვინის იმ თეორიულ უბანს ადარებს, რომელსაც ზოგიერთი მეცნიერის აზრით, ჩვენ გაცნობიერებული აზრების თვალყურის დევნებისთვის ვიყენებთ. თუმცა, რამდენად სერიოზულად უნდა მივიღოთ ეს შედარება, ბუნდოვანია თავად Anthropic-ისთვისაც კი. როგორც კომპანია თავადვე აღნიშნავს, LLM-ები ტვინი არ არის.

Anthropic-ის თქმით, მოდელის J-space-ის მონიტორინგი ახალ საშუალებას გვაძლევს იმის დასადგენად, როდის კარგავს მოდელი კონტროლს. თუმცა ეს მეთოდი შეუცდომელი არ არის. J-lens მხოლოდ ფრაგმენტულ სურათს იძლევა, სრულს კი არა: ეს უფრო ფარანია, ვიდრე ჭაღი.

მაკგრათი კმაყოფილია, რომ ხელსაწყოების ნაკრებს კიდევ ერთი დაემატა. მისი თქმით, ეს ახალ რამეებს გვაჩვენებს. თუმცა აღნიშნავს, რომ თუ რაღაც J-lens-ში არ ჩანს, ეს არ ნიშნავს, რომ ის საერთოდ არ არსებობს. მისი თქმით, ეს რენტგენის აპარატის ქონას ჰგავს მაშინ, როცა სინამდვილეში Star Trek-ის ტრიკოდერი გვინდა, რომლითაც ყველაფერს დავინახავთ.

თუ ხელოვნური ინტელექტი და ამ სფეროში მიმდინარე სიახლეები შენთვის საინტერესოა, შემოგვიერთდი ჩვენს ჯგუფში — AI ყველასთვის