Четири разработки от последните седмици се събират около една обща идея. Не е достатъчно един модел да твърди, че е забравил данни, че се справя със задачата или че е открил пробойна. Все по-често важното е дали някой може да го провери.
Модел с изкуствен интелект може да обещае, че е изтрил данните ви. Трудното е друго: как външен наблюдател да докаже, че наистина го е направил, без да отвори модела отвътре и без да види с какво е бил обучен?
Точно този въпрос свързва четири на пръв поглед различни новини за ИИ в науката от последните седмици. Едната е за това как се одитира „забравянето“ на данни. Другата показва къде се срива вниманието на водещите модели. Третата описва как астрофизик ползва ИИ, без да му се доверява сляпо. А последната отчита над 10 000 открити уязвимости в критичен софтуер. Под повърхността всички те опират до едно и също: доверието към ИИ все по-малко зависи от това какво обещава той и все повече от това какво можем независимо да проверим.
Може ли да докажем, че един модел наистина е „забравил“?
Регулации като правото да бъдеш забравен изискват не обещание, а проверим механизъм. Ако поискате компания да изтрие данните ви, тя трябва да премахне и тяхното влияние върху всеки модел, обучен с тях. Но пълното преобучаване на голям модел е скъпо, затова често се ползват по-евтини методи за „отучване“ (machine unlearning), при които системата уж забравя конкретни примери, без да се обучава отначало.
Тук идва проблемът на одитора. Как външен проверяващ да установи дали влиянието на данните наистина е премахнато, когато няма достъп нито до вътрешните параметри на модела, нито до данните, с които е обучен?
Google Research предлага рамка, наречена Regularized f-Divergence Kernel Tests, представена на конференцията AISTATS 2026. Подходът използва статистически тестове само върху изхода на модела и сравнява поведението му с поведението на модел, обучен без спорните данни. Авторите твърдят, че методът е по-чувствителен и по-гъвкав от досегашните и че контролира честотата на фалшивите аларми.
Един конкретен резултат показва защо това има значение. По-простите тестове с две извадки погрешно маркират като опасни дори модели, които са безопасни по дефиниция, тоест преобучените от нулата без спорните данни. Новият тест с три извадки коригира тази грешка.
Важно е и какво това не е. Става дума за изследователска рамка, а не за готов стандарт, който всеки ИИ продукт вече покрива. Но посоката е ясна: ако ИИ работи с чувствителни данни, изтриването трябва да е измеримо, не само декларирано.
Класически тест показва къде вниманието на моделите се срива
Изследователи прилагат върху водещи езикови модели задачата на Струп (Stroop task), класически тест за внимание, при който трябва да назовеш цвета на мастилото, а не написаната дума. Например думата „червено“, изписана в синьо.
При човека този тест проверява т.нар. изпълнителен контрол на вниманието, тоест способността да задържиш фокус и да потиснеш автоматичната реакция. Хората се бавят при разминаване между дума и цвят, но запазват висока точност дори при дълги списъци.
Моделите се държат иначе. Според изследване на Сукету Пател, Хонгбин Уанг и Дзин Фан, публикувано в PNAS Nexus през юни 2026 г., при кратки списъци моделите се справят добре, но точността пада рязко, щом задачата стане по-дълга и думата противоречи на цвета. Някои водещи системи се сриват от над 90% точност до почти пълен провал.
Обяснението на авторите е в самата архитектура. Трансформърите нямат отделен механизъм за изпълнителен контрол, какъвто има човешкият мозък. Освен това представите им за думи са трупани върху огромни текстове и са много по-устойчиви от представите за цветове, затова при конфликт моделът се връща към четенето на думата.
Изводът е премерен. Високата обща езикова компетентност не означава автоматично устойчиво внимание при дълги последователни задачи. Резултатът трябва да се чете като конкретен тест за конкретна слабост, а не като универсална оценка за „интелигентността“ на ИИ.
Кога ИИ помага на науката, без да я замества
Ето и един пример как изглежда полезното приложение на ИИ в науката на практика. OpenAI описва как астрофизикът Чи-куан Чан от Аризонския университет и обсерваторията Стюърт ползва инструмента Codex при симулации на плазмата около черни дупки.
Задачата е изчислително тежка. За по-реалистични симулации учените трябва да проследяват поведението на електрони и йони в свръхсилни магнитни полета. Това налага много малки изчислителни стъпки и поглъща огромно машинно време. Подобни симулации помагат и да се проверяват предсказанията на общата теория на относителността на Айнщайн.
Същественото е как точно се ползва ИИ. Codex не работи като „автоматичен учен“, който сам прави открития. Чан го ползва, за да предлага, пише и тества кандидат-алгоритми. Предложенията после се преглеждат, сравняват се с вече известни решения и се приемат само ако издържат проверките.
Това е реалистична картина – ИИ ускорява идеите и кода, но научната проверка остава в ръцете на учения. Тук говорим за работен подход и потенциал, не за завършен резултат с публикувано независимо сравнение.
ИИ намира над 10 000 пробойни. Сега трудното е да се поправят
И една новина, идваща от киберсигурността, която носи същата поука, но в по-голям мащаб. Anthropic разширява програмата Project Glasswing, в която модели с изкуствен интелект търсят уязвимости във важен софтуер.
Според компанията първоначалните около 50 партньори са ползвали модела Claude Mythos Preview, за да сканират кода си, и са открили над 10 000 уязвимости с висока или критична степен на опасност. Сега програмата се разширява до около 150 организации в над 15 държави, сред които сектори като енергетика, водоснабдяване, здравеопазване, комуникации и производство на хардуер.
Интересното не е само че ИИ намира пробойни. Интересна е промяната в самия процес: откриване, подреждане по важност, докладване, поправяне и предотвратяване още преди пускането на софтуера. От Anthropic посочват, че тясното място вече може да не е намирането, а проверката и поправянето на голям брой доклади.
Програмата идва и с вграден контрол. Самият модел Claude Mythos Preview не е публично достъпен заради опасения за злоупотреба, а организациите трябва да покрият изисквания за сигурност, преди да получат достъп. ИИ за киберзащита може да даде предимство на защитниците, но само при контрол върху достъпа, проверка на резултатите и работещ процес за поправяне.
Какво свързва тези новини
Подредени една до друга, четирите истории описват една и съща смяна на въпроса. При „забравянето“ на данни въпросът вече не е дали моделът обещава да забрави, а дали одиторът може да го докаже. При теста на Струп въпросът не е дали моделът звучи компетентно, а как се държи, когато задачата го затрудни. При черните дупки кодът на ИИ влиза в науката едва след като издържи проверка спрямо известни решения. При Project Glasswing откриването на пробойни вече е по-лесната част, а тежестта пада върху проверката и поправянето.
Общото в случая е, че полезността на ИИ в науката все по-малко се измерва с това какво твърди системата и все повече с това какво може някой друг независимо да провери. Това не омаловажава ИИ, по-скоро показва, че той узрява като научен инструмент: започваме да го третираме не като оракул, а като източник на хипотези, които подлежат на проверка.
Следващата важна стъпка вероятно няма да е по-голям модел, а по-добри начини да проверяваме това, което моделите вече произвеждат.
Източници:
- Google Research, „New framework for auditing machine unlearning“: https://research.google/blog/new-framework-for-auditing-machine-unlearning/
- Suketu C. Patel, Hongbin Wang, Jin Fan, „Deficient executive control in transformer attention“, PNAS Nexus, том 5, бр. 6, юни 2026 г.: https://academic.oup.com/pnasnexus/article/5/6/pgag149/8698838
- ScienceDaily, „A classic brain test exposed AI’s biggest weakness“: https://www.sciencedaily.com/releases/2026/06/260610003049.htm
- OpenAI, „How an astrophysicist uses Codex to help simulate black holes“: https://openai.com/index/using-codex-to-simulate-black-holes
- Anthropic, „Expanding Project Glasswing“ (програмна страница): https://www.anthropic.com/glasswing
