Google Research представя Vantage — изследователски експеримент, който използва генеративен изкуствен интелект за оценяване на т.нар. „умения за бъдещето“. Това са устойчиви човешки умения като критическо мислене, сътрудничество и творческо мислене, които остават важни независимо от технологичните промени и автоматизацията.
Проектът е разработен в партньорство с педагогически експерти и изследователи от New York University. Целта му е да предложи на ученици и студенти среда за упражнение и оценяване, изградена по систематичен подход, подобен на този при традиционни учебни предмети като математика и природни науки.
Защо тези умения са трудни за оценяване
Обратната връзка и оценяването са ключови за ученето. В образованието често се преподава именно това, което може да бъде измерено. Уменията за бъдещето обаче са трудни за стандартно оценяване, защото се проявяват в мисловни процеси, взаимодействие и реални ситуации.
Обичайните тестове трудно улавят тези процеси. От друга страна, оценяването в реални човешки взаимодействия изисква много ресурси и е трудно да бъде стандартизирано за голям брой учащи.
Схема на протокола за оценяване, базиран на LLM. Докато учащият изпълнява задачи с отворен отговор, Executive LLM използва оценъчна рубрика, за да насочва AI аватарите и да въвежда динамични предизвикателства. Това извлича целенасочени доказателства за представянето на учащия, които AI Evaluator след това анализира за оценяване на уменията и предоставяне на обратна връзка в реално време.
Как работи Vantage
Vantage поставя учащите в динамични разговори с AI аватари, които работят заедно по конкретни задачи. Така се създава контролирана, но близка до реалността среда, в която могат да се наблюдават умения като сътрудничество, управление на проект и разрешаване на конфликти.
Системата използва т.нар. Executive LLM, който насочва разговора според предварително зададена оценъчна рубрика. Той анализира развитието на разговора и въвежда конкретни предизвикателства, за да даде възможност на учащия да покаже определени умения.
След края на задачата AI Evaluator анализира целия разговор по същата рубрика. Учащият получава визуална оценка и качествена обратна връзка за уменията, които е демонстрирал.
Валидиране на подхода
В съвместно изследване с New York University са участвали 188 души на възраст между 18 и 25 години от САЩ. Те са изпълнявали задачи, свързани с умения за сътрудничество, включително разрешаване на конфликти и управление на проект.
Резултатите показват, че Executive LLM успешно насочва разговора така, че да събере достатъчно информация за оценяване на конкретни умения. Освен това оценките на AI Evaluator са били сравними с тези на човешки експерти от New York University.
Google Research работи и с OpenMic — компания, която разработва AI инструменти за оценяване на устойчиви умения. В отделно изследване са анализирани работи на 180 ученици по творчески мултимедийни задачи. И тук оценките на AI Evaluator показват висока степен на съответствие с оценките на човешки експерти.
Потенциал за образованието
В училищна среда подобен тип симулации могат да добавят измерим „слой на уменията“ върху съществуващите учебни програми. Така учениците биха могли да получават обратна връзка не само за знанията си по дадена тема, но и за начина, по който прилагат умения като сътрудничество и критическо мислене.
Този подход не заменя работата с други ученици, а може да я допълва. Той създава възможност академичните знания и устойчивите човешки умения да се развиват едновременно.
Следващи стъпки
Изследването показва как трудни за измерване умения могат да бъдат оценявани по-мащабно и по-структурирано. Следващите важни въпроси са доколко уменията, показани в симулирана среда, се пренасят в реални човешки взаимодействия, както и как този подход работи в различни културни и образователни контексти.
Vantage е стъпка към по-точно, по-достъпно и по-практично оценяване на уменията, които ще бъдат все по-важни в бъдеще.
