«Красные флажки антиплагиата»
Александр Лифшиц
— Большинство вузов давно уже покупают доступ к программному обеспечению, которое выявляет некорректные заимствования из разных статей и библиотек, указывает на неправильно оформленные цитаты, объяснил Александр Лифшиц, доцент Школы филологических наук факультета гуманитарных наук НИУ ВШЭ. При этом определяемые машиной 15% заимствований могут в действительности оказаться никаким не плагиатом, а признаком использования стандартных конструкций, устойчивых выражений, да и просто способом изложить мысль.
— Программа не указывает степень правонарушения, а просто расставляет красные флажки: здесь подозрительное место, — комментирует Александр Лифшиц. — А дальше человек уже сам решает, где надо было по-другому дать ссылку, иначе закавычить или расставить знаки препинания, а где действительно украден кусок чужого текста. Иногда студенту показывают большой процент заимствований, но, на самом деле, это взято из его же прошлогодней работы, что вполне естественно, когда продолжаешь исследование два или три года. В таких случаях обвинения в плагиате снимаются в ручном режиме.
Нередко система принимает за плагиат названия вузов, термины из законов и тому подобное, отмечает профессор Института развития образования НИУ ВШЭ Ирина Абанкина.
Ирина Абанкина
— Если мы видим превышение цитирования в пределах допустимых 10–15%, научный руководитель может подать справку и объяснить, приемлем ли такой уровень. В ней указаны фрагменты, выделенные как плагиат, и рассматривается, в какой мере они действительно могут им являться, — говорит Ирина Абанкина. — На 85% текст работы должен быть оригинальным, причем самоцитирование тоже ограничено. Нельзя просто взять и включить в ВКР свою же статью. Если доля неоправданных совпадений серьезно превышена, работы к защите не допускаются. Защититься можно будет только через год.
При этом нельзя загрузить работу, получить справку, что-то подправить и пройти проверку повторно. Это серьезное ограничение, с которым студенты знакомятся заранее. «У нас есть внутренний кодекс академической честности, которого мы последовательно придерживаемся», — подчеркивает Ирина Абанкина.
— Когда-то мы шли в библиотеку, выписывали из книг важные фразы, которые, как нам казалось, развивают ту или иную тему. В этом, собственно, и состоит обучение, – говорит старший научный сотрудник факультета экономических наук НИУ ВШЭ Елена Котырло. — Ты находишь какой-то важный для раскрытия темы момент, заимствуешь его, пишешь: вот это сказал такой-то. Если это прямое цитирование, оно берется в кавычки. Если косвенная речь, то достаточно без кавычек передать содержание. Если соблюдать эти правила, то проблем у студента нет. И так было всегда.
Сгенерированный текст: плагиат или нет?
Но потом все изменилось.
Игорь Реморенко
— Систему антиплагиат нужно разделить на две эпохи: до появления искусственного интеллекта и после, — подчеркивает доктор педагогических наук Игорь Реморенко. — Теперь антиплагиат начал добавлять дополнительные опции: он выявляет признаки участия нейросети, и тут возникает некоторая неопределенность. Одно дело — заимствовать текст из чужой статьи, другое — сгенерировать текст по запросу. Есть аргументы в пользу того, что второе можно считать текстом пользователя, при условии, что он полностью несет ответственность за его содержание и готов дополнительно обосновать и защитить его ключевые аргументы.
Но ИИ так быстро совершенствуется, что ловить студентов на его использовании становится все сложнее, говорит Игорь Реморенко. Первоначальные модели можно было опознать по характерным стилистическим маркерам: по структуре и строению текста, постановке вопроса в начале, неуместной эмоциональности в конце, и даже по длинным тире. Но теперь с подобным определением то и дело происходят сбои.
– Недавно я попросил LLM (Мощную нейросетевую языковую модель. — Примеч. ред.), ответить на вопрос, резонно ли использовать генеративные системы в поиске решений, в форме максимально близкой к спонтанному человеческому изложению. Ответ, сгенерированный машиной, был с запинками, остановками, оговорками, не там расставленными запятыми — и все поверили, что это писал человек. Один из коллег, который много времени тратит на распознавание подобных текстов, сказал, что разные системы, через которые он его прогнал, не смогли опознать генерацию, — смеется Реморенко. — Так что сколько-нибудь надежных защиты от все более изощренных систем искусственного интеллекта нет. Единственное — это живой разговор, аргументация, защита своих тезисов перед критически настроенными специалистами, которые разбираются в соответствующей теме.
С тем, что искусственный интеллект развивается, а значит его участие все сложнее распознать, соглашается и Елена Котырло.
Елена Котырло
— Современный искусственный интеллект уже преодолел планку десятого класса и, в общем-то, планку высшего образования. Он вполне грамотно пишет, и качество работ поднялось кратно, — признает Елена Котырло. — Вопрос состоит в том, о чем пишет искусственный интеллект и что должно быть раскрыто в той или иной студенческой работе. Вот здесь векторы расходятся. Раскрыто должно быть одно, а искусственный интеллект клонит в какую-то другую сторону. И если бы студент умел направлять его, делать выписки, как мы раньше делали в библиотеке, конспектировал авторов, составлял собственный текст, все было бы хорошо. Но именно этого навыка у студентов и нет. Они просто забивают тему курсовой работы в запрос и отдают научному руководителю на прочтение. Я думаю, что если говорить о доказательствах использования ИИ, то нужно смотреть, что писал студент раньше, какой у него лексикон, как он строит предложение, и верифицировать именно таким образом.
Елена Котырло признается, что испытывает сожаление, когда видит сгенерированные работы.
— Я стараюсь донести до студента, что он потерял время. У него была возможность развить свои навыки, а он ею не воспользовался и понадеялся, что за него это сделает кто-то другой. Раньше такой надежды не было, и развитие шло более успешно. Я видела, что одни студенты слабее, другие сильнее, а теперь все одинаковые, как двое из ларца. В этом году у меня 14 дипломников и еще около десятка проектных работ. С дипломниками мы все-таки потрудились: они ко мне приходили, я их направляла, хотя и получается, что научный руководитель сейчас — это лучший составитель промптов для студенческих работ. Ну а проектные я все завернула.
«ИИ мне сказал — и я поверил»
Вредят ли нейросети обучению? Мнения на этот счет расходятся, отмечает Игорь Реморенко.
— Есть исследования, которые показывают, что некоторые когнитивные способности, которые воспитывались у студентов без генерации, при частом ее использовании снижаются, полезное интеллектуальное напряжение уходит. Но кто-то говорит, что все зависит от того, как в целом выстроена работа на курсе. Если все генерируется, но при этом сохраняется высокий уровень дискуссий, живых обсуждений, атмосфера академического спора, то ничего страшного нет. Точка в этом вопросе еще не поставлена, — говорит Игорь Реморенко.
Он считает, что сама по себе генерация — это не то же самое, что взять кусок из чужой статьи и вставить в свою.
— Иногда мы сами говорим: ничего страшного, если какие-то куски сгенерированы, главное, что студент хорошо в них разбирается и может пояснить, откуда взялась та или иная мысль. По крайней мере, он не кивает на искусственный интеллект: «Он мне так сказал, я поверил». И, конечно, всегда нужно указывать, что был использован ИИ. Если студент этого не делает, он — в зоне нарушения.
Реморенко подчеркивает, что ИИ — инструмент не только учащегося, но и преподавателя, причем на живых защитах.
— В нашей магистратуре мы, помимо собственно человеческого обсуждения, обязательно ведем запись выступления магистранта и обрабатываем ее с помощью больших языковых моделей. У нас есть ряд критериев: насколько весомо магистрант апеллирует к культурно-историческим реалиям, насколько полно анализирует деятельность системы образования в контексте нормотворчества и так далее. Эксперты могут зацепиться за одни критерии, а другие упустить. А машина с пути не собьется. Глубоко не зайдет, но полезный анализ сделает.
Александр Лифшиц согласен, что некоторые задачи можно поручить нейросети.
— Пока искусственный интеллект используется, чтобы оформить библиографию по определенным правилам, то и слава Богу, — говорит Лифшиц. — Правда, иногда появляются ссылки на несуществующие статьи. Одна студентка в этом году делала доклад на предварительном семинаре, и последний слайд был отведен библиографии. Мой коллега обратил внимание на странное название, стали проверять и, конечно, выяснилось, что такой работы в природе нет. Это глюк искусственного интеллекта, который не может признаться в том, что чего-то не знает, и формирует тексты из запчастей.
Фото: magnific.com
К подобной ситуации Лифшиц относится скорее с юмором и говорит, что той студентке просто «погрозили пальчиком».
— В принципе, для меня ситуация довольно простая, — говорит он. — Мои студенты пишут работы на довольно сложные темы, и у них просто не может быть ситуации, при которой за них искусственный интеллект формирует список литературы. И если ты общаешься с человеком на протяжении года на семинарах, у тебя складывается представление о том, что он может сказать самостоятельно.
Была, правда, одна работа, которая вызвала у Александра Лифшица большие сомнения в том, насколько номинальный автор принимал участие в ее написании.
— Но для этого не обязательно ловить в тексте признаки участия нейросети, — отмечает он. — Задаешь человеку вопрос — и выясняется, что он не в состоянии прокомментировать те слова, которые только что демонстрировал на экране в презентации. И тогда нет большой разницы, сплагиатил ли он, написали ли ему работу за деньги, или ее сгенерировал ИИ. Дальше принимаются процессуальные решения: считать ли работу не заслуживающей внимания или ставить низкую оценку, потому что на какие-то вопросы человек все же отвечает.
Ирина Абанкина рассказывает, что ИИ не просто генерирует фейковые ссылки на публикации, но и помещает эти выдуманные публикации в реально существующие журналы и приписывает их вполне уважаемым авторам.
Доходит до смешного: студент ссылается на работу члена комиссии, который присутствует на защите, а тот говорит: «Позвольте, такой статьи у меня нет».
— В нашем Институте образования были случаи, когда ИИ собирал на основе реальных статей некую обобщенную работу, помещал ее в журнал как якобы опубликованную, она попадала в список литературы, который раздувался за счет таких фантомных источников.
«Белое, серое, недопустимое»
Тем не менее, от нейросетей никуда не деться, и умение грамотно пользоваться ими тоже требует большой работы.
— Нужно правильно задать вопрос, чтобы машина дала не фантазийный, а здравый ответ. Но если ты можешь сформулировать ей задачу, значит твоя квалификация уже довольно высока, — говорит Александр Лифшиц. — А если я вижу бессвязный текст, я реагирую на это независимо от причины. Мне неважно, студент ли лентяй, или промпт писать не научился. И дальше человек, который принес тебе такую работу, собственно, за нее и отвечает.
Нужно пересматривать форматы контроля и проводить проверку офлайн, считает Елена Котырло.
— Это, конечно, не вполне отвечает задачам высшей школы. Все-таки мы год готовим студента с его исследовательским проектом. Он должен много чего самостоятельно проработать, чтобы затем изложить. Но, тем не менее, зачетный момент — тот, который идет в оценку, — нужно выносить в аудиторию со звуконепроницаемыми стенами, с отсутствием доступа к интернету. И там проводить последнюю контрольную, — подчеркивает она.
Раньше нужно было ехать в дальнюю библиотеку, потом появился интернет, открылся доступ к зарубежным библиотекам, к периодике, — продолжает Елена Котырло. — Сегодня есть искусственный интеллект, который этот пласт знаний уже переработал, разложил по полочкам. Он может помочь начать текст, разъяснить какой-то вопрос, сделать таблицу, написать часть кода. Конечно, это нужно использовать. Но нельзя выдавать его результат за свой. Мы всегда должны понимать, в чем собственно состоит вклад студента.
Фото: magnific.com
Работу нейросетей еще только предстоит регламентировать, считает Ирина Абанкина.
— Я знаю, что сейчас сформирована серьезная экспертная комиссия, которая работает над совершенствованием системы, — говорит она. — Вероятно, нас ждут существенные изменения как в самой системе проверки на плагиат, так и в рекомендациях по использованию искусственного интеллекта и во внутренних правилах вуза. Среди видов такого использования есть неприемлемые. Я хотела бы сослаться здесь на опыт Китая, который уже в 2025 году выпустил не только общий гайд по использованию искусственного интеллекта в образовании, но и список инструментов — белых, серых и недопустимых. Мне кажется, стоит очень внимательно отнестись к этим наработкам, поскольку среди возможных вариантов использования ИИ есть просто-напросто небезопасные.