Гибридная проверка заданий в LMS: автоматизация и экспертная оценка

С ростом числа студентов проверка домашних заданий становится узким местом LMS. Преподаватель физически не успевает проверить 500 работ за 24 часа, а качество проверки страдает. Мы решаем эту задачу гибридным подходом: автоматическая проверка для тестов и кода, оптимизированный интерфейс для ручной проверки эссе и сложных заданий. Наш опыт показывает, что до 70% типовых заданий можно проверять автоматически, сокращая время преподавателя в 3–5 раз. Например, в одном проекте для университета мы внедрили автоматическую проверку кода на Python — преподаватель теперь проверяет 200 работ за 1 час вместо 5. Экономия бюджета на проверке достигает 40% относительно ручного труда. Мы обеспечиваем масштабирование до 1000 одновременных проверок и обратную связь по каждой работе. Средний срок разработки — 2–3 недели. В этой статье расскажем, как мы проектируем систему проверки, какие компоненты входят и как заказать такую разработку под ключ.

Какие проблемы решает гибридная проверка?

Перегрузка преподавателей. Ручная проверка 50+ работ в день ведёт к выгоранию и ошибкам. Автоматизация снимает рутину: преподаватель проверяет только сложные задания, а тесты и код оцениваются без его участия.

Разнородность заданий. В одном курсе могут быть тесты, эссе, код и файлы. Универсальная система должна поддерживать все форматы. Мы интегрируем рубрики оценивания, inline-аннотации PDF и Docker-песочницу для кода.

Плагиат. Текстовые заимствования и копирование кода — распространённая проблема. Интеграция с Unicheck и MOSS (или собственный движок на TF-IDF) выявляет подозрительные работы до их проверки преподавателем.

Как мы реализуем ручную проверку?

Интерфейс проверки должен минимизировать переключение контекста. На одном экране: работа студента слева, форма оценки справа. Ключевые компоненты, которые мы внедряем:

• Список непроверенных работ с фильтрами по заданию, группе, дате
• Просмотр ответа студента (текст, файл inline или ссылка)
• Рубрика оценивания с чекбоксами (если заданы критерии)
• Поле оценки и текстовый комментарий с поддержкой Markdown
• Кнопки: «Принять», «Вернуть на доработку», «Следующая работа»
• Inline-аннотации на PDF (если работа в формате PDF)

Для quiz-типа заданий с правильным ответом мы реализуем пакетную проверку: преподаватель видит таблицу всех работ с ответами и может проставить оценки пачкой.

Как работает автоматическая проверка?

Quiz / тесты с закрытыми вопросами:

async function autoGradeQuizSubmission(submissionId) { const submission = await db.submissions.findOne(submissionId, { include: ['assignment.questions'] }); let totalPoints = 0; let earnedPoints = 0; const results = []; for (const question of submission.assignment.questions) { totalPoints += question.points; const studentAnswer = submission.answers[question.id]; const isCorrect = checkAnswer(question, studentAnswer); if (isCorrect) earnedPoints += question.points; results.push({ questionId: question.id, correct: isCorrect, studentAnswer, correctAnswer: question.correctAnswer, }); } const score = Math.round((earnedPoints / totalPoints) * submission.assignment.maxScore); await db.submissions.update(submissionId, { status: 'graded', score, autoGradeResults: results, gradedAt: new Date(), }); await notifyStudent(submission.studentId, submissionId, score); } 

Проверка кода через тесты: Для курсов программирования мы запускаем код студента в изолированных Docker-контейнерах против набора тестов. Это гарантирует безопасность и повторяемость.

async function runCodeTests(submissionId, code, language, testCases) { const result = await dockerRunner.run({ image: `lms-runner-${language}:latest`, // python:3.11, node:20, etc. code, tests: testCases, timeout: 10000, // 10 секунд memoryLimit: '256m', networkDisabled: true, // Нет сети в sandbox }); return { passed: result.passedTests, total: testCases.length, output: result.stdout, errors: result.stderr, executionTime: result.durationMs, }; } 

FROM python:3.11-slim RUN pip install pytest COPY tests/ /tests/ ENTRYPOINT ["pytest", "/tests/"] 

submitted ↓ (auto-grade или manual) reviewing ↓ преподаватель открыл работу graded → уведомление студенту returned → студент получает уведомление, может доработать ↓ повторная отправка resubmitted → снова в reviewing