Реализация AI-Copilot для навигации по мобильному приложению
Сложные мобильные приложения — банки, ERP, медицинские платформы — теряют пользователей не из-за отсутствия функций, а из-за того, что найти нужную функцию слишком трудно. Традиционный ответ — онбординг-туры и справки. Работает плохо: пользователь проходит тур при первом входе и забывает через день. AI Copilot для навигации — это ассистент, который понимает запрос на естественном языке и ведёт пользователя туда, куда нужно.
Что умеет навигационный Copilot
Не «чат», не FAQ-бот. Три конкретных сценария:
Deep link navigation. Пользователь пишет «хочу перевести деньги на карту» — ассистент открывает нужный экран. Технически: NLU-модель классифицирует интент, маппит на deep link, приложение выполняет навигацию программно.
Контекстные подсказки. Пользователь завис на экране три минуты и не совершил действия — Copilot предлагает помощь. Не generic «нужна помощь?», а контекстное: «Вы на экране платежа. Хотите, чтобы я объяснил разницу между переводом по номеру телефона и по реквизитам?»
Guided task execution. Многошаговые задачи: «оформить ипотечную заявку» — 12 шагов, разбросанных по трём разделам. Copilot ведёт шаг за шагом, отслеживает прогресс и объясняет каждый экран.
Архитектура: NLU → Intent → Action
Самая нетривиальная часть — mapping запроса пользователя на конкретное действие в приложении. Два подхода:
Classifier-based. Заранее определяем набор интентов (50–200 для среднего приложения), обучаем классификатор. Быстро, предсказуемо, дёшево в рантайме. Не справляется с нестандартными формулировками.
LLM + function calling. Описываем все экраны и действия как набор функций. LLM выбирает нужную на основе запроса пользователя:
// iOS — описание навигационных функций для LLM
let navigationTools: [ChatCompletionTool] = [
ChatCompletionTool(
type: .function,
function: ChatCompletionToolFunction(
name: "navigate_to_screen",
description: "Открывает экран приложения по его идентификатору",
parameters: NavigationParameters.schema // {screen_id: string, params: object}
)
),
ChatCompletionTool(
type: .function,
function: ChatCompletionToolFunction(
name: "highlight_element",
description: "Подсвечивает UI-элемент на текущем экране с объяснением",
parameters: HighlightParameters.schema
)
),
ChatCompletionTool(
type: .function,
function: ChatCompletionToolFunction(
name: "start_guided_flow",
description: "Запускает пошаговый гайд по многошаговой задаче",
parameters: FlowParameters.schema
)
)
]
// Запрос с function calling
let request = ChatCompletionRequest(
model: "gpt-4o-mini",
messages: [systemMessage, userMessage],
tools: navigationTools,
toolChoice: .auto
)
LLM возвращает tool_calls с именем функции и параметрами, приложение выполняет навигацию.
Программная навигация в iOS и Android
На iOS (SwiftUI) — через NavigationPath или custom Router:
class AppRouter: ObservableObject {
@Published var path = NavigationPath()
func navigate(to screen: AppScreen, params: [String: Any] = [:]) {
switch screen {
case .transfer:
path.append(TransferRoute(params: params))
case .loanApplication:
path.append(LoanApplicationRoute(params: params))
// ...
}
}
// Вызывается из AI Copilot
func executeNavigationAction(_ action: NavigationAction) {
DispatchQueue.main.async {
self.navigate(to: action.screen, params: action.params)
}
}
}
На Android (Compose) — через NavController:
fun handleCopilotAction(action: NavigationAction, navController: NavController) {
when (action.screenId) {
"transfer" -> navController.navigate(
"transfer?amount=${action.params["amount"] ?: ""}"
)
"loan_application" -> navController.navigate("loan/application")
// ...
}
}
Подсветка UI-элементов
Guided mode с подсветкой элементов — технически сложнее навигации. Нужна система идентификации элементов, не зависящая от положения на экране.
На iOS: теговая система через accessibilityIdentifier. Copilot знает имена элементов, при необходимости overlay-слой рисует highlight с анимацией поверх нужного элемента.
На Android: аналогично через contentDescription или кастомные теги + ViewTreeObserver для получения координат элемента в runtime.
Контекстная осведомлённость
Copilot должен знать, где находится пользователь прямо сейчас. Текущий экран, шаги, которые уже выполнены, незаполненные поля — это контекст, который инжектируется в системный промпт:
func buildCopilotContext(currentScreen: AppScreen, formState: FormState?) -> String {
var context = "Текущий экран: \(currentScreen.name).\n"
if let form = formState {
context += "Заполненные поля: \(form.completedFields.joined(separator: ", ")).\n"
context += "Незаполненные обязательные поля: \(form.missingRequired.joined(separator: ", ")).\n"
}
return context
}
Типичные ошибки реализации
Главная: Copilot выполняет деструктивные действия без подтверждения. Правило — навигация выполняется немедленно, любые изменения данных (отправка формы, создание платежа) требуют явного confirm от пользователя, независимо от того, что сказал Copilot.
Вторая: полное описание всех 80 экранов в системном промпте. Это раздувает промпт до нескольких тысяч токенов. Решение — векторный поиск по каталогу экранов перед запросом к LLM: из 80 экранов в промпт попадают 5–10 наиболее релевантных.
Процесс работы
Инвентаризация всех экранов и действий приложения → проектирование схемы интентов → реализация NLU (classifier или LLM function calling) → система программной навигации → UI overlay для подсветки элементов → guided flow engine → A/B тест с метриками task completion rate.
Ориентиры по срокам
MVP с LLM function calling и базовой навигацией — 2–3 недели. Полная система с guided flows, подсветкой элементов и контекстными подсказками — 3–5 недель. Итеративная доработка на основе аналитики — постоянно.