Искусственный интеллект
Искусственный интеллект в реальном продукте - это не один чат и не одна модель, а комплексная инженерная система из нескольких слоёв.
В её ядре находятся модели ИИ, а в современных продуктах этим ядром чаще всего выступают большие языковые модели, вокруг которых уже строятся интерфейс, оркестрация, память, инструменты, контроль и инфраструктура.
Что это
Это инженерная оболочка вокруг модели: интерфейсы, backend-логика, очереди, политика выполнения, хранение состояния, контроль доступа, мониторинг и отказоустойчивость.
Зачем нужно
Без этого слоя модель не становится надёжным сервисом. Нельзя контролировать качество, стоимость, безопасность, воспроизводимость и интеграцию с рабочими процессами.
Роль в общей системе
Система ИИ объединяет интерфейс, маршрутизацию, политику доступа, журналирование, наблюдаемость и все технические правила, без которых модель остаётся лишь вычислительным компонентом.
Какие задачи выполняет
- принимает запрос из интерфейса или API и направляет его в нужный сценарий
- собирает контекст, политики, настройки пользователя и рабочее состояние
- обеспечивает безопасность, логирование, лимиты и наблюдаемость
- связывает агента, модель, память, инструменты и внешние сервисы в один контур