Жизненный цикл проектов Генеративный ИИ состоит из пяти отдельных этапов, сосредоточенных вокруг большой языковой модели.
1️⃣ Предварительное обучение: включает создание LLM с нуля. Подобные BERT, GPT4, Llama 2 прошли предварительную подготовку на большом массиве данных. Миллиарды параметров обучаются. Предварительное обучение — это задача обучения без учителя, целью которой является генерация текста или прогнозирование следующего маркера. Предварительное обучение — это этап интенсивных вычислений, который длится дни и даже месяцы. Задача сложная и все, от учебного корпуса до архитектуры трансформатора, решается на предтренировочном этапе. Результатом предварительной подготовки являются Основные модели.
2️⃣ Подсказка. После того, как базовая модель будет готова, можно сгенерировать текст, предоставив модели подсказку. Модель генерирует завершение в подсказке. Этот процесс называется выводом. Во время оперативной разработки обучение не проводится. Ни один из весов модели не трогается. Приводятся только примеры в контексте. Оперативное проектирование — самый простой этап жизненного цикла LLM. Цель разработки подсказок – улучшить производительность сгенерированного текста.
3️⃣ Точная настройка. Вероятно, наиболее важным этапом жизненного цикла llm является его обучение хорошему выполнению определенных желаемых задач. Это делается путем предоставления примеров подсказок и дополнений к базовой модели. Тонкая настройка — это задача обучения с учителем. Для полной точной настройки требуется такой же объем памяти, как и для предварительного обучения базовой модели. Вес модели фундамента обновляется при тонкой настройке. PEFT или тонкая настройка с эффективными параметрами снижает потребность в памяти для тонкой настройки при сохранении уровня производительности.
4️⃣ Обучение с подкреплением на основе отзывов человека/ИИ: RLHF или RLAIF оказались поворотным моментом в принятии LLM. Основная цель RLH/AIF – привести фильм в соответствие с такими человеческими ценностями, как Полезность, Безобидность и Честность. Это делается с помощью наград. Награды первоначально предоставляются человеком в RLHF, а затем создается модель вознаграждения. Применяя принципы конституционного ИИ, RLAIF используется для масштабирования отзывов людей. В результате получается модель, соответствующая человеческим ценностям.
5️⃣ Сжатие, оптимизация и развертывание. На заключительном этапе LLM готов к использованию в приложении. На этом этапе модель оптимизируется для более быстрого вывода и меньшего объема памяти. Иногда в производстве используется меньший фильм, полученный из оригинального фильма.
Какие этапы жизненного цикла использует ваше приложение? Дайте мне знать в комментариях ниже.
