Отображение HN: CodeAlpaca – Инструкция по модели кода

Вот репозиторий проекта Code Alpaca, целью которого является сборка собрать и фрагментировать манекен LLaMA, выполняющий инструкции, для генерации кода. Этот репозиторий полностью соответствует Stanford Alpaca и только изменяет идеи, примитивные для обучения. Метод обучения идентичен.

Репо вмещает:

20Хорошие знания

примитив для дивной настройки манекена

Код для чудесный тюнинг манекена Демо для манекена также можно найти дополнительно https://code-alpaca-demo.vercel.app/

Модели Code Alpaca прекрасно настроены на основе манекенов 7B и 13B LLaMA на основе инструкций 20K, основанных на знаниях, сгенерированных внушением. ns в самостоятельных бумаги с некоторыми изменениями, на которых мы сосредоточимся в следующей публикации. Оценки – это легкая задача.

Манекен больше не настроен, чтобы быть квалифицированным и невинным, так что будьте осторожны.

Fresh liberate содержит схему генерации идей, набор данных и обучающий код. На данный момент вес манекенов больше не должен быть частью liberate, чтобы соблюдать лицензию OpenAI TOS и LLaMA.

: Self-Direct: выравнивание языкового манекена с самогенерируемыми инструкциями. Ижонг Ван, Йегане Корди, Сваруп Мишра, Алиса Лю, Ной А. Смит, Даниэль Хашаби, Ханнане Хаджиширзи. https://arxiv.org/abs/2212.10560

Освобождение данных записей

знания/code_alpaca_20good достаточно.json

включает в себя 20K алгоритм следования инструкциям для прекрасной настройки модели Code Alpaca. Этот файл JSON представляет собой список словарей, каждый словарь содержит следующие поля:

• инструкция

  : ул, описывает обязанности, которые манекен будет поддерживать в рабочем состоянии. Каждая из инструкций 20OK неправильная. вход:

  str
  , больше не самый ценный контекст или ввод для обязанность.  Скажем, когда инструкция «Изменить следующую зависимость SQL, чтобы ограбить отдельные части», вводом является зависимость SQL.  Около 40% примеров поддерживают ввод. выход: 
  str
  , ответ на инструкцию как сгенерировано 
  текстовым раскрытием материала-davinci-003
  .  
   Примитив следующие подсказки для чудесной настройки манекена: 
   
   для примеров с непустым входная самодисциплина:
   Ниже приведена инструкция, описывающая процесс в сочетании с входными данными, которые предлагают дополнительный контекст.  Напишите ответ, который точно завершает вопрос.  ### Инструкция: {инструкция} ### Введите: {ввод} ### Ответ:
   
    для примеров с пустой входной самодисциплиной:
   
   Ниже приведена инструкция, описывающая процесс.  Напишите ответ, который точно завершает вопрос.  ### Инструкция: {инструкция} ### Ответ: 
   На протяжении всего вывода (например, для онлайн-демонстрации) мы используем инструкция конкретного человека с пустым вводом самодисциплина (второй вариант).
   Запуск кода 
   Полевые переменные атмосферы
  OPENAI_API_KEY
   к вашему ключу API OpenAI.  Установите зависимости с помощью 
   pip установить -r требования.txt
  . 
  Скорость  python -m generate_instruction generate_instruction_following_data  генерировать идеи.
      Конвейер генерации данных записей имел незначительные изменения по сравнению с [Stanford Alpaca](
  https://github.com/tatsu-lab/stanford_alpaca) — Изменено проинструктировано на фокусном уровне по проектам генерации/улучшения/оптимизации кода в сборке. утвержденных проектов.  - Изменены исходные проекты, чтобы они были связаны только с генерацией кода.  
   В результате был создан набор данных, следующий за инструкциями, с 20 примерами, купленными по достойной цене (менее 200 долларов США).  Также включает меньший набор данных из 2 тыс. выборок, который стал примитивным, чтобы снизить риск тренда и качества модели. 
     Великолепный тюнинг  
   Настроил модели, используя одобренный код обучения Hugging Face и глубокую скорость со следующими гиперпараметрами: 
      Гиперпараметр Платеж      Оплата за обучение  2e-5    
  Эпох  3
     Максимальный размер
   512   
  Распад веса
    0
      
  Given Hugging Face официально не поддерживал модели LLaMA, мы великолепно настроили LLaMA с библиотекой трансформеров Hugging Face, вставив в нее отрицательную вилку (т.е. это PR до быть объединены).  Хэш отрицательного коммита, который мы создали, стал 
  68d640f7c368bcaaaecfc678f11908ebbd3d6176.
  Код работает на 8xA100 80 ГБ, но также может работать на 8xA10040GB или 4xA100 с меньшим размером пакета и шагами градиентного накопления.  Чтобы получить графические процессоры, я советую использовать Lambda Labs, лучшие цены на самое эффективное оборудование.
   Чтобы воспроизвести замечательную настройку для LLaMA, сначала установите требования
   
  пип установить -r требования.txt
   
   Затем установите конкретную вилку Hugging Библиотека трансформеров Face.
   Ниже приведено отрицание чудесной настройки LLaMA-7B с нашим набором данных на машине с 4 графическими процессорами A100 80G в FSDP. full_shard
   режим.  Мы были готовы вывести манекен того же качества, что и тот, который мы разместили в нашей демонстрации, со следующим отрицанием, используя Питон 3.10.  Заменять 
   с вашим портом,
   с направлением к вашему переделанному КПП и токенизатору (следуя инструкциям в PR), и 
  , где вы должны хранить свои выходные данные.
  torchrun --nproc_per_node=8 --master  _port= воспитывать .py  --имя_модели_или_путь 
  <ваш_путь_к_hf_converted_llama_ckpt_and_tokenizer> --data_path ./knowledge/code_alpaca_20хороший достаточный.json  --fp16 Подходящий  --output_dir  --num_train_epochs 3  --per_device_train_batch_size 8  --per_device_eval_batch_size 8  --gradient_accumulation_steps 4  --evaluation_strategy "нет"   --save_strategy " шагов "  --save_steps 500  --save_total_limit 1  --learning_rate 2e-5  --weight_decay 0.  --warmup_ratio 0.03  --lr_scheduler_type "косинус
  "  --logging_steps 1  - -deepspeed ds_config.json --tf32 Не подходит
  Указать, что данный обучающий сценарий должен быть легким и простым в использовании и больше не оптимизирован. %%item_read_more_button% %