CoT-Self-Instruct: Building High-Quality Synthetic Prompts for Reasoning and Non-Reasoning Tasks

Описание: CoT-Self-Instruct: Создание высококачественных синтетических запросов для задач рассуждения и не рассуждения

В данной статье представлен CoT-Self-Instruct, новый метод генерации синтетических данных, использующий большие языковые модели (LLM). Метод инструктирует LLM рассуждать и планировать, используя Chain-of-Thought (CoT) на основе начальных базовых задач. Затем LLM генерируют новые синтетические запросы с последующей автоматической фильтрацией для обеспечения высокого качества данных. Авторы показывают, что CoT-Self-Instruct значительно превосходит существующие обучающие наборы данных в задачах проверяемого рассуждения. Он также превосходит сгенерированные человеком и стандартные самообучающие запросы в задачах следования инструкциям, не поддающихся проверке. Метод включает Answer-Consistency для проверяемых данных и RIP (Rejecting Instruction Preferences) для непроверяемых данных для обеспечения качества. Модели, обученные на данных CoT-Self-Instruct, показали превосходные результаты по сравнению с другими протестированными методами. Этот подход решает проблему приобретения высококачественных обучающих данных для LLM, предлагая жизнеспособную альтернативу наборам данных, сгенерированным людьми. Синтетические данные искусственно генерируются для воспроизведения характеристик и закономерностей реальных данных.
#LLM #СинтетическиеДанные #Самообучение #ЦепьРассуждений #Рассуждение #ИИ #ГенерацияДанных #NLP

документ - http://arxiv.org/pdf/2507.23751v1
подписаться - https://t.me/arxivpapers
отправить донаты:
USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7
BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr
ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7
SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e
создано с помощью NotebookLM