Найти

Расширенные фильтры
Опубликовано после
Опубликовано до

Результаты поиска

##search.searchResults.foundPlural##

  • АЛЬТЕРНАТИВНЫЕ ПОДХОДЫ К МАСШТАБИРОВАНИЮ NLP МОДЕЛЕЙ: АНАЛИЗ ПОДХОДОВ К ОПТИМИЗАЦИИ ОБЪЕМА ДАННЫХ И ВЫЧИСЛЕНИЙ ПРИ ОБУЧЕНИИ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ

    К.И. Ралко , Н. Е. Сергеев
    152-172
    2026-07-07
    Аннотация ▼

    Основное внимание уделяется подходам преодоления системных ограничений парадигмы масштабирования больших языковых моделей (LLM), связанных с исчерпанием данных и экспоненциальным ростом вычислительных затрат. Обход таких ограничений позволяет разработать более эффективные подходы к созданию NLP-моделей без потери в качестве их работы. Целью данного исследования является сравнительный анализ эффективности стандартной трансформерной архитектуры (nanoGPT) и модели, оперирующей семантическими эмбеддингами (nanoSonar), для задач языкового моделирования в условиях ограниченных ресурсов. Работа с концептуальными эмбеддингами позволяет выявить более глубокие языковые закономерности и сократить объем требуемых данных для обучения, что значительно повышает эффективность моделирования. При проведении исследования использовался набор данных TinyStories, который включает короткие нарративы с четкой структурой. Перед реализацией моделей была проведена предобработка данных: для nanoGPT – токенизация методом BPE, для nanoSonar – преобразование текста в семантические эмбеддинги с помощью предобученной модели Sonar. Оценка моделей осуществлялась с использованием метрик функции потерь (loss) и перплексии (perplexity). Результаты исследования показали, что модель nanoSonar обеспечивает значительно более низкую перплексию (6,609 против 39,151 у nanoGPT), а также демонстрирует более устойчивую динамику обучения на поздних этапах. В работе представлен анализ современных подходов к оптимизации масштабирования (MoE, дистилляция, PEFT) и перспективных архитектур (LRM, SSM, RWKV), а также даны практические рекомендации по применению моделей, работающих в пространстве семантических эмбеддингов, для доменно-специфичных задач и систем с ограниченными вычислительными ресурсами. Результаты исследования могут быть полезны при разработке эффективных языковых моделей, сочетающих высокое качество генерации с экономичной архитектурой.

  • ПОВЫШЕНИЕ РЕАЛЬНОЙ ПРОИЗВОДИТЕЛЬНОСТИ РВС ПРИ РЕШЕНИИ ЗАДАЧ ЦИФРОВОЙ ОБРАБОТКИ ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ БЫСТРОГО ПРЕОБРАЗОВАНИЯ ФУРЬЕ

    А.В. Чкан
    2021-02-25
    Аннотация ▼

    Рассматриваются вопросы цифровой обработки изображений больших размерно-
    стей в реальном масштабе времени с помощью реконфигурируемых вычислительных сис-
    тем (РВС) на базе ПЛИС. РВС относятся к классу высокопроизводительных многопроцес-
    сорных вычислительных систем, но при этом обладают программируемой архитектурой,
    позволяющей конфигурировать структуру вычислительной системы, оптимально под-
    страивая её под алгоритмы решаемой задачи. В то же время оптимизация вычислитель-
    ной структуры задачи сводится к разработке и реализации параллельных алгоритмов,
    соответствующих специфике используемой архитектуры РВС. Всё это позволяет эффек-
    тивно использовать РВС для решения широкого класса задач цифровой обработки сигна-
    лов. Предложены способы повышения удельной и реальной производительности РВС при
    решении задач цифровой обработки изображений с использованием быстрого преобразо-
    вания Фурье (БПФ). На примере процедуры фильтрации изображений в частотной облас-
    ти рассмотрены основные вычислительные этапы и способы их оптимизации, основанные
    на свойствах алгоритма БПФ. Применение оптимизации позволяет существенно сокра-
    тить как объем вычислений, так и объем задействованных аппаратных ресурсов ПЛИС, и
    повысить производительность РВС для задач обработки изображений. Освобожденные в
    результате оптимизации вычислительной структуры ресурсы ПЛИС могут быть исполь-
    зованы для дополнительного распараллеливания вычислений и ускорения обработки посту-
    пающих данных. Показаны преимущества представления данных в формате с фиксирован-
    ной запятой при выполнении расчётов на РВС. Использование фиксированной запятой по-
    зволяет не только повысить удельную и реальную производительность вычислительной
    системы по сравнению с плавающей запятой в силу свойств формата, но и использовать
    произвольную разрядность данных, что является актуальным для большинства задач циф-
    ровой обработки сигналов. Рассмотрено решение проблемы переполнения разрядной сетки
    при использовании формата с фиксированной запятой с помощью масштабирования раз-
    рядности данных.

  • МАСШТАБИРОВАНИЕ ЦЕЛОЧИСЛЕННЫХ ДАННЫХ В РВС ПРИ ВЫЧИСЛЕНИИ РАДИОЛОКАЦИОННОГО ДАЛЬНОСТНО-СКОРОСТНОГО ПОРТРЕТА

    О.В. Ершова, Е. В. Кириченко, М.С. Кочерга, E.A. Семерников
    2021-02-25
    Аннотация ▼

    Данная статья посвящена вопросу предотвращения переполнений разрядной сетки в
    высокопроизводительных реконфигурируемых вычислительных системах (РВС) на основе
    ПЛИС, приводящих к фатальным ошибкам обработки данных в процессе получения
    радиолокационного дальностно-скоростного портрета (ДСП) цели. Кратко рассмотрены
    существующие способы решения данной проблемы, и предложена методика априорного оп-
    ределения количества точек масштабирования в конвейерно-параллельных вычислительных
    структурах, формирующих радиолокационный ДСП цели. Данная методика позволяет зара-
    нее определить необходимое количество масштабирований на всех этапах обработки цело-
    численных данных и предотвратить переполнения при вычислении БПФ (ОБПФ) во всех
    возможных ситуациях. Рассмотрен алгоритм получения ДСП из исходной сигнальной мат-
    рицы (ИСМ) на примере радиолокационной системы (РЛС) непрерывного излучения с
    линейной частотной модуляцией (ЛЧМ). Приведены формулы, позволяющие рассчитать
    максимально допустимое значение (в используемой разрядной сетке) амплитуды
    преобразумых сигналов на всех этапах получения ДСП и количество итераций с
    масштабированием в процедурах БПФ (ОБПФ). Представлен численный пример расчета
    количества масштабирований для всех этапов алгоритма формирования ДСП, в котором
    определено необходимое число итераций с масштабированием при вычислении быстрой
    свертки и доплеровской скорости (с учетом умножения на оконную функцию), позволяющее
    предотвратить возможный выход значений сигнала за пределы разрядной сетки. В резуль-
    тате установлено, что предлагаемый способ расчета количества масштабирований
    позволяет избежать чрезмерного падения уровня сигнала на выходе обработки и снизить
    отношение ошибок цифровой обработки к уровню сигнала дальностно-скоростной матрицы

1 - 3 из 3 результатов