Геометрия сжатия: как TurboQuant решает проблему KV-кэша

Описание: Исследователи Google разработали TurboQuant — набор передовых алгоритмов, предназначенных для значительного сжатия многомерных векторов, используемых большими языковыми моделями и поисковыми системами. Интегрируя две основные методики, PolarQuant и квантованный алгоритм Джонсона-Линденштрауса, система обеспечивает экстремальное сокращение объёма данных без ущерба для точности или производительности модели. Это нововведение специально нацелено на устранение узких мест в памяти, характерных для кэшей типа «ключ-значение», позволяя моделям ИИ обрабатывать огромные объёмы информации быстрее и с меньшими затратами. Экспериментальные результаты показывают, что эти методы позволяют увеличить скорость обработки до восьми раз, сохраняя при этом практически идеальную точность поиска. В конечном итоге, эти теоретические достижения обеспечивают надёжную основу для повышения эффективности и доступности крупномасштабного семантического поиска и генеративного ИИ.