Расход памяти на ноутбуках

При локальной расшифровке встречи или составлении сводки Kimiko может занимать несколько гигабайт памяти. На ноутбуке с общей памятью эта работа берет память из того же объема, который нужен остальным приложениям. Сколько именно, зависит от моделей, включенных функций и компьютера.

Краткий список требований к оборудованию — в статье «Системные требования». Для локального распознавания речи и ИИ разумная отправная точка — 16 ГБ памяти на Mac с Apple silicon или на ПК с Windows и дискретной видеокартой. Ноутбукам с Windows и общей памятью может пригодиться запас побольше.

Что такое общая память

Во многих ноутбуках с Windows встроенная графика использует основную оперативную память компьютера. Центральный и графический процессоры работают с одним общим объемом памяти. Это называется унифицированной архитектурой памяти, или UMA. AMD объясняет, как устроена общая память.

Например, на ноутбуке с 16 ГБ общей памяти и Windows, и ваши приложения, и графика берут память из этих же 16 ГБ. Компьютер с отдельной видеокартой может вместо этого держать часть данных ИИ в собственной памяти видеокарты. Поэтому ноутбук может расходовать больше оперативной памяти на ту же задачу.

Mac с Apple silicon тоже используют общую память, но их оборудование и ПО справляются с локальной обработкой иначе. Сама по себе общая память не означает высокого расхода или низкой производительности: Kimiko успешно использовали на MacBook Air с M5 и 16 ГБ памяти.

Общая память не гарантирует, что все части программы обходятся одной копией данных. Моделям ИИ во время работы могут понадобиться дополнительные копии и рабочая память. Размер загрузки модели — это лишь ее размер на диске.

Почему расход растет во время встречи

Kimiko может одновременно превращать речь в текст, различать говорящих, готовить заметки для поиска и писать сводку. Каждому из этих процессов нужна память. Локальная сводка может временно увеличить расход, пока речевая модель еще работает.

Эти процессы нагружают и процессор, поэтому другие требовательные приложения могут их замедлить. Высокий расход памяти сам по себе не означает, что что-то сломалось: проверьте, отзывается ли компьютер и успевает ли расшифровка за речью.

Почему облачная обработка тоже расходует память

Облачное распознавание речи и облачный ИИ выбираются отдельно. Если перенести в облако одно, другое не изменится.

Даже если выбрано и то и другое, Kimiko все равно обрабатывает аудио и обнаруживает речь на вашем компьютере. Метки говорящих и распознавание голосов, если они включены, работают локально. Поиск в чате тоже может использовать локальную модель, а у включенной диктовки своя речевая модель. Облачная обработка может снизить нагрузку, но не убирает всю локальную работу. Подробнее — в статье «Облачные провайдеры».

Как Kimiko снижает нагрузку

• С версии 0.6.5: в Windows обнаружение речи работает на центральном процессоре. На компьютерах, где есть только встроенная графика с общей памятью, на нем же расставляются метки говорящих — так эти процессы не создают лишней нагрузки, связанной с графикой. Расшифровка и локальный ИИ по-прежнему могут использовать графическое ускорение.
• С версии 0.6.6: перед началом встречи Kimiko выгружает из памяти простаивающую модель диктовки. На компьютерах с Windows, где есть только встроенная графика с общей памятью, Kimiko также меняет то, как встроенный ИИ загружает данные модели, чтобы Windows было проще освободить часть памяти.
• С версии 0.6.7: речевая модель диктовки и встроенная модель форматирования по умолчанию выгружаются вместе после 5 минут простоя. Чтобы освобождать память раньше или дольше держать модели наготове, измените параметр Держать модели загруженными в разделе Настройки → Диктовка. Модель, которую также использует чат, может оставаться загруженной дольше.

Эти изменения работают автоматически. Они не уменьшают память, которая нужна работающим моделям, и единого целевого объема памяти для всех ноутбуков нет.

Что можно попробовать

1. Обновите Kimiko, чтобы получить описанные выше изменения.
2. Закройте требовательные приложения и сравните результат на короткой встрече с локальной моделью ИИ поменьше.
3. Отключите необязательные функции. В разделе Настройки → Расшифровка выключите параметр Различать других говорящих, если отдельные метки говорящих не нужны, или Сводки в реальном времени, если можно подождать и составить сводку после записи.
4. Подумайте об облачной обработке речи, ИИ или того и другого, если вас это устраивает с точки зрения конфиденциальности. Проверьте также выбор в строке Модель ИИ.

Если расход памяти растет от встречи к встрече или компьютер остается медленным после окончания обработки, напишите в поддержку и укажите версию Kimiko, модель ноутбука, выбранные модели и включенные функции.

Как читать Диспетчер задач Windows

Общий расход оперативной памяти показан в разделе Производительность → Память. Основное приложение Kimiko, движок ИИ и отрисовка окна могут отображаться как отдельные процессы. Общая память графического процессора уже входит в оперативную память системы: если прибавить ее к общему расходу, она будет учтена дважды.

Если на графике 3D почти нет активности, это еще не значит, что графический процессор простаивает. В разделе Производительность → Графический процессор нажмите на название графика и выберите график Compute, например Compute 0, если он есть. Работа ИИ может отображаться там. Microsoft объясняет, как устроены представления GPU в Диспетчере задач.