Kurgan-Telecom Ru | Информационные технологии

Полгода назад мне понадобился личный AI помощник (знаю...звучит слишком пафосно и мне самому это словосочетание не нравится) для работы на своем ноутбуке на Windows. В основном для достаточно простых вещей. Посмотреть простой Python код, разобраться с Pandas, найти ошибку в SQL запросе или подсказать, как можно переписать кусок кода. Проблема была в том, что рабочий код и данные нельзя было отправлять во внешний контур. Поэтому привычный сценарий с ChatGPT или другим облачным сервисом мне не подходил.

Я знал, что существуют локальные языковые модели, но до этого никогда их самостоятельно не запускал. Казалось, что для этого придется разбираться в Linux, Docker, CUDA и еще десятке технологий....

В итоге все оказалось заметно проще ))))... Я установил Ollama, скачал DeepSeek и получил локального AI помощника, который работает непосредственно на моем компьютере. В этой статье покажу весь путь от установки до первого запроса. Без глубокого погружения в устройство LLM. Просто повторяем несколько шагов и получаем работающую модель через 15 минут.

Сразу оговорюсь. Это не инструкция по построению полноценного корпоративного закрытого контура. Речь именно о локальном запуске модели на своем компьютере. Если у вас есть требования информационной безопасности, их необходимо учитывать отдельно.

Искал скрытые библейские цитаты и намеки в тексте советского романа «12 стульев» с помощью Python и что у меня получилось.

Недавно я гонял бенчмарки на свежей сборке CPython (ветка с tail-call интерпретатором, PGO + LTO, GCC) и снял флеймграф стандартного бенчмарка async_generators из набора pyperformance (рекурсивный обход дерева на 100 000 нод с глубиной вложенности ~17).

Картина на профиле оказалась фееричной: почти треть всего процессорного времени (29%) сжиралась кодом, который вообще не делал никакой полезной работы.

Рантайм создавал, настраивал, а затем тут же уничтожал объекты исключений StopIteration, о существовании которых Python-код даже не догадывался.

Ниже о том, откуда растут ноги у этой проблемы в Си-коде CPython и как пара правок в genobject.c дали ускорение в 1.33x — 1.53x.