Habr.com

Syndicate content Хабр
Все публикации подряд на Хабре
Updated: 36 min 5 sec ago

ClickHouse под трейсы: почему шесть бэкендов Jaeger оказались выбором из двух

Thu, 10/01/2026 - 14:01

Cloud Tracing — сервис распределённой трассировки в VK Cloud. Приложения отправляют в него спаны по протоколу OpenTelemetry, сервис хранит их и отдаёт через Jaeger-совместимое API. Поэтому трейсы можно открывать в привычных Jaeger UI и Grafana без доработок.

За этой совместимостью стоит выбор хранилища, который для публичного облака оказывается сложнее, чем кажется. Сервис принимает поток спанов от сотен несвязанных клиентов, хранит десятки терабайт телеметрии и должен надёжно изолировать данные проектов друг от друга. По умолчанию один проект может отправлять до 1 МБ/с, а доступ к данным контролируется токенами IAM. При таких ограничениях недостаточно просто выбрать базу, которая быстро записывает спаны или умеет находить трейс по trace ID.

На странице развёртывания Jaeger на момент проектирования сервиса были перечислены шесть вариантов: Cassandra, Elasticsearch, Kafka, gRPC-плагин, Badger и memory. На первый взгляд это полноценный список кандидатов. Но локальные хранилища отпадают для прода, Kafka оказывается буфером перед настоящим хранилищем, а gRPC-плагин служит способом подключить систему, которой в списке нет. В результате сравнивать приходится Cassandra и Elasticsearch, а через плагин появляется третий вариант — ClickHouse.

Я Леонид Левин, архитектор PaaS в VK Cloud. Этот разбор мы подготовили вместе с технологическим евангелистом Стасом Погоржельским и инженерами сервиса. Мы разберём, почему Cassandra и Elasticsearch по-разному подходят для хранения трейсов, что дали чужие продовые кейсы и наши замеры до 362 тысяч спанов в секунду на четырёх ядрах коллектора, а также как схема хранения на ClickHouse закрыла точечное чтение и поиск по атрибутам.

Читать далее

ClickHouse под трейсы: почему шесть бэкендов Jaeger оказались выбором из двух

Thu, 10/01/2026 - 14:01

Cloud Tracing — сервис распределённой трассировки в VK Cloud. Приложения отправляют в него спаны по протоколу OpenTelemetry, сервис хранит их и отдаёт через Jaeger-совместимое API. Поэтому трейсы можно открывать в привычных Jaeger UI и Grafana без доработок.

За этой совместимостью стоит выбор хранилища, который для публичного облака оказывается сложнее, чем кажется. Сервис принимает поток спанов от сотен несвязанных клиентов, хранит десятки терабайт телеметрии и должен надёжно изолировать данные проектов друг от друга. По умолчанию один проект может отправлять до 1 МБ/с, а доступ к данным контролируется токенами IAM. При таких ограничениях недостаточно просто выбрать базу, которая быстро записывает спаны или умеет находить трейс по trace ID.

На странице развёртывания Jaeger на момент проектирования сервиса были перечислены шесть вариантов: Cassandra, Elasticsearch, Kafka, gRPC-плагин, Badger и memory. На первый взгляд это полноценный список кандидатов. Но локальные хранилища отпадают для прода, Kafka оказывается буфером перед настоящим хранилищем, а gRPC-плагин служит способом подключить систему, которой в списке нет. В результате сравнивать приходится Cassandra и Elasticsearch, а через плагин появляется третий вариант — ClickHouse.

Я Леонид Левин, архитектор PaaS в VK Cloud. Этот разбор мы подготовили вместе с технологическим евангелистом Стасом Погоржельским и инженерами сервиса. Мы разберём, почему Cassandra и Elasticsearch по-разному подходят для хранения трейсов, что дали чужие продовые кейсы и наши замеры до 362 тысяч спанов в секунду на четырёх ядрах коллектора, а также как схема хранения на ClickHouse закрыла точечное чтение и поиск по атрибутам.

Читать далее

Под капотом Kafka: путь сообщения от send() до commit offset. Часть 2

Thu, 10/01/2026 - 14:00

Привет, Хабр! Меня зовут Максим Шуматбаев, я инженер технической поддержки в Arenadata. Это вторая часть разбора, что на самом деле происходит при работе клиентских приложений с Kafka-кластером. В первой части мы проследили запись от получения метаданных до транзакций и exactly-once. Теперь очередь второй половины пути: как потребитель получает данные, делит партиции с другими участниками группы, фиксирует прогресс и почему иногда начинает отставать.

Читать далее

AI-системный аналитик: Mindbox научили агента исследовать задачу прежде чем писать код

Thu, 10/01/2026 - 14:00

Старший фронтенд-разработчик Mindbox Игорь Уваров рассказывает, как делегировал агенту исследование задачи. Теперь агент изучает документацию и код в репозиториях, ищет зависимости и ограничения, а затем приносит вопросы к грумингу. Внутри — история о том, как создавался плагин, который заменил системного аналитика.

Читать далее

[Перевод] Оптимизация правил YARA: руководство по ускорению и точности сканирования

Thu, 10/01/2026 - 13:53

Грамотно написанные YARA-правила обеспечивают высокую скорость и точность сканирования. Однако при неправильном подходе этот полезный инструмент «легким движением руки» превращается в пожирателя CPU, особенно когда сигнатуры исчисляются десятками, а количество файлов для анализа — миллионами.

В статье приведем полезные лайфхаки, которые помогут оптимизировать правила, сократить избыточные вычисления и избежать распространенных ошибок. Для подготовки данного гайда мы использовали материалы, размещенные в открытом доступе на гитхабе. Рекомендации статьи применимы ко всем версиям YARA, начиная с 3.7 и выше. 

Всё еще пишете YARA-правила «на глазок»? Тогда мы идем к вам…

Читать далее

Как Splash ускоряет локальные LLM на Mac

Thu, 10/01/2026 - 13:39

Как Splash ускоряет локальные языковые модели на Mac? Разбираем спекулятивное декодирование DFlash 2, результаты тестов разработчиков и ограничения движка. Объясняем, что учитывать при выборе Q4 или Q8, сколько памяти и места на диске потребуется и как запустить Splash на macOS.

Читать далее

Как добавить новый сценарий в существующее Android-приложение без технического долга

Thu, 10/01/2026 - 13:36

Привет! Меня зовут Ирина, я Android-разработчик в SimbirSoft. Хочу поделиться с вами опытом разработки новых функций и рефакторинга существующих модулей Android-приложения компании «Юрент» — одного из крупнейших в России сервисов аренды электросамокатов (кикшеринга).

Добавление нового сценария (фичи) в мобильное приложение без создания технического долга — это искусство баланса между скоростью выпуска и архитектурной чистотой. С одной стороны, менеджмент требует выпустить новую фичу «еще вчера». С другой –  разработчики знают: любой новый экран или бизнес-логика, втиснутые в устаревший код без рефакторинга, завтра превратятся в источник багов и архитектурный хаос. Конечно, совсем без какого-либо техдолга вести разработку не получится, это утопия, но все-таки можно постараться свести его к управляемому техническому долгу. В нашей практике мы выделяем для этого четкий бюджет времени в спринте, чтобы новый код не превратился в «архитектурный бетон», который никто никогда не тронет. В этой статье я покажу, каких принципов разработки мы придерживались, чтобы избегать неуправляемого технического долга, и продемонстрирую эти принципы на примере задачи по добавлению промокнопки на главный экран приложения.

Материал в первую очередь ориентирован на специалистов Mobile Team Lead/ Tech Lead, так как именно им предстоит принимать архитектурные решения и защищать их перед менеджментом.

Узнать, как не множить техдолг ✅

«Альт Инфраструктура»: единая система управления распределенными ИТ-системами

Thu, 10/01/2026 - 13:30

«Альт Инфраструктура»: единая система управления распределенными ИТ-системами

«Альт Инфраструктура» — совместная разработка «Базальт СПО» и «РТК-ЦОД», позволяющая снизить совокупную стоимость владения (ТСО) на 40–60%, поддерживая до 10 тысяч управляемых объектов на одном сервере. При этом время инвентаризации может быть сокращено на 70–90 %. Платформа поддерживает удаленное управление и автоматизацию типовых операций.

Читать далее

Как я хотел откосить от работы и получил патент

Thu, 10/01/2026 - 13:30

Я в тестировании много лет. И чем дальше, тем отчетливее понимаю: наибольшая проблема не в том, чтобы найти баг, а в том, чтобы поддерживать сценарии тестирования в актуальном состоянии. Начинал я с ручных сценариев в TMS, потом были Selenium, Cypress, Playwright. Казалось, автоматизация решит проблему. Но она ее просто перекладывает. Вместо того, чтобы щелкать кейсы руками, ты пишешь код, чинишь селекторы и разбираешься, почему тест, который вчера проходил, сегодня мистическим образом падает. А на фоне вечное «надо катить в прод прямо сейчас, в идеале вчера». Тесты всегда оказываются в конце списка приоритетов: их пишут в спешке, а поддерживают по остаточному принципу, еще ладно бы свои. Обиднее, когда достаются унаследованные со времен царя Гороха, написанные другими людьми и под другую архитектуру. За годы я писал и поддерживал, наверное, тысячи тестов — ручных и автоматизированных. И все это время меня не покидало ощущение, что процесс можно сделать легче. 

В общем, устав от постоянной гонки за качеством продукта при постоянном отсутствии времени, я задумался о поиске супер-пупер-тулы, которая будет писать тесты сама (в идеале, чтобы и сама запускала). Разумеется, с ростом популярности нейросетей возник вопрос: «А что, если всю работу целиком от сценария до тестирования будет выполнять машина?». Воспользовавшись тем, что такого решения еще нет, мы с моим коллегой @JSK решили: а давайте его изобретем? Спойлер: дело закончилось патентом.

Читать далее

[Перевод] Разговор с животными — следующая этическая проблема использования ИИ

Thu, 10/01/2026 - 13:12

Биолог Витторио Бальоне всю свою карьеру одержим птицей, которая вовсе не хочет видеть его рядом. «Вы им не нравитесь, — говорит он о чёрной вороне, осторожной птице, которую считают одной из самых умных в Западной Европе. — Им не нравится ваше общество».

Тем не менее последние 30 лет Бальоне продолжает их преследовать. Будучи молодым исследователем, он изучал, как чёрные вороны выращивают птенцов и патрулируют свою территорию в поисках угроз. А в 2018 году он начал пытаться понять, что именно они говорят, прикрепив к хвостовым перьям 43 птиц крошечные микрофоны. Но когда Бальоне и Даниэла Канестрари, его жена и партнёр по исследованиям, открыли аудиофайлы, они обнаружили тысячи часов звуков, которые было трудно классифицировать: голоса самих ворон, писк птенцов, выпрашивающих еду, и даже крик их гнездового паразита — большой пёстрой кукушки. Проанализировать такой гигантский массив данных казалось почти невозможным. Тогда они обратились за помощью к искусственному интеллекту.

Это решение забросило двух биологов в футуристический мир. Они воспользовались моделью машинного обучения, разработанной Earth Species Project — организацией, называющей себя «новым рубежом межвидового взаимопонимания». Модель могла различать звуки, издаваемые птицей с микрофоном, другими воронами рядом и совершенно посторонними источниками. Больше всего Бальоне понравился тихий короткий звук, который вороны издавали, когда на их гнездо нападал канюк. После него неизменно прилетали другие птицы, чтобы защищать гнездо, поэтому Бальоне интерпретировал сигнал примерно как: «Эй! На помощь!» Сегодня у Бальоне и Канестрари есть огромный каталог из 150 000 записей, один из крупнейших существующих массивов данных о птицах.

Читать далее

# The HackNet — платформа непрерывной практики кибербезопасности, где ИИ каждый день создает свежие CTF-задачи

Thu, 10/01/2026 - 13:08

Как студенческая команда МФТИ собрала AI-пайплайн, который генерирует верифицированные CTF-задачи на основе реальных уязвимостей — и довела продукт до запущенного MVP с 1400+ пользователями. 



The HackNet — это онлайн-платформа для практики кибербезопасности в формате CTF (Capture the Flag), в которой задачи не пишутся вручную, а непрерывно генерируются ИИ на основе свежих уязвимостей из баз CVE/NVD. В отличие от тренажеров со статичным набором задач, The HackNet каждый день выкладывает новые задания, основанные на актуальных уязвимостях из CVE/NVD. 

Проект вырос из формата «Стартап как диплом» онлайн-магистратур МФТИ (направления «Управление цифровыми продуктами» и «Науки о данных»). За время работы команда прошла путь от гипотезы и кастдева до запущенного MVP, получила грант Фонда содействия инновациям на 1 млн рублей, зарегистрировала ООО и получила оценку «отлично» от внешних рецензентов из МИСИС, Фонда «Сколково» и индустрии.

Продукт уже доступен: [hacknet.tech]

Читать далее

Китайские GPU — две новинки, которые стоит рассмотреть в паре

Thu, 10/01/2026 - 13:01

За последние несколько дней Huawei и Alibaba практически одновременно представили новое железо для ИИ. Huawei — 17 сентября на HUAWEI CONNECT 2026 в Шанхае, Alibaba — 22 сентября на Apsara Conference в Ханчжоу. Это разные китайские компании с разными стратегиями, но если сопоставить их анонсы, то вырисовывается некая общая логика. Китайская GPU-индустрия не пытается повторить архитектуру NVIDIA. Вместо этого она начинает создавать собственные решения проблемы «как связать тысячи чипов», когда доступ к западным технологиям ограничен. Подробности — под катом.

Читать далее

Эксперименты с Радиантом: память агента против окна в миллион токенов

Thu, 10/01/2026 - 13:00

Проверил, найдёт ли агент Коворк в рабочей переписке сообщения возрастом до пяти лет. 
Память Радианта нашла 15 из 15, хотя даже окно на миллион токенов вмещает переписку только за последние четыре месяца.

Читать далее

Мы обновили Spring Boot до 4. Вот что сломалось

Thu, 10/01/2026 - 13:00

Это наш опыт миграции со Spring Boot 3.5.12 и Spring Cloud 2025.0.1 на Boot 4.0.6 и Spring Cloud 2025.1.x в большом коммерческом проекте, дополненный ссылками на официальные изменения Boot 4. В спорных местах ссылки стоят прямо в тексте, а в конце есть раздел «Источники».

Читать далее

Спустя 5 лет я снова пишу Всеросс — часть 2

Thu, 10/01/2026 - 13:00

Привет, Хабр! На связи финалист ICPC и гроссмейстер Codeforces MachineSolution. Также напомню, что я продолжаю рассказывать о своей подготовке и соревнованиях в Telegram-канале Machine Solution. Иногда я также беру учеников на индивидуальные занятия. Если вам понравились мои статьи и хочется прокачаться в спортивном программировании — пишите мне, обсудим.

Это вторая часть истории о том, как спустя пять лет после своего школьного Всеросса я решил написать зеркало заключительного этапа ВсОШ по информатике 2026 года. Первую часть можно прочитать здесь. Там я подробнее рассказал о формате олимпиады, стратегии набора баллов и о том, как прошёл мой первый день.

Читать далее

C++: пишем свою std::function

Thu, 10/01/2026 - 12:47

В этой статье я хочу погрузиться (и погрузить читателя) в дебри C++ на примере написания собственной std::function.

Почему std::function? Потому что реализацияstd::function, внезапно, затрагивает большое количество продвинутых техник и нюансов языка, и все они достаточно любопытны для пытливого плюсовика.

Читать далее

Калькулятор трудозатрат SOC или как защитить свой FTE

Thu, 10/01/2026 - 12:41

Привет, Хабр! В прошлой статье мы разбирались, почему «Mean Time» метрики в отрыве от контроля качества превращают SOC в дорогой автокликер и как мы пересобрали еженедельную отчетность, внедрив контроль качества.
В конце статьи я обещал рассказать о калькуляторе трудозатрат SOC. Инструмент готов, и теперь можно перейти от общих рассуждений к цифрам.

Сегодня поговорим о проблеме, которая обсуждается заметно реже, чем SLA, MTTD и MTTR, но напрямую влияет и на эти показатели, и на устойчивость команды. Это управление загрузкой SOC: понимание того, сколько работы действительно выполняет команда, сколько ресурса у неё осталось и можно ли безболезненно взять на себя ещё одну функцию.

Отдельно разберём, как перегрузка приводит к выгоранию аналитиков первой линии, почему «все заняты» – плохой аргумент в разговоре с руководством и как перевести этот разговор на язык часов, FTE и управляемых сценариев.

Читать далее

Вжух, и кольцо платит: как работает бесконтактная оплата умным кольцом Сбер

Thu, 10/01/2026 - 12:32

Салют, Хабр!

Когда мы разработали умное кольцо Сбер и рассказали о нём на Хабре (и не только), комментаторы регулярно спрашивали:

— А платить им можно? Почему нет?!

Докладываем: уже можно — теперь это первое в России умное кольцо, которое и отслеживает показатели организма, и обладает функцией бесконтактной оплаты по bluetooth. Меня зовут Сергей, я главный инженер по разработке; расскажу, как реализовали проект.

Читать далее

«Сейчас сроки получения патента были просто реактивными». Интервью с CEO Интеллитеха об участии в программе МИКа

Thu, 10/01/2026 - 12:21

Антон Бурлаков — гендиректор ООО «Интеллитех». Его компания недавно воспользовалась программой Московского Инновационного Кластера и всего за месяц получила патент на полезную модель. О том, как патенты помогают в бизнесе, процессе подготовки заявки и многом другом Антон рассказ Павлу Соколову, главному редактору журнала Онлайн Патент.

Читать далее

Где на самом деле живут знания компании: 8 видов корпоративного знания

Thu, 10/01/2026 - 12:21

У любой компании как и у человека есть память. В бизнесе это называется корпоративным знанием. Однако неверно думать, что знания – это что-то зафиксированное в документах. На самом деле большая их часть скрыта в решениях, принятых интуитивно, негласных договоренностях команды, и понимании, когда правило лучше обойти.

Читать далее

Who's online

There are currently 0 users and 12 guests online.