Kurgan-Telecom Ru | Информационные технологии

В недавней статье про Закон больших чисел мы оценивали вероятность больших отклонений с помощью неравенства Чебышёва. Для тысячи бросков монетки оно даёт границу 2,5% для отклонения в 100 и более орлов. Мне стало интересно, насколько это близко к правде.

Я написал симуляцию и проверил — сначала на сотне прогонов, потом на тысяче, потом на ста тысячах. Ни одного такого исхода. Реальная вероятность оказалась меньше 5 ⋅  10⁹ — катастрофически меньше, чем 2,5% из оценки Чебышёва. Именно это стало поводом для написания статьи.

Мы хотим понять, как связано число испытаний, отклонение и вероятность. Если зафиксировать отклонение, какова вероятность его превышения? Если зафиксировать вероятность, каким должно быть допустимое отклонение? И, наконец, если заданы и вероятность, и отклонение, то сколько испытаний нужно провести, чтобы с заданной вероятностью уложиться в эти рамки?

В этой статье мы начнём с эксперимента и дойдём до строгой экспоненциальной оценки, которая работает для любого числа испытаний. По дороге докажем оценку Чернова и выведем частный случай неравенства Хёффдинга и разберём, как они устроены.

Такие оценки широко используются в прикладной математике. Нам важно заранее знать, сколько испытаний провести, чтобы с частота с заданной точностью приблизилась к истинной вероятности события.

Например, для расчёта необходимого числа наблюдений, достаточных чтобы с заданной вероятностью обнаружить статистически значимое отклонение. Зная допустимую вероятность ошибки и величину эффекта, можно заранее понять, сколько данных нужно собрать, чтобы выводы были обоснованными.

Разница между прогнозами, которые дают неравенство Чебышёва и экспоненциальные оценки, может быть колоссальной!

Неопределенность – вот так, одним словом, можно охарактеризовать состояние как экономики, так и бизнеса сейчас в России. Это вызывает у многих тревогу, потому что бьёт на самую главную потребность человека – Безопасность.

И тут важно помнить, что наличие понятной, четкой картины будущего – это не просто блажь для бизнеса, а будущее определяет наши действия в настоящем. Но как представить картину будущего, когда все так непредсказуемо и запутано?

Для нас в России это не впервой, мы проходили уже через подобный период в 90-е. Тогда бизнес был еще молодым и неопытным, поэтому и выбрал неверный вариант, сейчас у нас есть шанс закрыть этот гештальт, решив ситуацию по-взрослому, по-деловому, выбрав стратегический подход, вместо тактического. В 90-е и начале 2000-х, когда была похожая ситуация неопределенности, российский бизнес решил вообще отказаться от выработки долгосрочной стратегии, и планирование было максимум на 2-3 года.

И такая практика считалась правильной настолько, что даже сейчас многие российские компании не имеют понимания, что стратегия – это не на 5 лет, а на условные 100 лет, то есть она должна быть направлением развития, а конкретными цифрами. Но цифры успокаивают намного лучше, чем направление развития, поэтому в целях деятельности некоторые компании пишут, что наша основная цель быть прибыльной компанией и иметь коммерческий успех, забывая, что материальная прибыль – это только средство достижения стратегической цели, но не смысл деятельности бизнеса. При этом коммерческий успех сам по себе может быть не только не полезным для бизнеса, но и очень вредным, если он не связан со стратегической целью.

Белые карлики — это останки звёзд главной последовательности (наше Солнце тоже принадлежит к этой группе звёзд), у которых закончился водород. Их жизнь с термоядерным синтезом подошла к концу, но они будут излучать остаточное тепло ещё триллионы лет. А их продолжительность жизни превышает текущий возраст Вселенной.

Белые карлики — интереснейшие объекты по нескольким причинам. Около 97% звёзд становятся белыми карликами, поэтому они могут многое рассказать нам об эволюции звёзд. Поскольку они остывают с предсказуемой скоростью, и служат своеобразными «хранителями времени», помогая астрономам определять возраст звёздных скоплений, в которых они находятся. Кроме того, иногда они взрываются как сверхновые типа 1a, которые уже являются стандартными свечами на лестнице космических расстояний. И, наконец, это экстремальные объекты, позволяющие астрофизикам проверять такие вещи, как теория квантовой механики.

В процессе разработки RAG-системы для обработки видеоконтента передо мной встала задача генерации качественных описаний для большого объема видео-клипов с использованием мультимодальных языковых моделей. Клипы имели продолжительность около 10 секунд, в отдельных экспериментах мы тестировали материал длиной в несколько десятков секунд. Финальные описания составляли от 300 до 2000 токенов и после генерации разбивались на чанки для индексации в векторной базе данных. При тестировании различных подходов обнаружились значительные различия в скорости и качестве обработки. Компактные модели, работающие с отдельными кадрами изображений (Phi, DeepSeekVL2, Moondream), демонстрировали существенно более высокую скорость по сравнению с моделями полноценной обработки видео, однако качество генерируемых описаний оставляло желать лучшего. Типичный workflow включал конкатенацию описаний отдельных кадров, при этом в DeepSeekVL2 дополнительно использовался system prompt для более интеллигентного объединения результатов анализа кадров. Модели для обработки изображений стабильно укладывались в временные рамки 3-5 секунд на клип, что значительно быстрее требуемого лимита. Полноценные видео-модели, получающие на вход целые видеоклипы, изначально генерировали описания за 30 секунд на vanilla PyTorch. Применение VLLM ускорило процесс до 12-15 секунд, а SGLang позволил достичь целевых 8-10 секунд на клип. Эти временные рамки позволили настроить обработку на кластере из 20 RTX 4090 и сгенерировать около миллиона описаний за месяц для production-системы. Благодаря применению различных техник оптимизации инференса удалось не только достичь поставленных временных целей, но и существенно превзойти их, завершив генерацию необходимого объема описаний за две недели вместо месяца. Система успешно развернута в продакшене и демонстрирует стабильную производительность. Данная статья представляет систематизированный анализ практического опыта оптимизации инференса мультимодальных LLM, полученного в ходе решения реальной production-задачи. Особое внимание уделяется сравнению эффективности различных подходов к ускорению, включая современные специализированные фреймворки VLLM и SGLang, а также аппаратные оптимизации на базе TensorRT.

Сегодня «продакт» — модный ярлык, который навешивают на самых разных специалистов: от бывших аналитиков до маркетологов. Но откуда вообще взялась эта профессия, зачем она понадобилась IT-компаниям и как трансформировалась за последние десятилетия? 

Давайте разбираться! Почему всё началось с бренд-менеджмента в P&G, как Microsoft вывела на сцену своих «менеджеров программ», и как появился культ «продакта-хаба» — связующего звена между пользователями, бизнесом и разработкой. Спойлер: роль продакта — это не про контроль, а про постоянный конфликт и баланс интересов.

Хабравчане, вопрос: а чем вы занимались прежде чем попасть в IT? Сразу попали в эту сферу, начиная с техвуза, или, может, несколько раз кардинально меняли род деятельности? (Это нативный призыв написать свою историю в комментариях, если что :)). За последние годы гибкость в переходе в индустрию стала уже настоящим мемом (хейтерам онлайн-курсов приготовиться).

Например, в «МойОфис» спецов с нетипичным бэкграундом не так уж и мало: тут и кардиологи, и спортивные тренеры, и даже детские воспитатели!

Мы пообщались с некоторыми из них и убедились: профессиональный (и не только) бэкграунд, вне зависимости от его сути, может влиять на рабочие процессы и позволяет по-другому посмотреть на свои задачи.

Дисклеймер для тех, кто не смотрел «Друзей»

Моника Геллер — персонаж культового ситкома 90-х, безумно одержимая порядком. Её чек-листы для чек-листов, лейблы на лейблах и фетиш сортировки по цвету и размеру превратили её в мем про педантизм. Но именно Моника в сериале всегда вытаскивала друзей из провалов: когда нужно было за 3 часа организовать свадьбу, найти документы за 5 лет или просто понять, кто последний брал фондюшницу.

В реальной жизни мы живём не в квартире с purple дверью, но законы Моники работают лучше любого скрам-майнд-сета.

На днях вдохновился видосом некоего шведского блогера, популярного в широких кругах, который решил, что слишком сильно зависит от жадных ублюдков капиталистов, засевших в последнее время в Google. Конечно, идея отказаться от всей проприетарщины в пользу опенсорса беспокоила меня и без шведского чувака, но подумалось, раз уж и этот парень это понял, то я уже слишком долго сомневаюсь. Дело в том, что чел в не айтишник в узком смысле. Да, геймер, да в технике, наверное, разбирается. Но что бы вот так?

Увольнение сотрудника из «Рутуба» стало одной из самых обсуждаемых тем в профессиональном сообществе. За неделю новость разлетелась настолько далеко, что моя подруга из Канады прислала соответствующий паблик из соцсетй с вопросом: «Что думаешь?».

Оставим за скобками «волков» и этичность решения менеджера «Газпром Медиа» - это всё уже разобрали в других блогах.

Предлагаю обсудить формулировку причины увольнения - «несколько работ незаконным способом» - и феномен «многоработничества» на примере Канады и России.

Привет, Хабр.

Сегодня разбираем COPY в PostgreSQL. Это рабочая лошадка для массовой загрузки и выгрузки данных.

В поиске решения сложной задачи, часто помогает определённая организованность. Например, вы можете разбить задачу на части и сначала решить самые простые. Но такая сортировка имеет свою цену. В итоге вы можете потратить слишком много времени на то, чтобы расставить части по порядку.

Эта дилемма особенно актуальна для одной из самых знаковых проблем в информатике: поиска кратчайшего пути от определённой начальной точки сети до всех остальных точек. Это похоже на усовершенствованную версию задачи, которую приходится решать при каждом переезде: поиск оптимального маршрута от нового дома до работы, спортзала и супермаркета.

"Кратчайший путь — это прекрасная задача, которую может понять любой человек в мире», — говорит Миккель Торуп, специалист по информатике из Университета Копенгагена.

Для четвероклассника Скретч может стать отличным инструментом для погружения в основы программирования в максимально простой форме: среда позволяет писать код блоками с текстовыми командами, а еще – рисовать, работать со звуковыми эффектами, создавать мини-игры, анимацию и не только.

Благодаря такой универсальности и наличию инструментов для творчества обучение детей Scratch в 4-м классе становится результативным и эффективным процессом: у ребенка удастся сформировать понимание основ программирования и даже разработки игр.

Всем привет. Сегодня хочу затронуть тему матана, чтобы показать как его можно применять на реальных задачах. Думаю каждый, кто учил матан часто задавался вопросами: «Где это вообще пригодится?», «Зачем это нужно?», «Как это может помочь?» и т. д. Так вот, чтобы эти вопросы отпали раз и навсегда предлагаю свой топ-5 алгоритмов из курса матана с конкретными примерами их применения в работе.

Влияние искусственного интеллекта на финансовые рынки США очевидно. Nvidia Corp.— самая дорогая компания в мире, её капитализация составляет почти 4,5 триллиона долларов. Стартапы, от OpenAI до Anthropic, привлекли десятки миллиардов долларов.

Однако у новой технологии есть и обратная сторона, на которую инвесторы всё чаще обращают внимание: она грозит перевернуть ситуацию в целых отраслях так же, как это сделал интернет. Как пишет Bloomberg, инвесторы начали делать ставки на то, где именно произойдёт этот переворот, избавляясь от акций компаний, которые, по мнению некоторых стратегов, столкнутся с падением спроса по мере внедрения ИИ.

Ты берешь топор или винтовку и идешь месить врагов в компании своих друзей.  

Сегодня ты можешь заниматься этим, не выходя из дома. 

Тогда почему компьютеры продолжают сдавать в аренду, а компьютерные клубы открываются по всей стране? 

А главное. 

Как на этом заработать? 

Всем привет! Часто ли вы опечатываетесь во время работы в терминале? Уверен, что каждый хоть раз забывал sudo или вместо cd писал cs. Как-то раз увидел алиас fuck для добавления sudo к предыдущей команде. Я заинтересовался и начал копать.

Исходя из моего 14 летнего опыта, большинство мечтает найти волшебную таблетку, которая поможет им решать их рабочие задачи. Вместо того, чтобы выучить базовые и необходимые знания, чтобы не испытывать сложностей в работе. 

Предлагаю сегодня посмотреть на живом примере и понять могут ли нейросети заменить аналитиков?

В последние пару лет в Испании происходит важный экономический разворот. Ещё недавно экономику тянули вверх экспорт и государственные расходы. Теперь локомотивы — внутренний спрос и инвестиции.

Причин здесь несколько: рекордный рост занятости населения, снижение ставок, а также заметный демографический рост за счет приток мигрантов. К концу 2026 года население Испании превысит 50 миллионов человек. Уже сейчас разрешений на новое строительство выдается больше,.чем за последние 16 лет.

Почему Испания растет, а другие страны нет?

Создайте свою версию легендарного «Сапёра» на Python. В этом пошаговом руководстве вы освоите всё: от создания игрового поля до управления флагами и проверки победы. Неважно, новичок вы или опытный программист — это увлекательное приключение поможет вам прокачать навыки. Начните программировать и играть с собственным «Сапёром» уже сегодня.

С каждым днем команда RedKrab разрабатывает все больше проектов на базе ИИ. Ввиду того, что основная сфера студии - это промышленность и производство, то всё чаще приходят обращения от заводов и предприятий за помощью в внедрении сложных ИИ-систем.

Один из крупных заводов по производству деталей для конвейерного оборудования обратился с проблемой - совсем небольшое отклонение в доли миллиметра могло привести к браку, претензиям со стороны клиентов и остановке всей производственной линии. Ручной контроль, даже силами опытных специалистов, все чаще пропускал дефекты. Усталость, рутина и скорость работы мешали поддерживать качество. Технолог завода сообщил о том, что проверка происходит выборочно, но этого недостаточно. Если будут пропуски, то это приведет к затяжным разбирательствам, убыткам и потере доверия. С нашей стороны было предложено решение - сделать контроль непрерывным, быстрым и точным. Так стартовал проект по разработке ИИ-системы для завода по производству деталей механообработки.

Идея полностью автоматизированного контроля без снижения скорости производства раньше звучала как фантастика. Сейчас на помощь приходит искусственный интеллект. ИИ трансформирует процесс проектирования, предлагая революционные возможности там, где традиционные методы уже не справляются.

Наша команда разработала для клиента систему, которая выполняет конкретные функции: обнаруживает дефекты, анализирует причины и предотвращает их появление. За несколько секунд после обработки детали она проходит через четыре этапа проверки: визуальный анализ, измерение параметров, сравнение с эталонами и принятие решения. Каждый этап приближает производство к идеальному качеству. Система, разработанная для нашего клиента, использует методы компьютерного зрения для измерения геометрических параметров деталей и определения дефектов.