Habr.com

Syndicate content Хабр
Все публикации подряд на Хабре
Updated: 1 hour 57 min ago

Вычисление функции потерь и градиентов в AI переводчике

Wed, 06/11/2025 - 20:41

Привет, Хабр!

Меня зовут Алексей Рудак, я основатель компании Lingvanex, которая разрабатывает решения в области машинного перевода и транскрипции речи. Продолжаю цикл статей о том, как устроен переводчик на нейронных сетях изнутри. И сейчас хочу рассказать про работу функции потерь. Для тренировки модели используется opensource фреймворк OpenNMT-tf.

Статья предоставляет всесторонний обзор вычисления функции потерь в машинном обучении, особенно в контексте моделей последовательностей. Она начинается с подробного описания того, как матрица логитов, генерируемая после преобразований в декодере, обрабатывается через функцию cross_entropy_sequence_loss. Эта функция играет ключевую роль в измерении расхождения между предсказанными выводами и фактическими метками. В статье описаны шаги, включая преобразование логитов в подходящий формат, применение сглаживания меток для создания сглаженных меток и вычисление кросс-энтропийных потерь с использованием softmax. Каждый этап подробно объясняется, чтобы было понятно, как каждый компонент вносит вклад в общую оценку потерь.

Кроме вычисления потерь, статья рассматривает механизм выравнивания, используемый для улучшения работы модели. Описано, как значение потерь корректируется на основе направляемого выравнивания, что позволяет модели лучше учитывать взаимосвязи между исходными и целевыми последовательностями. Также подробно рассматривается процесс вычисления и применения градиентов, иллюстрируя, как оптимизатор обновляет веса модели для минимизации потерь.

Читать далее

TUI-интерфейсы не обязаны быть болью. Я написал свой с мышкой

Wed, 06/11/2025 - 20:41

Я давно пишу на Go, но раньше у меня был довольно плотный опыт во фронтенде. Поэтому, когда я захожу в терминальные интерфейсы, я всё ещё ожидаю какого-то базового UX — чтобы было понятно, что происходит, что можно нажимать, и что именно ты сейчас делаешь.

Но каждый раз, когда мне нужно было поработать с TUI — особенно в задачах, я чувствовал, как мой мозг вытекает через уши.

Читать далее

Продакт-плейсмент или как навязали идеи и привычки целым поколениям

Wed, 06/11/2025 - 20:37

Наши привычки в кино являются неотъемлемой частью образов персонажей. В этой статье мы рассмотрим несколько видов “адамовых яблок” прямо как в "Матрице": ты думаешь, что ты выбрал, потому что захотел, но на самом деле выбор уже был сделан за тебя. Самое интересное, что подавляющее большинство людей даже не замечают, что это влияние пришло из кино и сериалов, но где-то в подсознании уже записалось...

Читать далее

Earcut на битах

Wed, 06/11/2025 - 19:31

Earcut - базовый, почти учебный алгоритм триангуляции, но при некоторых раскладах он обгоняет более "продвинутые" решения.

Ампутировать

Производство косметики: как мы ушли от контрактного и открыли свое

Wed, 06/11/2025 - 19:00

За 10 лет в бизнесе мы пробовали все — розничные продажи, маркетплейсы, контрактное производство. Мы закрыли розничные магазины, чтобы открыть свое производство косметики. В статье: как мы работаем с негативными отзывами, почему региональные СМИ пишут о нас бесплатно и какие проблемы мы увидели в контрактном производстве косметики

DIY: Делаем тупой кондиционер умным и управляем им через телеграм бот

Wed, 06/11/2025 - 18:42

Наступило лето, а вместе с ним и жара. И вот тут-то и приходит на помощь кондиционер. Но что делать, если у вас нет умного кондиционера, а обычный кондиционер не позволяет управлять им удаленно? Ответ прост: сделать его умным своими руками!

Устали вставать ночью, чтобы выключить кондиционер? Или хотите управлять им из другой комнаты? Тогда это руководство для вас!

Читать далее

Никто не читает старые статьи… базу, так сказать, основу…

Wed, 06/11/2025 - 18:40

Много авторов так или иначе рассказывают о статьях в ML-сообществе, но большинство из них популярны, потому что являются хорошими опытными специалистами, а значит в своё время прошли все базовые статьи и могут себе позволить рассказывать только о новинках в сообществе. Что же делать молодым специалистам, которые действительно хотят разобраться, но ещё не читали ту самую базу?.. так сказать, основу...

Для себя и, надеюсь, кого-то ещё, я предлагаю эти три разбора, на мой взгляд, основополагающих статей мира ML. Приятного прочтения.

Читать далее

Как расширенные статистики помогли раскрыть неочевидную аномалию в VACUUM PostgreSQL

Wed, 06/11/2025 - 18:40

Эксперт Postgres Professional Андрей Зубков «нырнул» в глубины VACUUM и выяснил, что детализированная статистика может выявить глубинные проблемы, которые критически влияют на производительность. Расскажем о том, что скрывалось в глубине PostgreSQL

Читать далее

Как настроить мониторинг, чтобы не проспать проблему

Wed, 06/11/2025 - 18:35

Все мы с этим сталкивались: вроде бы сервис работает, графики зелёные, ресурсы свободны — а пользователи всё равно жалуются. Открываешь мониторинг — CPU в порядке, память не забита, места на диске полно. А люди продолжают писать: «У вас тормозит». Знакомо?
Давайте разберёмся, как настроить мониторинг так, чтобы проблемы ловились сразу — ещё до того, как начнут ломиться сообщения в поддержку.

Читать далее

Новая фича в Java 21: Виртуальные потоки: новые возможности для I/O bound микросервисов

Wed, 06/11/2025 - 18:12

Привет, Хабр! Я Иван Попов, ведущий инженер ЦК платформенных и интеграционных решений РСХБ-Интех. Java — мой самый любимый язык программирования, я всю жизнь работал только на нём. Сейчас я работаю в банке и хочу разрушить стереотип  о том, что в банках все работают на Vegas. На java мы очень много работаем, тем более если видим, что новая технология позволяет нам оптимизировать процессы разработки (а количество интеграций огромное). 

Расскажу о новой фиче виртуальных потоков в Java 21, которая призвана повысить эффективность многопоточного кода.  

Читать далее

DRF captcha своими руками

Wed, 06/11/2025 - 18:10

Пришла мне тут по работе задача сделать возможность добавления товара в корзину пользователем без авторизации. Корзина, причем должна храниться на бэке для того, чтобы можно было проводить аналитику по неоформленным заказам, а также, если пользователь авторизуется, то добавлять эту корзину к его профилю для доступности ее с любых других устройств, на которых он (пользователь авторизован).
Ясное дело, что для корзины одного пользователя в сеансе оформления заказа нужен уникальный идентификатор, по которому можно определить в какую “корзину” поместить товар.

Так как на проекте мы использует REST подход к проектированию API, я подумал, что можно генерировать uuid ключ на клиенте и передавать его при каждом запросе добавления товара в корзину.

Да, все бы хорошо, но возникает потенциальная проблема паразитных запросов от недоброжелателей. Да, безусловно, есть куча всяких способов защититься от троттлинга, но все это кажется мне в этой ситуации не совсем уместным. Поэтому, я решил, что лучше уникальный идентификатор генерировать на бэкенде, а выдавать его при прохождении CAPTCHA.

Читать далее

Стратегический анализ развития системы образования России

Wed, 06/11/2025 - 18:04

Cтратегический аналитический документ, в котором подробно рассмотрен феномен советского образования, его отличие от современной российской, европейской и американской систем, секреты успеха инженерного образования СССР. Исследование включает поэтапную стратегию модернизации образования в России с применением как лучших мировых практик, так и успешного наследия СССР. Особое внимание уделено:

Читать далее

10 лет развиваем свою компанию. Как мы доросли от сайтов за $60 до своих продуктов и запусков стартапов на заказ

Wed, 06/11/2025 - 18:03

Сегодня мы запускаем b2b-продукты, MVP стартапов, свои SaaS-решения, систему управления ИТ-компанией и развиваем собственную продуктовую экосистему.

Путь был не линейным, не всегда прибыльным, но по-своему очень честным.

И — нашим.

Читать далее

[Перевод] Реверс-инжиниринг индикатора воздушной скорости 1977 года

Wed, 06/11/2025 - 18:01

Как работает старый индикатор воздушной скорости? CuriousMarc приобрёл такое устройство для своего проекта, но при нём не было документации, поэтому я выполнил его реверс-инжиниринг. Этот индикатор использовался в панелях кокпитов таких самолётов бизнес-класса, как Gulfstream G-III, Cessna Citation и Bombardier Challenger CL600. Судя по датам на транзисторах, он был изготовлен примерно в 1977 году.

Можно было бы ожидать, что индикаторы на панели управления самолётом — это простые круговые шкалы. Но за этой шкалой спрятана большая коробка массой 1,27 килограмма со сложной системой двигателей, шестерён и потенциометров обратной связи, управляемой двумя электронными платами. Но при всей этой сложности, в индикаторе нет ничего особо «умного»: стрелки просто указывают напряжение, передаваемое от вычислителя воздушных параметров. В этом посте я вкратце опишу свои находки.

Читать далее

Запрет мессенджеров и маркировка звонков: как закон против кибермошенников повлияет на бизнес и клиентов

Wed, 06/11/2025 - 18:00

С 1 июня 2025 года в России вступает в силу новая система противодействия цифровому мошенничеству. Федеральный закон № 41-ФЗ от 01.04.2025 вводит ряд важных нововведений: теперь все телефонные звонки подлежат обязательной маркировке, а для рассылок и уведомлений нельзя использовать зарубежные мессенджеры.

Эксперты click.ru разобрали основные изменения, которые могут повлиять на бизнес, и дали рекомендации, как к ним подготовиться.

Читать далее

Побеждаем топливные махинации с помощью облачной логики

Wed, 06/11/2025 - 17:54

Интересной историей поделились разработчики из Exzotron Technology, когда реализовали пилотный проект для логистических центров одного из маркетплейсов. Решаем здесь стандартную проблему – кражу топлива с помощью новых подходов. Проект показал, что иногда стоит принципиально изменить систему, а не улучшать старое. Здесь наглядно видно, что локальные оптимизации не дали бы нужного эффекта.

Для начала давайте разберемся, как все устроено.
Дано: выдача топлива происходит по QR-кодам. Процесс автоматизирован, и вся инфа передается через терминалы спутникового мониторинга на автомобилях. Но недобросовестные водители смекнули, что можно использовать один код на нескольких заправках одновременно. Как итог – несанкционированный расход топлива.

Очевидная проблема: каждый терминал автономно принимал решение о выдаче топлива. Поэтому насущная задача – настроить централизованную онлайн-выдачу топлива.

Решение: облачный «диспетчер» вместо локальной логики

Выбран путь радикального рефакторинга с выносом всей логики в облако вместо терминалов.

Инженеры разработали ПО, которое позволяет терминалам спутникового мониторинга передавать данные на сервер в режиме онлайн. Теперь принятие решения о выдаче топлива происходит не на конкретном терминале, а в облаке.

Читать далее

Голдратты. Выбор. Правила Голдратта (конспект книги)

Wed, 06/11/2025 - 17:48

“Всё проще, чем кажется” — книга предлагает нам взглянуть на сложные проблемы с простой стороны, побеждая кажущуюся запутанность в бизнесе, отношениях и других сторонах жизни через ясное мышление и понимание причинно-следственных связей.

Ниже обзор основных мыслей и инструментов...

Читать далее

[Перевод] 3D-стриминг без лишнего: прорыв в передаче AR/VR-контента

Wed, 06/11/2025 - 17:41

Новая технология, разработанная в NYU Tandon School of Engineering, способна коренным образом изменить опыт пользователей в среде виртуальной и дополненной реальности. Метод позволяет напрямую предсказывать, что будет видно пользователю в 3D-сцене — без необходимости передавать весь объём данных. Это даёт экономию трафика до семикратной по сравнению с традиционными подходами.

Результаты были представлены 1 апреля 2025 года на 16-й конференции ACM по мультимедийным системами уже находят применение в рамках проекта по обучению танцу с использованием 3D-видео — при поддержке Национального научного фонда США (NSF).

Читать далее

Как выстроить работу с фичами в мобильной разработке — и не плакать

Wed, 06/11/2025 - 17:40

Как выстроить работу с фичами в мобильной разработке и не сойти с ума — простое руководство, чтобы наконец перестать бегать за командой и начать создавать рабочие продукты без хаоса и выгорания.

Читать далее

Как мы перерабатывали подход к фичам от клиентов

Wed, 06/11/2025 - 17:21

Когда ты создаешь продукт для консервативной отрасли, которая не использовала ничего, кроме Excel и 1С, приходится бороться с возражениями и идти на компромиссы. Брать больше доработок, чтобы выстоять на рынке и наладить контакт с клиентами, а затем перестраивать и собственные процессы. 

Привет, Хабр. Меня зовут Алексей Сердюков, уже больше пяти лет я PM «Синтеки», а по совместительству строю процессы и управляю командой. Мы занимаемся разработкой сервисов для строительных компаний. В статье хочу рассказать об изменениях в системе отбора тикетов от клиентов: как было раньше и к чему пришли. Наш подход помог сохранить клиентов на ранних этапах развития продукта и реализовывать задачи без лишней нагрузки на команду.  Надеюсь, опыт будет полезен в сферах, где без лояльности к фичам не выстоять, и поможет сориентироваться, как определить, стоит ли тикет усилий.  

Читать далее

Who's online

There are currently 0 users and 11 guests online.