Feed aggregator

[Перевод] Оптимизация поисковых систем: баланс между скоростью, релевантностью и масштабируемостью

Habr.com - Tue, 08/05/2025 - 16:11

Будучи разработчиками, мы постоянно стремимся создавать системы, которые не просто работают, но и отличаются эффективностью и масштабируемостью. В мире, где пользователи ожидают всё более быстрые и точные результаты, оптимизация производительности поиска становится ключевым приоритетом в современной разработке приложений.

Эта статья основана на нашем выступлении на конференции QCon San Francisco 2024, где мы рассмотрели эволюцию подходов к индексированию данных, их извлечению и ранжированию. Для платформ вроде Uber Eats, обрабатывающих сложные запросы на больших объёмах данных, оптимизация поиска — это серьёзный вызов, требующий продвинутых стратегий: индексирования, шардинга и параллельной обработки запросов.

Сложность поисковых систем продолжает расти, и необходимость соблюдения баланса между скоростью, релевантностью и масштабируемостью становится как никогда актуальной. В этой статье мы рассматриваем ключевые техники таких оптимизаций и их влияние на пользовательский опыт и производительность системы.

Читать далее

Большой интернет сломан

Habr.com - Tue, 08/05/2025 - 16:08

Этот пост - первая часть в серии, где я хочу разобраться, сможет ли новая волна технологий починить сломанный интернет. Пост начался с простого вопроса к себе: почему я так сильно хочу, чтобы искусственный интеллект разрушил текущий порядок в IT-индустрии?

Кажется, потому что Бигтех гиганты превратились в неповоротливых монополистов, от которых все устали. В этой части я решил сформулировать, что именно не так, и по полочкам разложил свои претензии к пяти главным компаниям: Google, Meta, Apple, Microsoft и Amazon. Думаю, полезно взглянуть на всю картину целиком, прежде чем искать ответ на главный вопрос.

Есть ли у нас реальный шанс на прекрасный интернет будущего?

Читать далее

Палеошпион юрского периода

Habr.com - Tue, 08/05/2025 - 16:05

В 2009 году на стройке под Нирштайном после взрыва породы нашли разбросанные фрагменты окаменелостей. Палеонтологи начали собирать пазл. У одного из них десять лет спустя получилось. Оказалось, что это не кусок очередного ихтиозавра, а редкий фрагмент со странной формой края.

На первый взгляд — просто анатомическая особенность.

Дальше включились методы: сканирование, томография, моделирование потоков. Кости прогнали через микротомограф, мягкие ткани рассмотрели под электронным микроскопом, а форму виртуально протестировали в CFD-софте.

Учёные смотрели под разными углами.

Но чем дальше смотрели, тем больше вопросов возникало.

Читать далее

Как мы учили нейросеть отвечать на вопросы

Habr.com - Tue, 08/05/2025 - 16:01

Привет, Хабр! На связи Денис Романов, директор департамента Professional Services компании «Базис». Яркое появление китайских языковых моделей заставило нас по-новому посмотреть на возможности нейросетей, и вот уже несколько месяцев мы активно внедряем их в рабочие процессы — от автоматизации рутинных задач до поддержки клиентов.

Скрещиваем Elasticsearch, Ollama и QWen

QA сегодня: кто такие тестировщики и как им расти в профессии

Habr.com - Tue, 08/05/2025 - 16:00

Меня зовут Александр, я руковожу тестированием в нескольких продуктовых командах в компании SM Lab.

О чём эта статья? Речь пойдёт о тестировщиках: какие они бывают, в каком направлении могут развиваться, какие уровни тестирования существуют у нас в компании. Расскажу, как можно расти внутри профессии и какие есть пути за её пределами.

Читать далее

Выбор индекса при соединении по нескольким столбцам

Habr.com - Tue, 08/05/2025 - 15:52

Когда имеется несколько индексов с одинаковыми ведущими столбцами, иногда выбирается не лучший индекс, и время выполнения запроса увеличивается на порядки. Такие ситуации встречаются в сложных приложениях, но чаще всего в 1С:ERP, поскольку это приложение наиболее распространено. Как это обычно бывает: после миграции приложения на СУБД PostgreSQL часть запросов начинает выполняться медленнее. Планировщик выбирает индекс, созданный по меньшему числу столбцов, время выполнения увеличивается, потому что при использовании такого индекса индексные записи указывают на строки таблицы, которые не соответствуют условиям соединения. При выборе же индекса по большему числу задействованных в запросе столбцов время выполнения становится существенно ниже и практически не зависит от размера таблиц.

В статье детализируется часть доклада Максима Старкова на конференции PG BootCamp, которая прошла в апреле в Екатеринбурге. Описываются признаки таблиц и индексов, при работе с которыми может возникнуть проблема выбора худшего индекса, а также рассматривается пример, демонстрирующий, что строка "Buffers" характерна для определения эффективности выполнения запроса (в 18 версии PostgreSQL "Buffers" будет показываться в планах по умолчанию).

Читать далее

27 миллионов абонентов под угрозой: разбор крупнейшей кибератаки на корейский телеком

Habr.com - Tue, 08/05/2025 - 15:48

Что нужно, чтобы скомпрометировать данные 27 миллионов абонентов, обрушить акции телеком-гиганта и поставить под угрозу национальную безопасность одной из самых технологически развитых стран мира? Свежий zero-day? Квантовый компьютер? Гениальная социальная инженерия?

Всего лишь веб-шелл, почти три года преступной халатности и один хитрый бэкдор.

Неизвестные злоумышленники с июня 2022 года хозяйничали в критической инфраструктуре крупнейшего корейского сотового оператора. Под катом мы разберем эту громкую историю.

Читать далее

Как мы создавали карту коттеджных поселков на Next.js без бэкенда и с SEO-оптимизацией

Habr.com - Tue, 08/05/2025 - 15:47

Нам поступила задача разработать веб-сервис – интерактивную карту с каталогом проверенных коттеджных поселков. Цель проекта – привлечь целевой трафик на сайт определенного агентства недвижимости, рассказывая о поселках и направляя заинтересованных пользователей к риелторам. При этом, помимо рекламной функции, сервис должен быть полезным и информативным: показать расположение поселков на карте, их характеристики, цены и т.д. Задача осложнялась требованиями SEO – требовалось, чтобы страницы хорошо индексировались поисковиками, несмотря на наличие карты и динамических фильтров. Также важно было обойтись без собственного бэкенда для экономии ресурсов и упрощения инфраструктуры. Ниже я расскажу, какие технологии мы выбрали, с какими трудностями столкнулись и как их решили.

Читать далее

Свой сайт и Telegram-витрина за 5 минут: как дублирование продуктов привело к созданию Точка Стор

Habr.com - Tue, 08/05/2025 - 15:45

Привет! Меня зовут Мария Аркуша, со мной Николай Нафтулин, мы продакт-менеджеры в Точке. Сегодня расскажем, как мы одновременно создавали Точка Стор — продукт для предпринимателей, с помощью которого любой может быстро собрать свой сайт или витрину в Telegram.

Объясним, как мы делали практически одинаковые продукты, и как объединение ресурсов помогло продвинуть и развить продукт, усилить экспертизу команд и сэкономить ресурсы компании. 

Читать далее

Разбор задачи с реального собеседования: e-commerce, брокер и резервы склада

Habr.com - Tue, 08/05/2025 - 15:35

Условия задачи

Сценарий:  

У нас есть e-commerce платформа, состоящая из:

веб-приложения,

брокера сообщений,

бэкенда.

Клиенты могут заказывать товары, а складская система проверяет наличие товаров на складе.  

Каждый раз, когда клиент делает заказ, система отправляет запрос через брокер для проверки доступности товара на складе и блокирует его на время обработки заказа.

Проблема:  

Клиенты могут:

добавлять несколько товаров в корзину одновременно,

отправлять несколько заказов.

Это приводит к тому, что резервируется больше товара, чем есть на складе.  

Из-за этого возможны ситуации, когда товар отображается как доступный, но при попытке завершить заказ оказывается, что он уже заблокирован другим клиентом.

Необходимо:

Выявить процессы, которые происходят,  

На основе этих процессов отобразить схему (sequence diagram) взаимодействия,  

Предложить 2 способа оптимизации, чтобы избавиться от текущих проблем. 

Переходим к решению ⬇️

Читать далее

Байки из ЦОДа-2: кошки-мышки, роковой галстук и зима в машзале

Habr.com - Tue, 08/05/2025 - 15:31

Привет, Хабр. На связи команда Т1 Облако. Не так давно мы рассказали несколько необычных историй из жизни наших инженеров: что им удалось отремонтировать по фото, как получилось справиться с кармической несовместимостью и найти «хвост». Сегодня поделимся новыми байками о том, кто живёт на дне океана под фальшполом в машзале и почему носить галстук в ЦОДе может быть небезопасно. Спойлер: все остались живы.

Читать далее

Аудит безопасности КИИ. Детальный разбор проверки ФСТЭК

Habr.com - Tue, 08/05/2025 - 15:26


Проверка ФСТЭК это не поиск нарушений ради наказания. Это формализованный аудит, цель которого определить, является ли ваша система безопасности действующим механизмом или просто набором документов и оборудования. Инспектор последовательно проверяет три слоя вашей защиты. Сначала он изучает заявленную на бумаге архитектуру. Затем он сверяет ее с фактической технической реализацией. В конце он оценивает способность персонала эту архитектуру поддерживать. Провал на любом из уровней ставит под сомнение всю систему.

Читать далее

[Перевод] Вышел релиз GitLab 18.2 с Duo Agent Platform в IDE (бета-версия) и настраиваемыми статусами рабочего процесса

Habr.com - Tue, 08/05/2025 - 15:17

Вышел релиз GitLab 18.2 с Duo Agent Platform в IDE (бета-версия) и настраиваемыми статусами рабочего процесса для тикетов и заданий

Читать далее

Как я сделала GPT-копирайтера за вечер и стала писать рекламные тексты вдвое быстрее

Habr.com - Tue, 08/05/2025 - 15:16

Привет! Я Уля, контент-менеджер в ИТ-компании. Пишу рекламные тексты для сложных B2B‑продуктов. Чтобы не тонуть в рутине и вернуть себе время на креатив, я собрала собственного GPT‑копирайтера. В статье рассказываю, как его настроила и стала ли работать эффективнее с ним.

Читать далее

Явное и неявное определение типов и полей в Go

Habr.com - Tue, 08/05/2025 - 15:04

Как я пришел к написанию собственного пакета go, столкнувшись с отсутствием синтаксического сахара в языке и трудностях при разработке приложений в production с отсутствием команды инфраструктуры на go.

Читать далее

Выбор VPS, установка и настройка Portainer и n8n

Habr.com - Tue, 08/05/2025 - 15:00

Для своих проектов я искал российский VPS-провайдер с серверами в Нидерландах, чтобы обеспечить низкую задержку для европейской аудитории и соответствие GDPR. После анализа я выбрал пять провайдеров, предлагающих серверы в Нидерландах: Selectel, Timeweb, FirstVDS, RuVDS и 62yun.ru. Ниже сравню их по ценам и характеристикам для серверов в Нидерландах и объясню, почему выбрал 62yun.ru.

Читать далее

В фокусе RVD: трендовые уязвимости июля

Habr.com - Tue, 08/05/2025 - 14:55

Хабр, привет!

На связи команда инженер-аналитиков отдела по инструментальному анализу защищенности компании R-Vision. Мы подготовили свежий дайджест трендовых уязвимостей, обнаруженных в июле 2025 года. В нем собраны наиболее опасные уязвимости, которые уже сейчас активно эксплуатируются в атаках и их устранение должно быть в приоритете.

Читать далее

Веб-камера — глаза робота. Пишу веб-приложение на FastApi для управления DIY-проектом. Часть 3

Habr.com - Tue, 08/05/2025 - 14:41

В предыдущей статье я показал, как настроить одноплатный компьютер Orange Pi Zero для работы. Написал обратный прокси на Nginx, который перенаправляет видеострим. Также реализовал сервис robot_pi_service для приёма команд от веб-приложения и отправки ответов. В веб-приложение добавил код для отправки команд роботу и получения ответов.

В третьей части статьи я расскажу, как управлять GPIO-пинами одноплатника на примере Orange Pi Zero с помощью Python. Я покажу, как подключить светодиод (LED) и управлять им через веб-приложение. Также проведу отладку задержек.

Статья будет полезна любителям DIY-проектов и веб-разработчикам, интересующимся фреймворком FastAPI.

Читать далее

Пишем бота для «Отечественного WeChat» — Max на Python

Habr.com - Tue, 08/05/2025 - 14:38

Недавно VK сделал новый мессенджер - Max - который рекламируют как отечественный аналог WeChat. Пока что он немного сыроват, но в нём видно потенциал. Сегодня мы будем делать бота для него на Python.

Читать далее

Гайд — как стать сверхчеловеком с помощью нейросетей

Habr.com - Tue, 08/05/2025 - 14:34

Привет! Меня зовут Илья, и я делаю стартапы с 2018 года. Последний год я всё активнее использую нейросети в работе, и в результате вообще перестал прибегать к помощи разработчиков — сэкономил много миллионов рублей, начал получать результаты быстрее и лучше. В статье я расскажу, как это было, и поделюсь своими мыслями на этот счёт.

Читать далее

Who's online

There are currently 0 users and 1 guest online.
Syndicate content