Kurgan-Telecom Ru | Информационные технологии

Современные компании оперируют терабайтами или даже петабайтами данных. Но часто эти данные имеют разный формат, степень структурированности и не нужны в «горячем» доступе, поэтому зачастую хранить весь массив в традиционных БД не только невозможно, но и нерационально. Как результат, бизнес все чаще использует объектные S3-хранилища.

Меня зовут Андрей Капустин. Я менеджер продукта Tarantool в компании VK Tech. В этой статье я расскажу об объектном хранилище VK Cloud, его архитектуре и месте Tarantool в ней. 

Современные компании оперируют терабайтами или даже петабайтами данных. Но часто эти данные имеют разный формат, степень структурированности и не нужны в «горячем» доступе, поэтому зачастую хранить весь массив в традиционных БД не только невозможно, но и нерационально. Как результат, бизнес все чаще использует объектные S3-хранилища.

Меня зовут Андрей Капустин. Я менеджер продукта Tarantool в компании VK Tech. В этой статье я расскажу об объектном хранилище VK Cloud, его архитектуре и месте Tarantool в ней. 

Если вам просто нужен ответ на вопрос в заголовке, то просто нажмите на TLDR и можете закрыть страницу. Но если вам любопытны подробности, то пристегнитесь, мы займёмся отладкой; этот пост в основном посвящён моему мыслительному процессу и методикам, которые я использовал, чтобы прийти к ответу.

Привет, Хабр! Я Станислав Габдулгазиев, архитектор департамента поддержки продаж Arenadata. В этой статье рассмотрим, как большое количество мелких файлов влияет на производительность различных систем хранения, таких как HDFS и объектные хранилища с S3 API.

Разберём, какие технологии хранения лучше всего подходят для работы с мелкими файлами в архитектурах Data Lake и Lakehouse. Сравним производительность HDFS и объектных хранилищ с S3 API. На конкретных тестах покажем, почему именно HDFS эффективнее справляется с большим количеством небольших файлов. Обсудим также случаи, когда мелкие файлы становятся не просто нежелательной ситуацией, а неизбежной необходимостью, например в подходах типа Change Data Capture (CDC).

Хабр, привет! На связи Владимир, DevOps-инженер компании Совкомбанк Технологии. В этой статье расскажу о компонентах GitLab, способах их применения и том, как они помогли нам с настройкой CI/CD на проектах.

Команда Spring АйО перевела статью, которая рассказывает о том, как луковичная и гексагональная архитектура часто используется программистами в неоправданно сложном варианте, взятом из учебника, и как эти архитектурные стили можно упростить, получив от этого существенные преимущества в плане затрат на разработку и поддержку.

Концепция этого цикла начиналась с простого переноса тайловых миров на F#. Однако в процессе его описания я основательно растёкся по древу, за счёт чего у нас образовался большой подготовительный этап из пяти глав про языковые фичи и прочую «фундаменталочку». Думаю, что с подготовкой закончено, поэтому сегодня мы обратимся непосредственно к тайловым мирам.

Но начнём мы практически с конца — с адаптации поиска пути. Это несложная задачка, но в процессе её решения мы успеем закрепить пройденный материал и по инерции заскочить в новый.

Вероятность блокировки Telegram и WhatsApp только становится только выше. 10 июня Госдума приняла закон о создании российского национального мессенджера. Мы собрали топ корпоративных мессенджеров, которые могут стать достойной заменой WhatsApp и Telegram. 

Сегодня уже только ленивый не говорит про ИИ. ИИ тут, ИИ там, ИИ нас всех заменит, и так далее. Мне стало интересно, а как именно нас всех с вами заменит ИИ? Я решил покопать этот вопрос, изучить, так сказать, матчасть и разобраться, в первую очередь для себя - как именно ИИ собирается нас всех заменить. Спойлер - он пока что никуда не собирается, но то что есть уже сегодня впечатляет.

У вас есть мобильное устройство с процессором RISC-V? Вопрос странноватый, но ответ может быть сложнее, чем кажется. Например, архитектуру RISC-V использует чип безопасности в Google Pixel 6. Конечно, процессоры смартфонов в основном задействуют архитектуру ARM — созданную, кстати, по принципам архитектуры сокращенного набора команд (RISC, Reduced Instruction Set Computer). Зачем же здесь RISC-V? Далее мы рассмотрим этот вопрос и оценим, насколько сама архитектура готова к такому применению.

Всем привет! Меня зовут Алексей Мерсон, я несколько лет работал Developer Advocate в Sage, платформе наблюдаемости Т-Банка. Эта платформа сама по себе очень немаленькая, со сложной архитектурой. Но если посмотреть на ландшафт экосистемы в целом, то Sage — всего лишь одна из платформ в Т-Банке, необходимых, чтобы наши услуги были надежными. А платформы, в свою очередь, — это тоже только часть более общей картины. 

В этой статье хочу поговорить о том, какие инструменты и практики мы используем для надежности в Т-Банке. Уделим внимание работе с инцидентами. И отдельно сфокусируемся на клиентском опыте: мне кажется, мы, инженеры, часто забываем, что технологии делаются не ради технологий, а ради решения задач бизнеса и его клиентов. Если они будут довольны, то и у нас будет больше возможностей заниматься интересными нам вещами.

В современном мире объемы данных растут экспоненциально: компании ежедневно генерируют и обрабатывают огромные массивы информации — от реляционных баз данных и текстовых документов до изображений, аудио и видео. С ростом объемов информации усложняется и ее защита, особенно в отношении чувствительных сведений: персональных данных сотрудников и клиентов, финансовой информации, корпоративных документов и других конфиденциальных материалов.

Традиционные методы обнаружения и классификации информации, основанные на формальной экспертизе и регулярных выражениях, демонстрируют ограниченную эффективность: они неплохо работают для стандартных форматов, таких как email-адреса и банковские карты, но могут не покрывать с должной полнотой обнаружение в реальных сценариях. На помощь приходит машинное обучение, позволяющее автоматизировать процесс классификации, учитывать контекст и работать с разными источниками информации.

Меня зовут Вадим Безбородов. Мы c Максимом Митрофановым в департаменте Data science & ML в Positive Technologies занимаемся исследованием и внедрением машинного обучения в продукты компании. В этой статье расскажем о наших исследованиях и внедрении ML в модуль поиска и классификации чувствительных данных в PT Data Security.

Firefox — последний независимый браузер на собственном движке, который противостоит монополии Chrome. Однако некоторые пользователи недовольны политикой организации Mozilla: она собирает телеметрию, угрожает внедрять ИИ, искать новые источники дохода и использовать персональные данные пользователей.

Так что для безопасности есть смысл переключиться на безопасный форк Firefox. Правда, в этом случае мы лишаемся некоторых удобных централизованных сервисов, таких как синхронизация браузера между разными устройствами.

Но эту проблему можно исправить. В частности, сервер синхронизации Firefox можно установить на собственном хостинге.

Привет, Хабр! 

В компании работы по внедрению ИИ в рабочие процессы идут уже не один год. Однако все наработки в основном использовались узкой группой энтузиастов. В конце прошлого года у нас возникла идея организовать внутренний хакатон, посвященный искусственному интеллекту, целью которого была бы популяризация ИИ среди всех сотрудников, даже тех, кто далек от технических специальностей, в изучение возможностей ИИ.  

Непродолжительное время шло обсуждение формата хакатона. Вообще существует два вида хакатонов: интенсивные однодневные мероприятия и более протяжённые по времени события, когда участникам предоставляется возможность заранее подготовиться, изучить дополнительные материалы и детально проработать концепцию будущего проекта. Такая схема позволяет снизить уровень стресса и даёт шанс представить лучшее решение. Для наших целей максимальной вовлечённости всех сотрудников лучше всего подходил второй вариант.

В результате обсуждений мы разработали трехэтапный план подготовки. 

Первым этапом стали базовые онлайн-курсы. У нас уже были три специализированных курса на нашем внутреннем образовательном портале. Эти материалы предназначались для самостоятельного изучения всеми сотрудниками, интересующимися темой искусственного интеллекта. Курсы помогали сформировать начальное понимание основных концепций и принципов работы ИИ. Мы сделали этот шаг обязательным, потому что пытаться делать продукты с ИИ не понимая его общей концепции бессмысленно.

Второй этап включал серию специально разработанных для хакатона воркшопов, которые проводили ведущие специалисты компании в области искусственного интеллекта. Эти мероприятия предлагали участникам более глубокое погружение в практические аспекты. Например, участники могли научиться создавать приложения с помощью общения с LLM, даже если изначально плохо понимали технические тонкости процесса, но ясно представляли конечный продукт. 

Только один телескоп LSST за ночь может собрать более 15 ТБ данных — это как 30 тысяч фильмов в HD. Без ИИ астрономы просто тонут в научных данных. Студенты МФТИ придумали решение: их ML-система «Страж» может ускорить поиск новых объектов в 5 раз — и с точностью до 98%. 

На днях АиФ, ТАСС и другие СМИ опубликовали новости о «Страже», но только мы знаем, как все начиналось, как работает решение «под капотом» и почему проект поддержал Yandex Cloud. Об этом и рассказываем в статье.

У меня опыт в IT с прошлого века, 27 лет. Начинал программистом, когда во многих компаниях ещё не было системных аналитиков и проджект-менеджеров. Кто-то из команды должен был разговаривать с заказчиками. Чаще всего этим кем-то был я.

Потом стал тимлидом — одновременно программировал и управлял. Со временем меня «засосало» в управленческую деятельность. Максимум руководил 60 людьми.

Расскажу об ошибках, которые совершил за это время, и о своих выводах.

Решил написать этот пост, т.к. несмотря на некоторое падение интереса к онлайн-обучению, каждый, кто решает освоить для себя новую профессию, сталкивается с выбором, куда направить усилия, а заодно и средства, чтобы это было с максимальной отдачей и не привело к выгоранию.

В последнее время очень редко попадаются статьи или новости о сборках умных зеркал, начинается казаться, что людям стало не интересно собирать такое устройство у себя дома, в этой статье я хочу показать свои способы применения умного зеркала, как большой экран для отображения уведомлений дома, будет много картинок и GIF анимаций все для того, чтобы у вас появилось желание повторить проект, погнали.

Создание виджетов в Figma — задача нетривиальная, особенно если ты не разработчик...

Привет, Хабр! Меня зовут Султан, я продуктовый дизайнер в PIX Robotics, где работаю над продуктом PIX Процессы.

Недавно, листая ТГ-канал друга, я наткнулся на интересный виджет в Figma. В голове сразу промелькнула мысль: «Вау, а как это вообще сделать? Это же крутая штука, и она точно нужна моей команде!»— и меня затянуло в воронку изучения темы.

Я попробовал несколько способов, чтобы создать виджет, который будет полезен моей команде, и сегодня поделюсь своим опытом. Спойлер: выбрал вариант, в котором для 800 строк кода мне понадобилось несколько дней. Конечно, без ИИ не обошлось.

Я пользуюсь ИИ при написании текстов. Честно говоря, не считаю это чем-то плохим, потому что, по моему мнению, главное — это то, ради чего текст пишется: если читатель узнал что-то новое, то цель достигнута. Но, к сожалению, статья, написанная ИИ, выглядит скучной, гладкой и, несмотря на любую идею внутри, вызывает у читателя отторжение. Поэтому сегодня в этой теме я задался вопросом, какие паттерны говорят о том, что текст писал ИИ, а не человек, и почему человеку эти паттерны не нравятся?

Всё это, конечно, субъективно. Например, я определяю по ощущениям: где-то к третьему абзацу статьи просто понимаю, что это писал ИИ. Вежливый «ЧатГПТ», брызжущий метафорами (чаще поверхностными) «Дипсик», логичный до наивности «Клод», оптимистичный «Грок» — разницы нет. ИИ и всё.

Итак, сегодня моя цель формализовать паттерны среднего чистого (без промптов) ИИ и сделать промпт, который позволит определить то, насколько заданный текст похож на творчество ИИ. Почему не определить автора? Потому что я знаю людей, которые пишут, как ЧатГПТ-мини: реально гладкий, поверхностный текст, никаких резких поворотов и углублений. И знаю, как может писать ИИ под хорошим промптом. Так что давайте я просто попытаюсь определить наиболее распространенные паттерны моделей, которые можно выделить в тексте.