Пишем на C++ свою агрегационную функцию для HP Vertica

Предыстория В проекте возникла необходимость отобразить товары, которые поставляются или могут поставляться в определенные регионы Казахстана. У каждого поставщика есть перечень товаров с указанием регионов поставки. Есть таблица товаров, назовем ее product. Регионов в Казахстане всего 17, поэтому я решил хранить данные о регионах поставки в одном числовом поле c помощью битов. Таблица product выглядит
Читать далее…

Оптимизация Grok (Logstash)

Повествование о том, как неэффективный разбор grok забил процессоры на 100%. Немного предыстории. С начала года у нас было настроено расширение к PostgreSQL под названием pg_audit (см. https://github.com/pgaudit/pgaudit) для аудита доступа к таблицам и колонкам таблиц. Логи pg_audit отправляются filebeat’ом в logstash, где разбираются через grok. На тот момент grok-выражение было следующим: %{TIMESTAMP_ISO8601:pg_aud_log_date} %{DATA:pg_aud_time_zone} %{DATA:pg_aud_db_name}
Читать далее…

Просмотр привилегий пользователей к таблицам

Сегодня возникла необходимость просмотреть права доступа всех пользователей. Быстрого и подходящего решения не получилось найти. В итоге нашел пример запроса выводящего привилегии для одной таблицы, а дальше соединил этот запрос с запросом всех таблиц. В итоге получился следующий запрос. SELECT rtg.grantee, rtg.privilege_type, t.table_name FROM information_schema.tables t JOIN information_schema.role_table_grants rtg ON t.table_name = rtg.table_name ORDER BY
Читать далее…

Установка PostgreSQL из исходников на Ubuntu 16.04

Склонируйте репозиторий PostgreSQL git clone https://github.com/postgres/postgres.git После окончания загрузки файлов перейдите в созданную директорию cd postgres Переключитесь на ветку REL_10_STABLE git checkout REL_10_STABLE Перед непосредственно сборкой проект нужно установить вспомогательно ПО. sudo apt-get install libreadline-dev sudo apt-get install bison sudo apt-get install flex Сконфигурируйте проект ./configure Соберите проект make Установить postgres sudo make install Переключитесь
Читать далее…

Установка Kubuntu c установочной флешки

Делаем на Kubuntu установочную флешку для установки Kubuntu (простите за тавтологию). Для начала устанавливаем UNetbootin на странице https://unetbootin.github.io/linux_download.html можно его скачать, там же есть инструкция по установке. Вот так выглядит главное окно программы: Записываемый на флешку образ можно скачать либо по сети, либо выбрать iso на вашем компьютере. Первая проблема, которую можно поймать: /dev/sdb1 не
Читать далее…

Target lists can have at most 1664 entries в PostgreSQL

Давно не писал… На прошлой неделе поймал такую ошибку: ERROR: target lists can have at most 1664 entries Данная ошибка возникла из-за того, что появилось много зависимостей между сущностями(Entity). Когда идет запрос данных через Hibernate, то JOIN’ится много таблиц, и общее количество получаемых полей начинает превышать 1664. В нашем случае это было около 1700 полей.
Читать далее…

Удаление числа из строки

Иногда мы пользуемся трюком, сохраняя числа (ID из базы данных) в строке через запятую. Например: «1024,15,8,0,55». И теперь, допустим, какое-то число из этого списка не нужно, и его необходимо убрать из исходной строки. Как это реализовать? Первый вариант: 1) разбить строку по запятой 2) отфильтровать удаляемое число 3) собрать строку заново Второй вариант (допустим, удаляем
Читать далее…

Некоторые вещи про закачку файлов

В любом web-проекте в определенное время возникает вопрос как загружать/скачивать файлы. В этой статье рассмотрим важные аспекты этих процедур: Можно загружать файлы не только в виде байт, но и формате base64. Файл загружается на веб-сервер и сохраняется как временный файл При передаче файла на сервер используется кодирование multipart/form-data Из временного файла можно получить оригинальное название
Читать далее…

Бинарный алгоритм вычисления НОД

Наибольшим общим делителем (НОД) для двух целых чисел называется наибольший из их общих делителей. Например: для чисел 8 и 12 наибольший общий делитель равен 4. Ранее мы уже рассматривали нахождение НОД с помощью Алгоритма Евклида: long gcd(long a,long b){ return b == 0 ? a : gcd(b,a % b); }long gcd(long a,long b){ return b
Читать далее…

Как из Java обратиться к сервису по протоколу HTTPS

Это юбилейная 100-я статья!!! Уже не знаю в какой раз приходится обращаться к сервису по протоколу HTTPS, и каждый раз уходит время, чтобы воспроизвести шаги. Сегодня решил все-таки написать шпаргалку и больше не тратить время на такую проблему. Для начала открываем сайт в браузере: В адресной строке браузера рядом с текстом https:// есть иконка, нажав
Читать далее…