https://dimasmotrov.ru/tags/bazydannyh/ backend python fastapi django rabbitmq kafka postgresql sqlalchemy ru Aegea 11.3 (v4134) backend python fastapi django rabbitmq kafka postgresql sqlalchemy 29 https://dimasmotrov.ru/all/ya-tut-proekt-pod-klyuch-realizoval/ Mon, 02 Jun 2025 23:58:08 +0300 https://dimasmotrov.ru/all/ya-tut-proekt-pod-klyuch-realizoval/ <div class="e2-text-picture"> <img src="https://dimasmotrov.ru/pictures/image-16.png.jpg" width="2560" height="1651" alt="" /> </div> <p>Для кого заключительная неделя перед релизом, а для меня первый день отпуска. Отоспавшись на выходных, решил подвести итоги своей работы за полдгода.</p> <p>С декабря месяца я взялся поднимать функциональность аналитики и отчетности в АСМ(это продукт, разработкой которого я занимаюсь). План был прост:<br /> 1) Собрать команду<br /> 2) Разобраться в устройстве корпоративных хранилищ данных, ведь аналитика и отчетность строится на каких-то данных, а данные еще нужно сложить и подготовить для отображения(привет data engineering).<br /> 3) Разобраться в моделирование бизнес-процессов для подготовки аналитических данных.<br /> 4) Сделать хранилище и смоделировать один бизнес процесс для обкатки выбранных подходов и инструментов.<br /> 5) Сделать отображение данных в графиках и таблицах.</p> <p>И тут в целом можно было вспомнить, что я так-то бекенд разработчик, чем я тут вообще занимаюсь. Но вспоминать было некогда — работы вагон и еще три состава:<br /> — Вместо одного бизнес процесса моделировать пришлось 5. Два месяца я засыпал и просыпался я в обнимку с томиком Кимбалла.<br /> — Параллельно происходил ресерч и обоснование выбранных технологий для построения ETL-процессов и отображения данных, ресурсов на разработку собственных решений за отведенное время нет.<br /> — Команда собрана. Нас пятеро друзей Оушена.<br /> — Мы соответствуем РБПО, поэтому выбранные инструменты затянуты к себе и взяты на поддержку.<br /> — Были подняты стенды для дев и целевой среды, так на свет родились deb-пакеты для Airflow и Superset, несуществовавшие в природе до этого. CI часть этого всего — это почти еще один продукт :)<br /> — Разработаны ETL-процессы. Полностью. С нуля.<br /> — Разработаны предустановленные отображения для данных. 6 страниц с кучей данных и переходами между друг другом, связанные общими фильтрами.<br /> — Мы разворачиваемся у клиента с минимальными махинациями в админках используемых инструментов — так в dag-скриптах появились env’ы с подключением к БД и автоматический импорт дашбордов.<br /> — Документация. Мы еще даже рассказываем, как при желании сделать собственные страницы с отчетами и как у нас там данные лежат.</p> <p>Список можно продолжать и дальше, привел ключевые пункты. На самом деле делать пришлось больше запланировано, в конце апреля я сидел и думал, успеем ли мы все сделать. Сделали большую часть, прям блин большую.</p> <p>Выпускаемся и смотрим, что делаем дальше. Жду обратную связь от пользователей.</p> <p>Сделано столько работы, а это будто лишь начало пути.</p> 15 https://dimasmotrov.ru/all/vnutrennee-ustroystvo-baz-dannyh-ot-shad/ Thu, 02 Jan 2025 19:13:58 +0300 https://dimasmotrov.ru/all/vnutrennee-ustroystvo-baz-dannyh-ot-shad/ <p>Нашел хорошие лекции от ШАДа по внутреннем устройству и принципам систем хранения, Александр Боргардт из @duckstax решил выложить их в открытую.</p> <p>Обычно материалы по базам данных строятся вокруг изучения PG и что-то упоминается про Mongo и ClickHouse.<br /> Что бросилось в глаза, кроме лекций про протоколы и JIT, так это рассмотрение Picodata в качестве индустриальной БД наряду с Cassandra & Tarantool. Picodata молодой инструмент, о котором кстати много говорили на прошедшем HL, поэтому есть ощущение, что ребята от курса к курсу актуализируют программу.</p> <p>К своим хомячковым запасам материалов я добавил, теперь несу благодать в массы 🤓</p> <p><a href="https://t.me/SmotrovDev/37">https://t.me/SmotrovDev/37</a></p> <p>Присоединяйтесь к блогу в телеграмме :)</p>