{
    "version": "https:\/\/jsonfeed.org\/version\/1.1",
    "title": "Дима пишет | Дмитрий Смотров: заметки с тегом БазыДанных",
    "_rss_description": "backend python fastapi django rabbitmq kafka postgresql sqlalchemy",
    "_rss_language": "ru",
    "_itunes_email": "",
    "_itunes_categories_xml": "",
    "_itunes_image": "",
    "_itunes_explicit": "",
    "home_page_url": "https:\/\/dimasmotrov.ru\/tags\/bazydannyh\/",
    "feed_url": "https:\/\/dimasmotrov.ru\/tags\/bazydannyh\/json\/",
    "icon": "https:\/\/dimasmotrov.ru\/pictures\/userpic\/userpic@2x.jpg?1718470292",
    "authors": [
        {
            "name": "Дима Смотров",
            "url": "https:\/\/dimasmotrov.ru\/",
            "avatar": "https:\/\/dimasmotrov.ru\/pictures\/userpic\/userpic@2x.jpg?1718470292"
        }
    ],
    "items": [
        {
            "id": "29",
            "url": "https:\/\/dimasmotrov.ru\/all\/ya-tut-proekt-pod-klyuch-realizoval\/",
            "title": "Я тут проект под ключ реализовал",
            "content_html": "<div class=\"e2-text-picture\">\n<img src=\"https:\/\/dimasmotrov.ru\/pictures\/image-16.png.jpg\" width=\"2560\" height=\"1651\" alt=\"\" \/>\n<\/div>\n<p>Для кого заключительная неделя перед релизом, а для меня первый день отпуска. Отоспавшись на выходных, решил подвести итоги своей работы за полдгода.<\/p>\n<p>С декабря месяца я взялся поднимать функциональность аналитики и отчетности в АСМ(это продукт, разработкой которого я занимаюсь). План был прост:<br \/>\n1) Собрать команду<br \/>\n2) Разобраться в устройстве корпоративных хранилищ данных, ведь аналитика и отчетность строится на каких-то данных, а данные еще нужно сложить и подготовить для отображения(привет data engineering).<br \/>\n3) Разобраться в моделирование бизнес-процессов для подготовки аналитических данных.<br \/>\n4) Сделать хранилище и смоделировать один бизнес процесс для обкатки выбранных подходов и инструментов.<br \/>\n5) Сделать отображение данных в графиках и таблицах.<\/p>\n<p>И тут в целом можно было вспомнить, что я так-то бекенд разработчик, чем я тут вообще занимаюсь. Но вспоминать было некогда — работы вагон и еще три состава:<br \/>\n— Вместо одного бизнес процесса моделировать пришлось 5. Два месяца я засыпал и просыпался я в обнимку с томиком Кимбалла.<br \/>\n— Параллельно происходил ресерч и обоснование выбранных технологий для построения ETL-процессов и отображения данных, ресурсов на разработку собственных решений за отведенное время нет.<br \/>\n— Команда собрана. Нас пятеро друзей Оушена.<br \/>\n— Мы соответствуем РБПО, поэтому выбранные инструменты затянуты к себе и взяты на поддержку.<br \/>\n— Были подняты стенды для дев и целевой среды, так на свет родились deb-пакеты для Airflow и Superset, несуществовавшие в природе до этого. CI часть этого всего — это почти еще один продукт :)<br \/>\n— Разработаны ETL-процессы. Полностью. С нуля.<br \/>\n— Разработаны предустановленные отображения для данных. 6 страниц с кучей данных и переходами между друг другом, связанные общими фильтрами.<br \/>\n— Мы разворачиваемся у клиента с минимальными махинациями в админках используемых инструментов — так в dag-скриптах появились env’ы с подключением к БД и автоматический импорт дашбордов.<br \/>\n— Документация. Мы еще даже рассказываем, как при желании сделать собственные страницы с отчетами и как у нас там данные лежат.<\/p>\n<p>Список можно продолжать и дальше, привел ключевые пункты. На самом деле делать пришлось больше запланировано, в конце апреля я сидел и думал, успеем ли мы все сделать. Сделали большую часть, прям блин большую.<\/p>\n<p>Выпускаемся и смотрим, что делаем дальше. Жду обратную связь от пользователей.<\/p>\n<p>Сделано столько работы, а это будто лишь начало пути.<\/p>\n",
            "date_published": "2025-06-02T23:58:08+03:00",
            "date_modified": "2025-06-03T00:03:09+03:00",
            "tags": [
                "DataWarehouse",
                "БазыДанных",
                "Разработка"
            ],
            "image": "https:\/\/dimasmotrov.ru\/pictures\/image-16.png.jpg",
            "_date_published_rfc2822": "Mon, 02 Jun 2025 23:58:08 +0300",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "29",
            "_e2_data": {
                "is_favourite": false,
                "links_required": [],
                "og_images": [
                    "https:\/\/dimasmotrov.ru\/pictures\/image-16.png.jpg"
                ]
            }
        },
        {
            "id": "15",
            "url": "https:\/\/dimasmotrov.ru\/all\/vnutrennee-ustroystvo-baz-dannyh-ot-shad\/",
            "title": "Внутреннее устройство баз данных от ШАД",
            "content_html": "<p>Нашел хорошие лекции от ШАДа по внутреннем устройству и принципам систем хранения, Александр Боргардт из @duckstax решил выложить их в открытую.<\/p>\n<p>Обычно материалы по базам данных строятся вокруг изучения PG и что-то упоминается про Mongo и ClickHouse.<br \/>\nЧто бросилось в глаза, кроме лекций про протоколы и JIT, так это рассмотрение Picodata в качестве индустриальной БД наряду с Cassandra & Tarantool. Picodata молодой инструмент, о котором кстати много говорили на прошедшем HL, поэтому есть ощущение, что ребята от курса к курсу актуализируют программу.<\/p>\n<p>К своим хомячковым запасам материалов я добавил, теперь несу благодать в массы 🤓<\/p>\n<p><a href=\"https:\/\/t.me\/SmotrovDev\/37\">https:\/\/t.me\/SmotrovDev\/37<\/a><\/p>\n<p>Присоединяйтесь к блогу в телеграмме :)<\/p>\n",
            "date_published": "2025-01-02T19:13:58+03:00",
            "date_modified": "2025-02-02T13:37:17+03:00",
            "tags": [
                "БазыДанных",
                "Разработка"
            ],
            "_date_published_rfc2822": "Thu, 02 Jan 2025 19:13:58 +0300",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "15",
            "_e2_data": {
                "is_favourite": false,
                "links_required": [],
                "og_images": []
            }
        }
    ],
    "_e2_version": 4134,
    "_e2_ua_string": "Aegea 11.3 (v4134)"
}