Event Sourcing, EventHub

Event Sourcing, EventHub

Можно ли использовать Event Hubs с Event Sourcing?

Да, Event Hubs можно использовать в контексте Event Sourcing, но с некоторыми оговорками. Event Hubs подходит для передачи и обработки событий, но не является оптимальным выбором для постоянного хранения событий как единственного источника истины (event store). stackoverflow.com +1

Преимущества использования Event Hubs в Event Sourcing:

• возможность обрабатывать миллионы событий в секунду; 
• изоляция производителей и потребителей событий, что позволяет гибко масштабировать систему; 
• поддержка групп потребителей, что позволяет разным сервисам обрабатывать одни и те же события независимо; 
• интеграция с другими сервисами Azure и инструментами для обработки потоков данных (например, Spark). 

Ограничения:

• Event Hubs автоматически удаляет события по истечении заданного периода хранения (retention period), что может не подходить для долгосрочного хранения истории событий. Для сохранения событий на длительный срок можно использовать функцию Capture, которая копирует данные в Azure Blob Storage или Azure Data Lake, но это усложняет архитектуру. stackoverflow.com +1
• Event Hubs ориентирован на потоковую обработку, а не на произвольный доступ к событиям по ключу. Для быстрого восстановления состояния агрегата из событий может потребоваться дополнительная система хранения (например, база данных). 
• Нет встроенной поддержки для эффективного запроса конкретных событий по идентификатору или другим атрибутам, что может быть критично для Event Sourcing.

Часто в архитектурах с Event Sourcing и Event Hubs используют комбинированный подход: Event Hubs для передачи событий, а отдельное хранилище (например, Cosmos DB, SQL Server или NoSQL-база данных) — для постоянного хранения событий и восстановления состояния. 

Можно ли регистрировать изменения состояния в обработчиках (Handlers)?

Да, в обработчиках событий (Handlers) можно регистрировать изменения состояния, но это требует внимательного подхода к архитектуре и реализации.

Как это может работать:

1. При получении события обработчик (например, в микросервисе) применяет его к текущему состоянию агрегата (объекта, состояние которого меняется).
2. Обработчик может обновлять внутреннее состояние агрегата и, при необходимости, генерировать новые события или сообщения для других сервисов.
3. Если используется CQRS, обработчик может обновлять модели чтения (read models) на основе полученных событий.

Важные нюансы:

• Согласованность. Необходимо учитывать, что в системах с Event Sourcing и потоковой обработкой данных может возникать конечная согласованность (eventual consistency). Это значит, что изменения состояния могут не сразу отразиться во всех частях системы. thecode.media +1
• Идемпотентность. Обработчики должны быть идемпотентными, чтобы повторное обработка одного и того же события не приводило к некорректным результатам.
• Масштабирование. При высокой нагрузке важно обеспечить горизонтальное масштабирование обработчиков и распределить нагрузку по нескольким инстансам.
• Обработка ошибок. Необходимо предусмотреть механизмы повторной обработки событий при сбоях и компенсацию ошибок.

Когда это может быть «моветоном»:

• Если обработчики пытаются одновременно изменять одно и то же состояние без должной синхронизации, это может привести к конфликтам и несогласованности данных.
• Если обработчики напрямую обновляют базу данных без использования событий, это нарушает принцип Event Sourcing, где состояние должно меняться только через события.
• Если обработчики слишком сложные и выполняют много побочных эффектов, это усложняет отладку и тестирование системы.

Рекомендации

• Используйте Event Hubs для передачи событий между сервисами, но рассмотрите отдельное хранилище для постоянного хранения событий.
• Реализуйте идемпотентность обработчиков и учитывайте возможную повторную обработку событий.
• Если требуется строгое соответствие между write и read моделями, Event Sourcing может быть не лучшим выбором. 
• Тестируйте систему на нагрузку и проверяйте обработку ошибок и повторную обработку событий.

Таким образом, использование Event Hubs в связке с Event Sourcing возможно, но требует продуманной архитектуры и учёта ограничений сервиса.