Alternatywy dla Celery i kiedy je stosować

Witajcie! W poprzednich postach z serii o Celery omówiliśmy jego podstawy, zaawansowane możliwości oraz konfigurację w Django. Dziś przyjrzymy się alternatywom dla Celery, które mogą być bardziej odpowiednie w zależności od potrzeb projektu. Celery to potężne narzędzie, ale nie zawsze jest najlepszym wyborem. Czasami prostota, wydajność lub specyficzne wymagania projektu sprawiają, że warto rozważyć inne rozwiązania.

---

Django Management Commands

Opis i zastosowanie

Django Management Commands to najprostszy sposób na realizację zadań w tle bez użycia dodatkowych bibliotek. Polega na uruchamianiu specjalnych komend Django za pomocą crona lub innego harmonogramu zadań systemowych.

Zalety

• Prostota: Nie wymaga instalacji dodatkowych bibliotek.
• Brak brokera: Nie musisz konfigurować Redis ani RabbitMQ.
• Integracja z Django: Pełny dostęp do modeli i logiki aplikacji.

Wady

• Brak asynchroniczności: Zadania są wykonywane synchronicznie.
• Ograniczona skalowalność: Nie nadaje się do dużych projektów z wieloma użytkownikami.
• Brak automatycznego ponawiania w przypadku niepowodzenia.

Tak, management commands mają sporo wad, zwłaszcza jeśli miały by być uruchamiane równocześnie. Rozważmy system wysyłki 100 000 emaili dziennie. Implementacja poprzez Management Command:

def handle(self, *args, **options):
    emails = EmailQueue.objects.filter(status='PENDING')
    for email in emails:
        send_mail(
            email.subject,
            email.content,
            'noreply@example.com',
            [email.recipient],
            fail_silently=False
        )
        email.status = 'SENT'
        email.save()

Problemy:

• Czas wykonania może przekroczyć 24 godziny
• pojawi się pewien procent błedów spowodowanych timeoutami SMTP (czyli problem z połączeniem z serwerem pocztowym)
• Brak możliwości ponowienia próby wysyłki
• Całkowite zablokowanie systemu przy awarii pojedynczego emaila

Boli prawda? Tylko że użycie management commands do takiego zadania to jest zwyczajnie kiepski pomysł od samego początku.

Poniżej podaje poprawne przykłady wykorzystania management commands:

• Tworzenie i wysyłka dziennych raportów (pod warunkiem że to nie 100 000 maili)
• Usuwanie starych plików z media
• Czyszczenie nieaktywnych sesji - Django domyślnie trzyma sesje w bazie danych więc to ograniczy jej rozmiar.
• Masowa dezaktywacja kont - np. demo wygasło
• Generowanie kopii zapasowej bazy
• Monitorowanie zdrowia systemu
• itp.

Jak uruchamiać regularnie?
Przykładowy plik crontab dla powyższych komend:

0 3 * * *  python manage.py clean_old_files
0 4 * * *  python manage.py backup_database
*/15 * * * *  python manage.py system_health_check

Każda komenda powinna być:

• Atomowa - wykonuje jedno konkretne zadanie
• Idempotentna - wielokrotne wykonanie nie powoduje błędów
• Logowana - zapisuje wyniki do pliku lub systemu monitoringu
• Zabezpieczona - sprawdza uprawnienia przed wykonaniem

Przykład użycia

Przykładowa komenda do czyszczenia starej historii logów:

# app/management/commands/clean_logs.py
from datetime import datetime, timedelta
from django.core.management.base import BaseCommand
from app.models import Log

class Command(BaseCommand):
    help = 'Czyści stare logi'

    def handle(self, *args, **kwargs):
        one_year_ago = datetime.now() - timedelta(days=365)
        deleted_count = Log.objects.filter(created_at__lt=one_year_ago).delete()
        self.stdout.write(f'Usunięto {deleted_count} starych logów.')

Uruchamianie za pomocą crona:

0 2 * * * python manage.py clean_logs

Management commands są świetne, gdy są używane poprawnie.

---

Inne alternatywy

1. Django Q2

Django Q to natywna aplikacja Django do obsługi kolejek zadań, harmonogramów i procesów roboczych, wykorzystująca wieloprocesorowość języka Python (uwaga na starą wersje! Używajcie: https://django-q2.readthedocs.io/en/master/)

Zalety:

• Łatwa konfiguracja.
• Wbudowana obsługa planowania zadań (cron-like).
• Obsługa wielu brokerów wiadomości, włącznie z Django ORM

Wady:

• Ograniczona skalowalność przy >10k zadań/dzień.

Przykład konfiguracji:

# settings.py
Q_CLUSTER = {
    'name': 'DjangoQ',
    'workers': 4,
    'timeout': 90,
    'retry': 120,
    'orm': 'default',
}

Django Q jest o tyle ciekawe, że w najprotszej wersji nie wymaga Redisa czy innych dodatków. Dostajemy panel zadań w adminie i możemy definiować zadania wykonywane o konkretnych godzinach. Oczywiście, podobnie jak przy Celery, kod zadań musi być już napisany.

Dokumentacja: https://django-q2.readthedocs.io/en/master/index.html

2. Huey – Minimalistyczna kolejka dla małych projektów

Huey to lekka biblioteka do obsługi kolejek zadań. Jest prostsza niż Celery i dobrze sprawdza się w mniejszych projektach. Dodatkowo, nie wymaga Django - możecie jej używać w dowolnym projekcie.

Zalety:

• Prosta konfiguracja.
• Obsługa Redis jako backendu.
• Wbudowane planowanie zadań.

Wady:

• Mniejsza społeczność i mniej funkcji niż Celery.

Konfiguracja

# settings.py
INSTALLED_APPS = (
    # ...
    'huey.contrib.djhuey',  # Add this to the list.
    # ...
)

HUEY = {
    'name': 'project',
    'immediate': False,
    'connection': {'host': 'localhost'},
    'consumer': {'workers': 4}
}

Przykład użycia:

from huey import crontab
from huey.contrib.djhuey import periodic_task

@periodic_task(crontab(hour='*/2'))  # Co 2 godziny
def clean_cache():
    from django.core.cache import cache
    cache.clear()

Dokumentacja: https://huey.readthedocs.io/en/latest/django.html

---

3. RQ (Redis Queue)

RQ to minimalistyczna biblioteka oparta na Redisie. Idealna do prostych zastosowań.

Zalety:

• Prosty model programowania.
• Łatwa integracja z Django dzięki django-rq.

Wady:

• Brak zaawansowanych funkcji, takich jak harmonogram zadań (wymaga dodatkowych bibliotek).
• Wymaga Redisa.

Przykład użycia:

from django_rq import job

@job
def resize_image(image_id):
    img = Image.objects.get(id=image_id)
    # Operacje na obrazie
    img.processed = True
    img.save()

Dokumentacja: https://python-rq.org/ i https://github.com/rq/django-rq

---

4. APScheduler

APScheduler to biblioteka umożliwiająca planowanie i wykonywanie okresowych zadań.

Zalety:

• Świetny do harmonogramowania (cron-like).
• Nie wymaga brokera wiadomości.

Wady:

• Brak wsparcia dla kolejek asynchronicznych.
• Skomplikowana konfiguracja do współpracy z Django.

Przykład użycia:

from apscheduler.schedulers.blocking import BlockingScheduler

def generate_reports():
    # Generowanie raportów CSV
    pass

scheduler = BlockingScheduler()
scheduler.add_job(generate_reports, 'interval', hours=12, start_date='2025-01-01 00:00:00')
scheduler.start()

Dokumentacja: https://apscheduler.readthedocs.io/en/3.x/ i https://pypi.org/project/django-apscheduler/ do integracji z Django

---

5. Dramatiq

Dramatiq to kolejna alternatywa dla Celery, która kładzie nacisk na prostotę i wydajność.

Zalety:

• Szybka konfiguracja.
• Wsparcie dla RabbitMQ i Redisa jako brokerów.

Wady:

• Mniejsza społeczność niż Celery.
• Brak natywnej integracji z Django Admin

Przykład użycia:

from dramatiq import actor

@actor
def send_email(email_address):
    print(f"Wysłano e-mail na adres: {email_address}")

Dokumentacja: https://dramatiq.io/motivation.html

Porównanie Celery z alternatywami

Narzędzie	Prostota	Wydajność	Integracja z Django	Skalowalność
Celery	Średnia	Wysoka	Bardzo dobra	Bardzo dobra
Django Q	Wysoka	Średnia	Bardzo dobra	Średnia
Huey	Wysoka	Średnia	Dobra	Średnia
RQ	Bardzo wysoka	Średnia	Dobra	Średnia
APScheduler	Bardzo wysoka	Niska	Ograniczona	Niska
Dramatiq	Wysoka	Wysoka	Dobra	Bardzo dobra

Kiedy warto wybrać Celery, a kiedy rozważyć alternatywy?

1. Skala projektu

   • Małe projekty: Huey, RQ lub Django Management Commands.
   • Duże projekty: Celery lub Dramatiq.

2. Złożoność zadań

   • Proste zadania: RQ lub APScheduler.
   • Złożone przepływy: Celery lub Django Q.

3. Wymagania dotyczące skalowalności

   • Niskie wymagania: Huey lub APScheduler.
   • Wysokie wymagania: Celery lub Dramatiq.

Podsumowanie serii

Celery to potężne narzędzie, które doskonale sprawdza się w dużych projektach wymagających obsługi asynchronicznych zadań. Jednak nie zawsze jest najlepszym wyborem – istnieją prostsze i lżejsze alternatywy, które mogą być bardziej odpowiednie w zależności od potrzeb projektu. Kluczowe jest dobranie narzędzia zgodnie ze skalą projektu, wymaganiami dotyczącymi wydajności oraz doświadczeniem zespołu.

Mam nadzieję, że ta seria pomogła Ci lepiej zrozumieć świat asynchronicznych zadań w Pythonie! Jeśli masz pytania lub chcesz podzielić się swoimi doświadczeniami – zapraszam do kontaktu!

Spodobał Ci się post?
Podziel się nim!

Masz uwagi do posta, chcesz porozmawiać, szukasz pomocy z Pythonem i Django? Napisz do mnie!

Dołącz do społeczności PyMasters, gdzie możesz wziąć udział w ciekawych projektach i podnosić swoje umiejętności w Pythonie i Django.

Pobierz mojego bezpłanego ebooka: WARSZTAT JUNIORA Przewodnik po kluczowych kompetencjach i narzędziach dla początkującego programisty Pythona

Zapraszam do zadawania pytań przez formularz kontaktowy. Pamiętaj, że jeśli potrzebujesz wsparcia, możesz napisać do mnie - pomogę.