Skip to content

Multiple Airflow 3 webservers crash because of fernet key missmatch #694

@sbernauer

Description

@sbernauer

Affected Stackable version

25.7

Affected Apache Airflow version

3.0.1

Current and expected behavior

Customer states

Bei Airflow ging es um die Verschlüsselung der Connections, die bei Airflow 3 standardmäßig durchgeführt wird. Der Webserver setzt die Fernet-Keys automatisch in der Config und nutzt sie zur Verschlüsselung. Dementsprechend kann dann nur ein Webserver (wir haben 2 ) auf die Verbindungen zugreifen, der andere bekommt einen Servererror und kann die Connection Seite nicht mehr anzeigen (Restart = beide generieren sich neue Fernet-Keys, kein Webserver konnte mehr die Connection Seite öffnen). Wir haben das Problem gelöst indem wir die Variable AIRFLOW__CORE__FERNET_KEY gesetzt haben.

Possible solution

Use the same mechanism as for JWT_TOKEN, so should be pretty straight-forward

Would you like to work on fixing this bug?

No, @adwk67 can do best

Acceptance critera

  • Must: Bug fixed
  • Should: We add a test that would have detected this. It's a should, as this can be 10 times harder as the fix itself
  • Could: We could use multiple webservers in demos, so that we might have noticed this

Metadata

Metadata

Assignees

No one assigned

    Type

    No type

    Projects

    Status

    Done

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions