Eigener Sync-Server für Firefox (Rust) - Revision history

Wolfm: /* Schritte für Native konfiguration (ohne Virtualisierung) */

2022-11-08T14:10:23Z

Schritte für Native konfiguration (ohne Virtualisierung)

← Older revision		Revision as of 14:10, 8 November 2022
Line 22:		Line 22:
	Die Einrichtung mit Podman wird kurz gezeigt. Die Kombination mit Ansible wird nicht betrachtet.		Die Einrichtung mit Podman wird kurz gezeigt. Die Kombination mit Ansible wird nicht betrachtet.

	== Schritte für ~~Native~~ ~~konfiguration~~ (ohne Virtualisierung) ==		== Schritte für native Konfiguration (ohne Virtualisierung) ==

	Die Installation wird auf [https://archlinux.org Arch Linux] im Oktober 2022 durchgeführt.		Die Installation wird auf [https://archlinux.org Arch Linux] im Oktober 2022 durchgeführt.

Wolfm: /* Ausblick */

2022-11-08T14:07:35Z

Ausblick

← Older revision		Revision as of 14:07, 8 November 2022
Line 19:		Line 19:
	=== Ausblick ===		=== Ausblick ===

	Der nächste ~~naheliegende~~ Schritt ist das Setup mit Docker bzw. Podman zu erweitern und möglicherweise mittels Ansible zu verwalten.		Der nächste nahe liegende Schritt ist das Setup mit Docker bzw. Podman zu erweitern und möglicherweise mittels Ansible zu verwalten.
	Die Einrichtung mit Podman wird kurz gezeigt. Die Kombination mit Ansible wird nicht betrachtet.		Die Einrichtung mit Podman wird kurz gezeigt. Die Kombination mit Ansible wird nicht betrachtet.

Wolfm: /* Aufbau */

2022-11-08T14:07:08Z

Aufbau

← Older revision		Revision as of 14:07, 8 November 2022
Line 14:		Line 14:
	Beide lassen sich mit der gleichen Datenbank und mit dem gleichen Programm parallel laufen lassen.		Beide lassen sich mit der gleichen Datenbank und mit dem gleichen Programm parallel laufen lassen.
	Zwischenzeitlich sah es so aus, als müsste zusätzlich zu dem Rust-Storage der legacy python2 syncserver als tokenserver laufen[https://github.com/mozilla-services/syncstorage-rs/tree/fca795e3c09c7feee12b450791a53bb0a2871b48#connecting-to-firefox].		Zwischenzeitlich sah es so aus, als müsste zusätzlich zu dem Rust-Storage der legacy python2 syncserver als tokenserver laufen[https://github.com/mozilla-services/syncstorage-rs/tree/fca795e3c09c7feee12b450791a53bb0a2871b48#connecting-to-firefox].
	Dies stellte sich als veraltete Information ~~hearus~~ heraus.		Dies stellte sich als veraltete Information heraus.
	Der ~~Syncstorage~~-rs implementiert nun auch den Tokenserver und das Setup kommt ohne den legacy python2 syncserver aus.		Der syncstorage-rs implementiert nun auch den Tokenserver und das Setup kommt ohne den legacy python2 syncserver aus.

	=== Ausblick ===		=== Ausblick ===

	Der nächste naheliegende Schritt ist das ~~setup~~ mit Docker bzw. Podman zu erweitern und möglicherweise mittels Ansible zu verwalten.		Der nächste naheliegende Schritt ist das Setup mit Docker bzw. Podman zu erweitern und möglicherweise mittels Ansible zu verwalten.
	Die Einrichtung mit Podman wird kurz gezeigt. Die ~~Kobination~~ mit Ansible wird nicht betrachtet.		Die Einrichtung mit Podman wird kurz gezeigt. Die Kombination mit Ansible wird nicht betrachtet.

	== Schritte für Native konfiguration (ohne Virtualisierung) ==		== Schritte für Native konfiguration (ohne Virtualisierung) ==

Manuel Bucher: /* Ressourcen */

2022-10-30T21:24:39Z

Ressourcen

← Older revision		Revision as of 21:24, 30 October 2022
Line 170:		Line 170:
	# Arch linux AUR-Paket: https://aur.archlinux.org/packages/firefox-syncstorage-git#comment-840519		# Arch linux AUR-Paket: https://aur.archlinux.org/packages/firefox-syncstorage-git#comment-840519
	# Möglicherweise hilfreicher issue zum debuggen vom Reverse-Proxy: https://github.com/mozilla-services/syncstorage-rs/issues/1217		# Möglicherweise hilfreicher issue zum debuggen vom Reverse-Proxy: https://github.com/mozilla-services/syncstorage-rs/issues/1217
			# [[Media:Ffsync folien.pdf \| Folien]]

Manuel Bucher: /* Konfiguratoin vom Sync-Server */

2022-10-30T21:22:56Z

Konfiguratoin vom Sync-Server

← Older revision		Revision as of 21:22, 30 October 2022
Line 53:		Line 53:
	$ make run		$ make run

	=== ~~Erster start~~ vom Sync-Server ===		=== Konfiguratoin vom Sync-Server ===

			In Configdatei: <code>config/local.example.toml</code> ist eine Beispielkonfiguration, die nach `config/local.toml` kopiert und angepasst werden muss.
	In Configdatei: <code>mysql://syncstorage:hidden@localhost/syncstorage</code>

	$ head -c 20 /dev/urandom \| sha1sum # generieren des master_secrets		$ head -c 20 /dev/urandom \| sha1sum # generieren des master_secrets
	$ cp config/local.example.toml config/local.toml		$ cp config/local.example.toml config/local.toml
	$ vim config/local.toml		$ vim config/local.toml

			So sieht die Konfiguration nach Anpassung aus.

	<pre>		<pre>
			# Example MySQL DSN: die URI ist nach dem schema: "schema://nutzername:passwort@hostname/datenbankname" aufgebaut
	# Example MySQL DSN:
	database_url = "mysql://syncstorage:ix79unOS0nF9jvTgVsQS9Q01jseiYFBq@localhost/syncstorage_rs"		database_url = "mysql://syncstorage:ix79unOS0nF9jvTgVsQS9Q01jseiYFBq@localhost/syncstorage_rs"

	# Example Spanner DSN:
	# database_url="spanner://projects/SAMPLE_GCP_PROJECT/instances/SAMPLE_SPANNER_INSTANCE/databases/SAMPLE_SPANNER_DB"

	"limits.max_total_records"=1666 # See issues #298/#333		"limits.max_total_records"=1666 # See issues #298/#333
			# mittels "head -c 20 /dev/urandom" generiert
	master_secret = "7102dceffaf5ce47e5e16b94be8bd729cf74c3bc"		master_secret = "7102dceffaf5ce47e5e16b94be8bd729cf74c3bc"

Line 81:		Line 81:
	# Example Tokenserver settings:		# Example Tokenserver settings:
	disable_syncstorage = false		disable_syncstorage = false
			# hier kann die gleiche Datenbank wie oben verwendet werden
	tokenserver.database_url = "mysql://syncstorage:hidden@localhost/syncstorage_rs"		tokenserver.database_url = "mysql://syncstorage:hidden@localhost/syncstorage_rs"
	tokenserver.enabled = true		tokenserver.enabled = true
	tokenserver.fxa_email_domain = "api.accounts.stage.mozaws.net"		tokenserver.fxa_email_domain = "api.accounts.stage.mozaws.net"
			# das gleiche secret wie oben
	tokenserver.fxa_metrics_hash_secret = "7102dceffaf5ce47e5e16b94be8bd729cf74c3bc"		tokenserver.fxa_metrics_hash_secret = "7102dceffaf5ce47e5e16b94be8bd729cf74c3bc"
	tokenserver.fxa_oauth_server_url = "https://oauth.accounts.firefox.com"		tokenserver.fxa_oauth_server_url = "https://oauth.accounts.firefox.com"
Line 89:		Line 91:
	tokenserver.fxa_browserid_issuer = "https://api-accounts.stage.mozaws.net"		tokenserver.fxa_browserid_issuer = "https://api-accounts.stage.mozaws.net"
	tokenserver.fxa_browserid_server_url = "https://verifier.stage.mozaws.net/v2"		tokenserver.fxa_browserid_server_url = "https://verifier.stage.mozaws.net/v2"
			# die nächsten zwei Konfigurationen können sich in folgenden Versionen ändern, sie waren nicht dokumentiert, aber notwendig, um den service zu starten
	tokenserver.test_mode_enabled = false		tokenserver.test_mode_enabled = false
	tokenserver.additional_blocking_threads_for_fxa_requests = 2		tokenserver.additional_blocking_threads_for_fxa_requests = 2

Manuel Bucher: /* Nginx Reverse Proxy */

2022-10-30T21:17:14Z

Nginx Reverse Proxy

← Older revision		Revision as of 21:17, 30 October 2022
Line 102:		Line 102:
	$ sudo pacman -S nginx		$ sudo pacman -S nginx

	Dann die `/etc/nginx/nginx.conf` anpassen, um einen reverse-proxy zu konfigurieren.		Dann die <code>/etc/nginx/nginx.conf</code> anpassen, um einen reverse-proxy zu konfigurieren.

	<pre>		<pre>

Manuel Bucher: /* Rootless Podman */

2022-10-30T21:16:48Z

Rootless Podman

← Older revision		Revision as of 21:16, 30 October 2022
Line 155:		Line 155:

	Anschließend muss das <code>Dockerfile</code> und die <code>docker-compose.yml</code> noch angepasst werden. Bei den Containernamen muss noch ein docker.io/ geprefixed werden (Dieser Schritt fällt weg, wenn [https://github.com/mozilla-services/syncstorage-rs/pull/1431 mein PR] gemerged wurde).		Anschließend muss das <code>Dockerfile</code> und die <code>docker-compose.yml</code> noch angepasst werden. Bei den Containernamen muss noch ein docker.io/ geprefixed werden (Dieser Schritt fällt weg, wenn [https://github.com/mozilla-services/syncstorage-rs/pull/1431 mein PR] gemerged wurde).

			Die Konfiguration läuft über die <code>docker-compose.mysql.yaml</code>

			Dann können die container gestartet werden über <code>podman build .</code> und <code>docker-compose -f docker-compose.mysql.yaml up -d</code>.
			Anschließend läuft der container.

	== Ressourcen ==		== Ressourcen ==

Manuel Bucher: /* Nginx Reverse Proxy */

2022-10-30T21:08:48Z

Nginx Reverse Proxy

← Older revision		Revision as of 21:08, 30 October 2022
Line 99:		Line 99:

	=== Nginx Reverse Proxy ===		=== Nginx Reverse Proxy ===

			$ sudo pacman -S nginx

			Dann die `/etc/nginx/nginx.conf` anpassen, um einen reverse-proxy zu konfigurieren.

			<pre>
			worker_processes 1;
			events {
			worker_connections 1024;
			}
			http {
			include mime.types;
			default_type application/octet-stream;
			sendfile on;
			keepalive_timeout 65;

			server {
			listen 443 ssl;
			server_name syncserver.example.com;

			ssl_certificate fullchain.pem;
			ssl_certificate_key privkey.pem;

			ssl_session_cache shared:SSL:1m;
			ssl_session_timeout 5m;

			ssl_ciphers HIGH:!aNULL:!MD5;
			ssl_prefer_server_ciphers on;

			location / {
			proxy_pass http://127.0.0.1:8000;
			proxy_set_header Host $host;
			proxy_set_header X-Forwarded-Host $host;
			proxy_set_header X-Forwarded-Server $host;
			proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
			proxy_set_header X-Forwarded-Proto $scheme;
			}
			}
			}
			</pre>

			Anschließend muss die config neu geladen werden und unter arch nginx gestartet werden.

			$ sudo systemctl start nginx # oder
			$ sudo systemctl reload nginx # wenn nginx schon läuft

	== Rootless Podman ==		== Rootless Podman ==

Manuel Bucher at 20:44, 30 October 2022

2022-10-30T20:44:52Z

← Older revision		Revision as of 20:44, 30 October 2022
Line 22:		Line 22:
	Die Einrichtung mit Podman wird kurz gezeigt. Die Kobination mit Ansible wird nicht betrachtet.		Die Einrichtung mit Podman wird kurz gezeigt. Die Kobination mit Ansible wird nicht betrachtet.

	== Schritte ==		== Schritte für Native konfiguration (ohne Virtualisierung) ==

	Die Installation wird auf Arch Linux im Oktober 2022 durchgeführt.		Die Installation wird auf [https://archlinux.org Arch Linux] im Oktober 2022 durchgeführt.
	Die Technologien und Konfigurationen verändern sich mit der Zeit, vor allem bei der Konfiguration von dem Syncstorage-Server sollte auf die aktuelle Beispielconfig geschaut werden.		Die Technologien und Konfigurationen verändern sich mit der Zeit, vor allem bei der Konfiguration von dem Syncstorage-Server sollte auf die aktuelle Beispielconfig geschaut werden.
	Die Anleitung auf dieser Seite nimmt [https://github.com/mozilla-services/syncstorage-rs/blob/3a18de01bbf5b5c0bcb87d4176fde14840629ae2/config/local.example.toml] als Basis.		Die Anleitung auf dieser Seite nimmt [https://github.com/mozilla-services/syncstorage-rs/blob/3a18de01bbf5b5c0bcb87d4176fde14840629ae2/config/local.example.toml] als Basis.
Line 55:		Line 55:
	=== Erster start vom Sync-Server ===		=== Erster start vom Sync-Server ===

	In Configdatei: `mysql://syncstorage:hidden@localhost/syncstorage`		In Configdatei: <code>mysql://syncstorage:hidden@localhost/syncstorage</code>

	$ head -c 20 /dev/urandom \| sha1sum # generieren des master_secrets		$ head -c 20 /dev/urandom \| sha1sum # generieren des master_secrets
Line 81:		Line 81:
	# Example Tokenserver settings:		# Example Tokenserver settings:
	disable_syncstorage = false		disable_syncstorage = false
	tokenserver.database_url = "mysql://syncstorage:~~ix79unOS0nF9jvTgVsQS9Q01jseiYFBq~~@localhost/syncstorage_rs"		tokenserver.database_url = "mysql://syncstorage:hidden@localhost/syncstorage_rs"
	tokenserver.enabled = true		tokenserver.enabled = true
	tokenserver.fxa_email_domain = "api.accounts.stage.mozaws.net"		tokenserver.fxa_email_domain = "api.accounts.stage.mozaws.net"
Line 96:		Line 96:
	cors_allowed_origin = "null"		cors_allowed_origin = "null"
	# cors_max_age = 86400		# cors_max_age = 86400

	</pre>		</pre>

			=== Nginx Reverse Proxy ===

			== Rootless Podman ==

			Für rootless-podman müssen dem Nutzer. Siehe [https://docs.podman.io/en/latest/markdown/podman.1.html#rootless-mode Rootless mode] in der man page von podman.

			$ sudo pacman -S podman
			$ echo USERNAME:10000:65536 >> /etc/subuid
			$ echo USERNAME:10000:65536 >> /etc/subgid
			$ su USERNAME # neu anmelden in der aktuellen shell um Änderung Effektiv zu machen.

			Anschließend muss das <code>Dockerfile</code> und die <code>docker-compose.yml</code> noch angepasst werden. Bei den Containernamen muss noch ein docker.io/ geprefixed werden (Dieser Schritt fällt weg, wenn [https://github.com/mozilla-services/syncstorage-rs/pull/1431 mein PR] gemerged wurde).

	== Ressourcen ==		== Ressourcen ==
Line 104:		Line 116:
	# [[W2022-ITS#Eigener_Sync-Server_f.C3.BCr_Firefox_.28Rust.29\|Projektbeschreibung]]		# [[W2022-ITS#Eigener_Sync-Server_f.C3.BCr_Firefox_.28Rust.29\|Projektbeschreibung]]
	# Arch linux AUR-Paket: https://aur.archlinux.org/packages/firefox-syncstorage-git#comment-840519		# Arch linux AUR-Paket: https://aur.archlinux.org/packages/firefox-syncstorage-git#comment-840519
		⚫	# Möglicherweise hilfreicher issue zum debuggen vom Reverse-Proxy: https://github.com/mozilla-services/syncstorage-rs/issues/1217

	== Zusätzliche Referenzen ==

⚫	* https://github.com/mozilla-services/syncstorage-rs/issues/1217
	*

Manuel Bucher at 19:38, 30 October 2022

2022-10-30T19:38:20Z

@@ Line 10: / Line 10: @@
 * Account Service
 == Schritte ==
 === Einrichten von Mysql für Sync-Server ===