Update hwdb and translations (#35048)

Introduce systemd-sbsign to do secure boot signing (#35021)

Currently in mkosi and ukify we use sbsigntools to do secure boot
signing. This has multiple issues:

- sbsigntools is practically unmaintained, sbvarsign is completely
broken with the latest gnu-efi when built without -fshort-wchar and
upstream has completely ignored my bug report about this.
- sbsigntools only supports openssl engines and not the new providers
API.
- sbsigntools doesn't allow us to cache hardware token pins in the
kernel keyring like we do nowadays when we sign stuff ourselves in
systemd-repart or systemd-measure

There are alternative tools like sbctl and pesign but these do not
support caching hardware token pins in the kernel keyring either.

To get around the issues with sbsigntools, let's introduce our own
tool systemd-sbsign to do secure boot signing. This allows us to
take advantage of our own openssl infra so that hardware token pins
are cached in the kernel keyring as expected and we get openssl
provider support as well.

Update NEWS for recent PRs

networkd: add possibility to specify MulticastIGMPVersion

Grammar and formatting for DeviceTree docs (#35050)

Update translations

ninja -C build systemd-pot
ninja -C build systemd-update-po

Update hwdb

ninja -C build update-hwdb

ukify: Add --signing-provider= option

po: Translated using Weblate (French)

Currently translated at 100.0% (253 of 253 strings)

Co-authored-by: Léane GRASSER <leane.grasser@proton.me>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/fr/
Translation: systemd/main

docs/TPM2_PCR_MEASUREMENTS: drop quotes from around section titles

The section headers used quotes as if the strings were some constants. But
AFAICT, those are just normal plain-text titles. Also lowercase them, because
this is almost like a table and it's easier to read without capitalization.

tree-wide: use Device*T*ree spelling

We used both, in fact "Devicetree" was more common. But we have a general rule
that we capitalize all words in names and also we have a DeviceTree=
configuration setting, which we cannot change. If we use two different
spelllings, this will make it harder for people to use the correct one in
config files. So use the "DeviceTree" spelling everywhere.

introduce report_errno_and_exit() helper (#35028)

This is a follow for https://github.com/systemd/systemd/pull/34853. In
particular, this comment
https://github.com/systemd/systemd/pull/34853#discussion_r1825837705.

core/manager: silence false-positive warning by coverity

Follow-up for 406f1775017a5631bc91a1f53ac5e50f4fbfac0c.

Closes CID#1564897.

machine: introduce io.systemd.Machine.Open method (#34867)

This PR introduces io.systemd.Machine.Open method which combines three
DBus alternatives:
- OpenMachinePTY
- OpenMachineLogin
- OpenMachineShell

The PR contains basic tests.

pid1: stop refusing to boot with cgroup v1

Since v256 we completely fail to boot if v1 is configured. Fedora 41 was just
released with v256.7 and this is probably the first major exposure of users to
this code. It turns out not work very well. Fedora switched to v2 as default in
F31 (2019) and at that time some people added configuration to use v1 either
because of Docker or for other reasons. But it's been long enough ago that
people don't remember this and are now very unhappy when the system refuses to
boot after an upgrade.

Refusing to boot is also unnecessarilly punishing to users. For machines that
are used remotely, this could mean somebody needs to physically access the
machine. For other users, the machine might be the only way to access the net
and help, and people might not know how to set kernel parameters without some
docs. And because this is in systemd, after an upgrade all boot choices are
affected, and it's not possible to e.g. select an older kernel for boot. And
crashing the machine doesn't really serve our goal either: we were giving a
hint how to continue using v1 and nothing else.

If the new override is configured, warn and immediately boot to v1.
If v1 is configured w/o the override, warn and wait 30 s and boot to v2.
Also give a hint how to switch to v2.

https://bugzilla.redhat.com/show_bug.cgi?id=2323323
https://bugzilla.redhat.com/show_bug.cgi?id=2323345
https://bugzilla.redhat.com/show_bug.cgi?id=2322467
https://www.reddit.com/r/Fedora/comments/1gfcyw9/refusing_to_run_under_cgroup_01_sy_specified_on/

The advice is to set systemd.unified_cgroup_hierarchy=1 (instead of removing
systemd.unified_cgroup_hierarchy=0). I think this is easier to convey. Users
who are understand what is going on can just remove the option instead.

The caching is dropped in cg_is_legacy_wanted(). It turns out that the
order in which those functions are called during early setup is very fragile.
If cg_is_legacy_wanted() is called before we have set up the v2 hierarchy,
we incorrectly cache a true answer. The function is called just a handful
of times at most, so we don't really need to cache the response.

man/systemd-stub: rework the description of sections

The text added for .dtbauto/.hwids was very hard to grok. This rewords it to be
proper English. No semantic changes are intended.

When updating this, I noticed that the interaction of multi-profile UKIs and
dtb autoselection is very unclear, a FIXME is added.

ukify: Add support for systemd-sbsign

sbsign: Add validate-key verb

This verb checks that we can load the specified private key.

Introduce systemd-sbsign to do secure boot signing

Currently in mkosi and ukify we use sbsigntools to do secure boot
signing. This has multiple issues:

- sbsigntools is practically unmaintained, sbvarsign is completely
broken with the latest gnu-efi when built without -fshort-wchar and
upstream has completely ignored my bug report about this.
- sbsigntools only supports openssl engines and not the new providers
API.
- sbsigntools doesn't allow us to cache hardware token pins in the
kernel keyring like we do nowadays when we sign stuff ourselves in
systemd-repart or systemd-measure

There are alternative tools like sbctl and pesign but these do not
support caching hardware token pins in the kernel keyring either.

To get around the issues with sbsigntools, let's introduce our own
tool systemd-sbsign to do secure boot signing. This allows us to
take advantage of our own openssl infra so that hardware token pins
are cached in the kernel keyring as expected and we get openssl
provider support as well.

machine: tests for io.systemd.Machine.Open

machine: introduce io.systemd.Machine.Open method

json: introduce json_dispatch_strv_environment()

I just moved json_dispatch_environment() from src/shared/user-record.c
under name 'json_dispatch_strv_environment()' to shared json code.

machine: machine_default_shell_path() & machine_default_shell_args() helper functions

machine: introduce machine_start_getty() and machine_start_shell() helpers

use report_errno_and_exit() in src/core/exec-invoke.c

use report_errno_and_exit() in src/shared/elf-util.c

use report_errno_and_exit() in src/shared/dissect-image.c

use report_errno_and_exit() in src/shared/mount-util.c

use report_errno_and_exit() in src/shutdown/umount.c

process-util: introduce report_errno_and_exit() as part of src/basic/process-util.{h,c}

man/varlink: fix typo

Follow-up for 4f5fabe7a39f046e0456eba07472df061e85c94e.

man/udev: fix typo

Follow-up for df8f9b88bd41320653fe1c51ea515a2d03a349df.

man/systemd-measure: add forgotten "="

Both syntaxes work, but let's use one syntax for consistency.

Fixup for 0641ce809a27cc1bc358924c26770f19d1213ec1.

man/systemd-measure: update to new ukify syntax, non-root operation

It's been a while, but systemd-measure doesn't need root, and
ukify has a more modern syntax.

network: reconfigure interface more gracefully (#35035)

split-out of #34989.

UKI: Introduce `.dtbauto` sections (#34855)

Split out from #34158

namespace-util: make idmapping not supported if syscalls return EPERM

Various man page updates (#35032)

Fixes: #34996
Fixes: #15032
Fixes: #32751
Fixes: #33130
Fixes: #34735
Fixes: #34840
Fixes: #34949

mount-util: introduce path_is_network_fs_harder() and use it in networkd (#35040)

Closes #32426.

man: convert multiple left-over "See Also" sections to <simplelist>

These were forgotten during the initial conversion, probably because
most of them consisted only of a single entry.

Fix that.

man: link up D-Bus API docs from daemon man pages

Let's systematically make sure that we link up the D-Bus interfaces from
the daemon man pages once in prose and once in short form at the bottom
("See Also"), for all daemons.

Also, add reverse links at the bottom of the D-Bus API docs.

Fixes: #34996

man: point people from sd-bus man page to busctl

man: add brief entrypoint man page for sd-varlink

We have this in a similar fashion for the other APIs libsystemd
provides. Add the same for sd-varlink. There isn't too much on it for
now, but at least it's a start.

Also link it up everywhere.

man: tone down claims on processes having exited already in ExecStop=

Processes can easily survive the first kill operation we execute, hence
we shouldn't make strong claims about them having exited already. Let's
just say "likely" hence.

Fixes: #15032

man: document that .path units don't care for hidden files

Fixes: #32751

man: document that PrivateTmp= is unaffected by ProtectSystem=strict

Fixes: #33130

man: highlight the privilege issues around the LogControl1 more

Let's emphasize the privilege thing with a <caution> section.

Let's also point out that other D-Bus libraries are less restrictive
than sd-bus by default regarding permission access.

Fixes: #34735

man: Document stub behaviour for .hwids and .dtbauto sections

stub: Handle .dtbauto sections

measure: Introduce .dtbauto support

uki: add new .dtbauto PE section type

.dtbauto section contains DT blobs, just like .dtb, the difference is
that multiple .dtbauto sections are allowed to be in a UKI and only one
is selected automatically

Temporarily drop an assert_cc() check in systemd-measure to make it compilable before the next commit

measure: introduce support for a .hwids section

boot: Add .dtbauto section matching in PE section discovery against HWIDs and FW-provided DT

man: don't claim SELinuxContext= only worked in the system service manager

Fixes: #34840

man: document the timeout applied to /usr/lib/systemd/system-shutdown/ drop-in binaries

Fixes: #34949

test: delete /swapfile after swapoff

[   23.608342] TEST-55-OOMD.sh[689]: + btrfs filesystem mkswapfile -s 64M /swapfile
[   23.651930] TEST-55-OOMD.sh[704]: ERROR: cannot create new swapfile: File exists

network: handle ENODATA better with DNR

It is normal for DHCP leases not to have DNR options. We need to be less
verbose and more forgiving in these cases. Also, if either DHCP does not
have DNR options, make sure to still consider any DHCPv6/RA options.

Fixes: c7c9e3c7c016 (network: adjust log message about DNR)

network: use path_is_network_fs_harder()

Closes #32426.

mount-util: introduce path_is_network_fs_harder()

It also detects e.g. glusterfs or mounts with "_netdev" option.

tree-wide: time-out → timeout

For justification, see 3f9a0a522f2029e9295ea5e9984259022be88413.

boot: Add HWID calculation from SMBIOS strings and matching against a built-in list

boot: Add firmware_devicetree_exists()

boot: add matching against FW-provided Devicetree blob

Add support for matching the DT contained in a .dtb section of the
UKI image against the FW provided FDT or arbitrary compatible.

openssl-util: Set default UI method instead of setting engine method

While for engines we have ENGINE_ctrl() to set the UI method for the
second PIN prompt, for openssl providers we don't have such a feature
which means we get the default openssl UI for the second pin prompt.

Instead, let's set the default UI method which does get used for the
second pin prompt by the pkcs11 provider.

Add PrivatePIDs= (continued) (#34940)

network: introduce LINK_RECONFIGURE_CLEANLY flag

And use it when explicit reconfiguration is requested by Reconfigure() DBus method
or networkd certainly detects that connected network is changed.
Otherwise do not use the flag especially when we come back from sleep mode.

network: keep dynamic configurations as possible as we can on reconfigure

E.g. when a .network file is updated, but DHCP setting is unchanged, it
is not necessary to drop acquired DHCP lease.
So, let's not stop DHCP client and friends in link_reconfigure_impl(),
but stop them later when we know they are not necessary anymore.

Still DHCP clients and friends are stopped and leases are dropped when
the explicit reconfiguration is requested

network: merge link_foreignize_config() and link_drop_foreign_config()

When a reconfiguration of an interface is triggered, previously we
call link_foreignize_config(), which sets all static configurations as
foreign, then later call link_drop_foreign_config(), which drops
unnecessary foreign configurations.

This commit merges these two steps into one, link_drop_unmanaged_config(),
which drops unnecessary static and foreign configurations.

Also, this renames link_drop_managed_configs() to
link_drop_static_config(), as it only drops static configurations.
Note that dynamically aquired configurations are dropped by
link_stop_engines().

network: several cleanups for link_reconfigure()

Effectively no functional changes, just refactoring and preparation for
later changes.

- convert boolean flag 'force' to LinkReconfigurationFlag enum,
- merge link_reconfigure() and reconfigure_handler_on_bus_method_reload() as
  link_reconfigure_full(),
- Rename ReconfigureData -> LinkReconfigurationData,
- make Reconfigure() DBus message wait for reconfiguration being
  started before sending reply.

network: split out link_enter_unmanaged() from link_reconfigure_impl()

No functional change, just refactoring.

Translations update from Fedora Weblate (#35031)

po: Translated using Weblate (German)

Currently translated at 90.9% (230 of 253 strings)

po: Translated using Weblate (German)

Currently translated at 89.3% (226 of 253 strings)

po: Translated using Weblate (German)

Currently translated at 88.9% (225 of 253 strings)

po: Translated using Weblate (German)

Currently translated at 88.1% (223 of 253 strings)

Co-authored-by: Weblate Translation Memory <noreply-mt-weblate-translation-memory@weblate.org>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/de/
Translation: systemd/main

po: Translated using Weblate (German)

Currently translated at 90.9% (230 of 253 strings)

po: Translated using Weblate (German)

Currently translated at 89.3% (226 of 253 strings)

po: Translated using Weblate (German)

Currently translated at 88.9% (225 of 253 strings)

po: Translated using Weblate (German)

Currently translated at 88.1% (223 of 253 strings)

Co-authored-by: Ettore Atalan <atalanttore@googlemail.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/de/
Translation: systemd/main

run: handle gracefully if we can't find binary client-side due to perms

Fixes: #35022

core: Introduce PrivatePIDs=

This new setting allows unsharing the pid namespace in a unit. Because
you have to fork to get a process into a pid namespace, we fork in
systemd-executor to get into the new pid namespace. The parent then
sends the pid of the child process back to the manager and exits while
the child process continues on with the rest of exec_invoke() and then
executes the actual payload.

Communicating the child pid is done via a new pidref socket pair that is
set up on manager startup.

We unshare the PID namespace right before the mount namespace so we
mount procfs correctly. Note PrivatePIDs=yes always implies MountAPIVFS=yes
to mount procfs.

When running unprivileged in a user session, user namespace is set up first
to allow for PID namespace to be unshared. However, when running in
privileged mode, we unshare the user namespace last to ensure the user
namespace does not own the PID namespace and cannot break out of the sandbox.

Note we disallow Type=forking services from using PrivatePIDs=yes since the
init proess inside the PID namespace must not exit for other processes in
the namespace to exist.

Note Daan De Meyer did the original work for this commit with Ryan Wilson
addressing follow-ups.

Co-authored-by: Daan De Meyer <daan.j.demeyer@gmail.com>

pcrlock: Move pe_hash() and uki_hash() to pe-binary.h

Let's move these to shared so we can reuse pe_hash() in the upcoming
systemd-sbsign.

mkosi: Add ruff and mypy to tools tree packages

fundamental: Add HWID calculation

boot: Add xnew0

Same as xnew but initialized with zeros

resolved: log error messages for openssl/gnutls context creation

In https://bugzilla.redhat.com/show_bug.cgi?id=2322937 we're getting
an error message:
Okt 29 22:21:03 fedora systemd-resolved[29311]: Could not create manager: Cannot allocate memory
I expect that this actually comes from dnstls_manager_init(), the
openssl version. But without real logs it's hard to know for sure.

Use EIO instead of ENOMEM, because the problem is unlikely to be actually
related to memory.

network: limit the total number of Encrypted DNS options processed

We need a sensible limit on the number of Encrypted DNS options allowed
so that the set of resolvers per link does not grow without bound.

Fixes: 0c90d1d2f243 ("ndisc: Parse RFC9463 encrypted DNS (DNR) option")

sd-daemon: some tweaks (#35011)

ci: add coverage for builds without sd-boot (#35016)

This should catch compilation issues such as:
https://github.com/systemd/systemd/pull/35014

ci: add coverage for builds without sd-boot

This should catch compilation issues such as:
https://github.com/systemd/systemd/pull/35014

test: set nullglob to avoid failure when building without sd-boot

2024-11-04T20:13:17.3258095Z + for loader in build/src/boot/efi/*{.efi,.efi.stub}
2024-11-04T20:13:17.3258275Z ++ sbverify --list 'build/src/boot/efi/*.efi'
2024-11-04T20:13:17.3258525Z + [[ Error reading file build/src/boot/efi/*.efi: No such file or directory
2024-11-04T20:13:17.3258952Z Can't open image build/src/boot/efi/*.efi != \N\o\ \s\i\g\n\a\t\u\r\e\ \t\a\b\l\e\ \p\r\e\s\e\n\t ]]

test: fix tool name in comment

network: sevearal random trivial cleanups (#34994)

split-out of #34989.

tmpfiles: Implement L? to only create symlinks if source exists

This allows a single tmpfiles snippet with lines to symlink directories
from /usr/share/factory to be shared across many different configurations
while making sure symlinks only get created if the source actually exists.

network/dhcp4: keep DHCP address and routes on stop even when SendDecline=yes

KeepConfiguration=dhcp or dhcp-on-stop already violate RFC. It is not
necessary to honor the RFC about sending decline message on stop.

network: expose log_route_debug() and log_address_debug()

They will be used in another file in a later commit.

network: add more debugging logs

This also fixes the position of the logging "Enumeration completed.",
and downgrade its log level.

network: check if interface is initialized after enumeration completed

We enumerate interfaces at first, then enumerate other configurations
like addresses and so on. If we are running on a container, previously
we started to configure the enumerated interfaces before enumerating other
configurations.
Let's configure interfaces after all configurations are enumerated.

network: check earlier if we are running in test mode

network: introduce network_config_source_from_string()

It is currently unused, but will be used later.
Preparation for later commits.

network/json: add missing entries for route properties

network: remove unexpected netlink socket from service manager

daemon-util: expose notify_push_fd()

It will be used in a later commit.

network/address: slightly optimize link_address_is_dynamic()

network: realign string table

exec-invoke: Add debug logging for setup_private_users()