network: introduce manager_serialize()/deserialize()

Currently, only configuration sources and providers of addresses and
routes are serialized/deserialized.
This should mostly not change behavior, as dynamic (except for DHCPv4)
configurations will be dropped before stopping networkd, and for DHCPv4
protocol, we have already had another logic to handle DHCPv4
configurations.
Preparation for later commits.

namespace-util: pin pid via pidfd during namespace_open()

network/ndisc: fix removal of unnecessary routes (#35128)

Follow-up for 972f1d17ab461a51142a142609dd3ec50bae8440.

This fixes the logic of removing unnecessary routes configured by the
previously received RAs. Previously, we wrongly handled existing routes
could be updated, and unexpected routes would be kept.

sd-boot/sd-stub: two log message fixes (#35143)

Fixes: #35033
Fixes: #35100

audit-util: return -ENODATA from audit_{session|loginuid}_from_pid() if invoked in a container (#35072)

The auditing subsystem is still not virtualized for containers, hence
the two values don't really make sense inside them, they will just leak
information from outside into the container. Hence don't make use of the
data if we detect we are run inside of a container.

This has visible effects: logind will no longer try to reuse the
auditing session ids as its own session ids when run inside a container.

While are at it, modernize the calls in more ways:

1. switch to pidref behaviour, all but one of our uses are using pidref
anyway already.
2. use read_virtual_file() + proc_mounted()
3. reasonably distinguish ENOENT errors when reading the process proc
files: distinguish the case where /proc is not mounted, from the case
where the process is already gone, from where auditing is not enabled in
the kernel build.

ptyfwd: ellipsize overly long window titles

Apparently some terminal emulators have problems with overly long
titles, hence truncate them at some safe length (128).

Also, when parsing ANSI sequences ourselves accept longer sequences
(192), after all we should be fine when parsing our own title sequences.

Fixes: #35104

various: check meson feature flag early

Prompted by https://github.com/systemd/systemd/pull/35110#discussion_r1835885340

pe: use PE_SECTION_VECTOR_IS_SET() macro where appropriate

pe: remove unnecessary log message about DT/HWID

Fixes: #35100

efi: don't log if EFI RNG isn't ready

Apparently this happens IRL on some systems, let's handle this
gracefully and don't log.

Fixes: #35033

run0: when changing privileges to non-root, do not show superhero emoji

Let's show an idcard logo instead, to indicate that we changed ids.

dbus-manager: add missing word 'unit' to PK message

tree-wide: remove some dead code (#35137)

process-util: more gracefully handle oom adjust parsing/setting

Who knows what kind of mount shenanigans people employ, let's gracefully
handle parse failures of proc files, like we alway do otherwsie.

audit-util: modernize use_audit() a bit

Use ERRNO_IS_xyz() macros where appropriate.

Also, reduce indentation a bit by inverted early check.

And log in more error codepaths.

audit-util: return -ENODATA from audit_{session|loginuid}_from_pid() if invoked in a container

The auditing subsystem is still not virtualized for containers, hence the two
values don't really make sense inside them, they will just leak
information from outside into the container. Hence don't make use of the
data if we detect we are run inside of a container.

This has visible effects: logind will no longer try to reuse the
auditing session ids as its own session ids when run inside a container.

While are at it, modernize the calls in more ways:

1. switch to pidref behaviour, all but one of our uses are using pidref
   anyway already.
2. use read_virtual_file() + proc_mounted()
3. reasonable distinguish ENOENT errors when reading the process proc
   files: distinguish the case where /proc is not mounted, from the case
   where the process is already gone, from where auditing is not enabled
   in the kernel build.

mkosi: ruff is not available on all distros

Refactor to only install ruff where it is available

TODO: Fix typo (#35138)

Replace confex with confext

nspawn: fix indentation of run_container() parameter list

mntwork: shorten code

dissect-image: remove dead code

mountfsd: drop unused variable

sbsign: remove unused --no-pager option

mkosi: Install tpm2-tss-devel to tools for CentOS and Fedora instead of tss2-devel

tss2-devel is the IBM TPM stack, we want the Intel TPM stack, so let's
use the correct package.

Fix man page links broken due to incorrect volume numbers (#35122)

test-network: several cleanups

- fix verifiers in test_router_preference() to make them actually check
  if unnecessary routes are removed,
- stop radv in test_ndisc_vs_static_route() before checking if the static
  route is preserved even when the router sends a RA with zero lifetime,
- make verifiers in NetworkdIPv6PrefixTests stricter.

network/ndisc: restore the original preference and priority before checking if existing route can be updated

Follow-up for 972f1d17ab461a51142a142609dd3ec50bae8440.

This fixes the logic of removing unnecessary routes configured by the
previously received RAs. Previously, we wrongly handled existing routes
could be updated, and unexpected routes would be kept.

network/ndisc: introduce ndisc_route_prepare() and ndisc_router_route_prepare()

These applies common parameters to the route to be requested or removed.
No functional change, just refactoring and preparation for later
commits.

network/ndisc: several cleanups for ndisc_remove_route()

- drop unnecessary call of ndisc_set_route_priority() at the beginning,
  as it is called later in the loop below,
- use RET_GATHER() and remove all possible routes even if failed.

network/ndisc: introduce route_is_bound_to_link() helper function and use it where applicable

No functional change, and preparation for later commits.

man/systemd-keyutil: fix rendering typo

man/systemd.special: fix a typo

man: fix incorrect volume numbers in internal man page references

Some ambiguity (e.g., same-named man pages in multiple volumes)
makes it impossible to fully automate this, but the following
Python snippet (run inside the man/ directory of the systemd repo)
helped to generate the sed command lines (which were subsequently
manually reviewed, run and the false positives reverted):

from pathlib import Path

import lxml
from lxml import etree as ET

man2vol: dict[str, str] = {}
man2citerefs: dict[str, list] = {}

for file in Path(".").glob("*.xml"):
    tree = ET.parse(file, lxml.etree.XMLParser(recover=True))
    meta = tree.find("refmeta")
    if meta is not None:
        title = meta.findtext("refentrytitle")
        if title is not None:
            vol = meta.findtext("manvolnum")
            if vol is not None:
                man2vol[title] = vol
            citerefs = list(tree.iter("citerefentry"))
            if citerefs:
                man2citerefs[title] = citerefs

for man, refs in man2citerefs.items():
    for ref in refs:
        title = ref.findtext("refentrytitle")
        if title is not None:
            has = ref.findtext("manvolnum")
            try:
                should_have = man2vol[title]
            except KeyError:  # Non-systemd man page reference?  Ignore.
                continue
            if has != should_have:
                print(
                    f"sed -i '\\|<citerefentry><refentrytitle>{title}"
                    f"</refentrytitle><manvolnum>{has}</manvolnum>"
                    f"</citerefentry>|s|<manvolnum>{has}</manvolnum>|"
                    f"<manvolnum>{should_have}</manvolnum>|' {man}.xml"
                )

network: forget IPv4 non-local routes when an interface went down (#35099)

Fixes #35047.

Introduce systemd-keyutil to do various key/certificate operations (#35095)

Let's gather generic key/certificate operations in a new tool
systemd-keyutil instead of spreading them across various special purpose
tools.

Fixes #35087

test-network: add test case for issue #35047

network/nexthop: also forget IPv4 nexthops when an interface went down

Similar to the previous commit, but for nexthop.

network/route: forget IPv4 non-local routes when an interface went down

When an interface went down, IPv4 non-local routes are removed by the
kernel without any notifications. Let's forget the routes in that case.

Fixes #35047.

network/nexthop: forget dependent routes without trying to remove

When a nexthop is removed, routes depend on the removed nexthop are
already removed. It is not necessary to remove them, as already
commented. Let's forget them without trying to remove.

network/nexthop: do not remove depending nexthops when a nexthop is removed

Previously, when a nexthop is removed, depending nexthops were removed, but
that's not necessary, as the kernel keeps them, at least with v6.11.

network/route: update reference of the route from nexthop

Follow-up for 6f09031e4d04727cc72164fefcbc763e37556493.

The function has been introduced by the commit, but it has never been used...

network: further rework for reconfiguring interfaces (#35059)

Follow-ups for #35035.
Split-out of #34989.
Fixes #35092.

Split src/partition (#35110)

po: Translated using Weblate (Portuguese (Brazil))

Currently translated at 96.1% (247 of 257 strings)

Co-authored-by: Gabriel Elyas <gabrielelyas@protonmail.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/pt_BR/
Translation: systemd/main

Rename src/partition to src/repart

network: make 'networkctl reconfigure' work safely even when KeepConfiguration=dhcp or yes

Previously, even if KeepConfiguration=dhcp or yes is specified in the
new .network file, dynamic configurations like DHCP address and routes
were dropped when 'networkctl reconfigure INTERFACE' is invoked.

If the setting is specified, let's gracefully handle the dynamic
configurations. Then, 'networkctl reconfigure' can be also used for
an interface that has critical connections.

network: drop static configs later

Follow-up for dd6d53a8dc58c5e6e310b09ba7f7a22600a87ba9.

Unnecessary static configs will be anyway dropped later in
link_configure() -> link_drop_unmanaged_config(). Hence, even if we are
reconfiguring an interface cleanly, it is not necessary to drop static
configs here.

network/dhcp-pd: do not remove unreachable route when reconfiguring non-upstream interface

Unreachable routes are not owned by any interfaces, and its ifindex is
zero. Previously, if a non-upstream interface is reconfigured, all routes
including unreachable routes configured by the upstream interface are
removed.

This makes unreachable routes are always handled by the upstream interface,
and only removed when the delegated prefixes are changed or lost.

network: reorder dropping dynamic configuration

Follow-up for 451c2baf30f50b95d73e648058c7c2348dbf0c31.

test-network: reconfigure interface cleanly to drop previous DHCP lease and friends

Follow-up for 451c2baf30f50b95d73e648058c7c2348dbf0c31.

With the commits, reloading .network files does not release previously
acquired DHCP lease and friends if possible.

On graceful reconfigure triggered by the reload, the interface may
acquire a new DHCPv4 lease earlier than DHCPv6 lease. In that case,
the check will fail as it is done with the new DHCPv4 lease and old
DHCPv6 lease, which does not contain any IPv6 DNS servers or so.
So, when switching from no -> yes, we need to wait a new lease with DNS
servers or so. To achieve that, we need to clean reconfigure the interface.

network: reset 'configured' flags even if we keep DHCP lease and friends on reconfigure

Follow-up for 451c2baf30f50b95d73e648058c7c2348dbf0c31.

With the commits, reloading .network files does not release previously
acquired DHCP lease and friends if possible. If previously a DHCP client
was configured as not requesting DNS servers or so, then the previously
acquired lease might not contain any DNS servers. In that case, if the
new .network file enables UseDNS=, then the interface should enter the
configured state after a new lease is acquired. To achieve that, we need
to reset the flags.

With this change, the workaround applied to the test by the commit
451c2baf30f50b95d73e648058c7c2348dbf0c31 can be dropped.

network: drop unnecessary size specifier

It does not save any memory usage but increase code complexity.

netwrok: call link_drop_unmanaged_config() earlier in link_configure()

Otherwise, even if a link enters the configuring state at the beginning
of link_configure(), link_check_ready() may be called before
link_drop_unmanaged_config() is called, and the link may enter the
configured state.

Fixes #35092.

Move growfs+makefs to src/growfs/

Those two programs are used together and it makes sense to keep them
together. makefs is smaller, so name the directory after growfs.

Various multi-dt fixes and CHID test (#35056)

Part of #34158

login: fix session_kill(..., KILL_LEADER,...) (#35105)

`loginctl kill-session --kill-whom=leader <N>` (or the D-Bus equivalent)
doesn't work because logind ends up calling `KillUnit(..., "main", ...)`
on a scope unit and these don't have a `MainPID` property. Here, I just
make it send a signal to the `Leader` directly.

ukify: Fix broken assert when building a signed addon

An assert always expected a kernel when signature key was present in command
line. That prevented building signed addons.

Fixes #35041

po: Translated using Weblate (German)

Currently translated at 93.7% (241 of 257 strings)

Co-authored-by: Weblate Translation Memory <noreply-mt-weblate-translation-memory@weblate.org>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/de/
Translation: systemd/main

po: Translated using Weblate (German)

Currently translated at 93.7% (241 of 257 strings)

Co-authored-by: Ettore Atalan <atalanttore@googlemail.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/de/
Translation: systemd/main

meson.build: add a few features to summary

sysupdate: Bug fixes for target enumeration (#35052)

Fixes a couple of bugs with systemd-sysupdated's target enumeration. See
commit messages for details.

<!-- devel-freezer =
{"comment-id":"2460494553","freezing-tag":"v257-rc1"} -->

udev: skipping empty udev rules file while collecting the stats

To keep align with the logic used in udev_rules_parse_file(), we also
should skip the empty udev rules file while collecting the stats during
manager reload. Otherwise all udev rules files will be parsed again whenever
reloading udev manager with an empty udev rules file. It's time consuming
and the following uevents will fail with timeout.

uid-classification: properly classify *all* container UIDs

A bit confusingly CONTAINER_UID_BASE_MAX is just the maximum *base* UID
for a container. Thus, with the usual 64K UID assignments, the last
actual container UID is CONTAINER_UID_BASE_MAX+0xFFFF.

To make this less confusing define CONTAINER_UID_MIN/MAX that add the
missing extra space.

Also adjust two uses where this was mishandled so far, due to this
confusion.

With this change the UID ranges we default to should properly match what
is documented on https://systemd.io/UIDS-GIDS/.

News and f41 and formatting (#35078)

Introduce systemd-keyutil to do various key/certificate operations

Let's gather generic key/certificate operations in a new tool
systemd-keyutil instead of spreading them across various special
purpose tools.

Fixes #35087

man: drop whitespace from final <programlisting> lines

In the troff output, this doesn't seem to make any difference. But in the
html output, the whitespace is sometimes preserved, creating an additional
gap before the following content. Drop it everywhere to avoid this.

mount-util: make path_get_mount_info() work arbitrary inode

Follow-up for d49d95df0a260aaca9a3fdd1e6ce535592a53bca.
Replaces 9a032ec55a9820a0424309670fe551c99203e5f1.
Fixes #35075.

test: install integration-test-setup.sh in testdata/

integration-test-setup.sh is an auxiliary script that tests rely on at
runtime. As such, install the script in testdata/.

Follow-up for af153e36ae67c242251951c12d6d6b6ae4783845.

update TODO

fs-util: add comment about XO_NOCOW

Fix PrivatePIDs=yes integration test for kernels with no /proc/scsi

fundamental: Fix buffer size in get_chid

NUL byte should not be hashed

fundamental: Fix iteration count in chid_calculate

fundamental: move string includes from chid-fundamental.c to header

test: Add chid-fundamental test

sd-varlink: allow that method handles call sd_varlink_close()

It's fine if a method handler closes the connection, deal with it
gracefully.

tree-wide: Introduce --certificate-source= option (#35057)

This allows loading the X.509 certificate from an OpenSSL provider
instead of a file system path. This allows loading certficates directly
from hardware tokens instead of having to export them to a file on
disk first.

<!-- devel-freezer =
{"comment-id":"2460915782","freezing-tag":"v257-rc1"} -->

fundamental: Add userspace efi_guid_equal

boot: Fix .dtbauto section number for error reporting

boot: Fix overflow check for FDT_PROP in devicetree_get_compatible

boot: Drop const modifier for smbios_fields and fix smbios_info_done

ukify: Introduce --certificate-provider= option

This translates to --certificate-source=provider:<provider> for
signing tools invoked by ukify.

measure: Add pcrpkey verb

This verb writes a public key to stdout extracted from either a public key
path, from a certificate (path or provider) or from a private key (path,
engine, provider). We'll use this in ukify to get rid of the use of the
python cryptography module to convert a private key or certificate to a
public key.

tree-wide: Introduce --certificate-source= option

This allows loading the X.509 certificate from an OpenSSL provider
instead of a file system path. This allows loading certficates directly
from hardware tokens instead of having to export them to a file on
disk first.

openssl-util: Set expected object type to private keys

Configures the store to only try to fetch private keys and nothing
else.

bootctl: Validate private key path

mkosi: Add pytest to tools

Split and rename src/boot (#35068)

hwdb: fix broken numpad paren keys on Lenovo Thinkbook 16 G6+ 2024

man: update Fedora links to F41

NEWS: add specific versions in key codes entry

This should be easier for folks to consume.

Refs:
https://lists.x.org/archives/xorg-announce/2024-October/003543.html
https://lists.x.org/archives/xorg-announce/2024-October/003544.html

po: Translated using Weblate (German)

Currently translated at 89.8% (231 of 257 strings)

Co-authored-by: Anselm Schueler <mail@anselmschueler.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/de/
Translation: systemd/main

github: adjust version number in templates

Most people are probably on stable releases, but we don't want to update the
minor version all the time, so just specify 256.x as a hint to fill in the
full version.

Rename src/boot/efi to just src/boot

I very much dislike the approach in which we were mixing Linux and UEFI C code
in the same subdirectory. No code was shared between two environments. This
layout was created in e7dd673d1e0acfe5420599588c559fd85a3a9e8f, with the
justification of "being more consistent with the rest of systemd", but I don't
see how it's supposed to be so.

Originally, when the C code was just a single bootctl.c file, this wasn't so
bad. But over time the userspace code grew quite a bit. With the moves done in
previuos commits, the intermediate subdirectory is now empty except for the
efi/ subdir, and this additional subdirectory level doesn't have a good
justification. The components is called "systemd-boot", not "systemd-efi", and
we can remove one level of indentation.

Move systemd-sbsign to its own source subdirectory

It's already two files, and I expect that more will come. It's nicer to give
its own subdirectory to maintain consistent structure.

Move systemd-measure to its own source subdirectory

We have other subdirectories with just a single C file. And I expect
that systemd-measure will only grow over time, adding new functionality.
It's nicer to give its own subdirectory to maintain consistent structure.

Move bless-boot components to their own source subdirectory

Move bootctl to its own source subdirectory

It's been split into a bunch of files and deserves its own subdirectory
similarly to systemctl.

man: fix typos flagged by Lintian

Translations update from Fedora Weblate (#35060)