core: add SYSTEMD_VERITY_SHARING env var for local development

When running an image that cannot be mounted (e.g.: key missing intentionally
for development purposes), there's a retry loop that takes some time
and slows development down. Add an env var to disable it.

Merge pull request #31095 from bluca/test_time_tz

test: unset TZ before timezone-sensitive unit tests are run

Merge pull request #31048 from YHNdnzj/fstab-modernization

fstab-util/generator: a few cleanups/improvements

sd-bus: fix exiting event loop when sd_bus_set_exit_on_disconnect is used

If sd_bus_set_exit_on_disconnect is used and the bus is part of an event
loop, and the D-Bus connection goes away (e.g.: soft-reboot), sd-bus
will always exit() the program instead of returning from the loop, as
the reference to the event is removed before it is checked.

Merge pull request #31092 from DaanDeMeyer/auto-features

mkosi: Use --auto-features=enabled for meson

CI: set TZ= in a unit test run to ensure tests don't break

test: unset TZ before timezone-sensitive unit tests are run

Some tests have hard-coded results that need to match, and change if
the caller has a timezone set via the TZ= environment variable, as it
is the case during reproducible build tests. Unset it.

mkosi: Use --auto-features=enabled for meson

Merge pull request #31083 from yuwata/core-several-cleanups

core: several cleanups

Merge pull request #31090 from poettering/bpf-lsm-rename

rename a bunch of bpf related .c/.h files, and functions there in to make naming of systematic

mkosi: Fix formatting in build script

dissect: add --make-archive option to convert DDI to tarball

man: Document ranges for distributions config files and local config files

Let's recommend that config files and drop-ins in /usr use the range
0-49 and config files in /etc and /run use the range 50-99 so that
files in /run and /etc will generally always override files from
/usr.

fstab-generator: drop unapplicable options for /usr/ too

We already drop these for /sysroot/usr/ in parse_fstab
(1e9b2e4fdd8d04e3fbfadbc0b92dc138c819c221). Let's make
things consistent, and do the same for /usr/ too (after
switch-root).

fstab-generator: modernize write_extra_dependencies

fstab-generator: add missing assertions

fstab-generator: drop unneeded initialization

fstab-util: clean up fstab_filter_options

Let's get rid of the confusing goto so that the flow is more
straightforward. Note that the behavior is slightly changed:
previously, ret_filtered would be an empty string even if
the original opts passed in is NULL, but after this commit
it returns NULL too. But this shouldn't matter, as all our
code handles NULL opts gracefully.

fstab-generator: drop assertions for mount opts

fstab_filter_options accepts NULL and (with later changes)
might even return NULL.

fileio: fputs_with_space → _with_separator and modernization

Merge pull request #31089 from keszybz/drop-syscall-filtering-and-new-syscalls

Drop syscall filtering and add new syscalls

core: introduce unit_unwatch_pidref_done() helper function

No functional change, just refactoring.

core/unit: split out unit_kill_one()

This also renames 'error' -> 'ret_error'.

No functional change, just refactoring.

core/unit: split out unit_kill_context_one()

No functional change, just refactoring.

Merge pull request #31082 from yuwata/network-cleanups-for-removing-routes

network: several cleanups for removing routes

update TODO

bpf-socket-bind: rename bpf_serialize_socket_bind() → bpf_socket_bind_serialize()

This function is the only outlier, all other BPF glue functions are
called bpf_<module>_xyz(). Hence swap this over here too.

core: rename restrict-ifaces.[ch] → bpf-restrict-ifaces.[ch]

Let's also clean-up naming of the "restrict-ifaces" BPF code. Let's name
the userspace glue analogous to the actual bpf code in src/core/bpf.

bpf-restrict-fs: also rename functions to bpf_restrict_fs_xyz()

Rename the functions too, to make clear this is really just about the
restrict-fs, and not generic LSM_BPF code.

loop-util: drop unused .uevent_seqnum_not_before and .timestamp_not_before fields

Merge pull request #31087 from YHNdnzj/logind-cleanup

logind: several cleanups

core: rename "bpf-lsm.[ch]" → "bpf-restrict-fs.[ch]"

This file is a bit misnamed. What it actually implements is one specific
BPF LSM module, that restricts file systems. As such it really should be
named after that, and not primarily by the mechanism it uses for that.

With this our glue code is now named the same way as the actual bpf code
files in src/core/bpf/, thus things become a bit more symmetric.

This is particular relevant as we'll soon have another BPF LSM in our
tree, see #26826, and we should be able to distinguish them by name.

This commit just renames the files and does some dumb search/replace of
the string. A follow-up commit will name some functions more expressively
inside the files.

Update syscalls lists

For discussion of listmount() and statmount(), see
https://lwn.net/Articles/950569/.

meson: drop arch filtering in syscall list

I added the filtering in 752fedbea7c02c82287c7ff2a4139f528b3f7ba8 as a way
to reduce the number of items in the tables. I thought it's "obvious", but
it might not be so.

One immediate problem is that the filter is broken, because on arm64,
os.uname().machine returns "aarch64", so we incorrectly filter out the arm
syscalls (there is just one: arm_fadvise64_64). Of course we could fix the
filter, but I think it's better to nuke it altogether. The filter on applies to
1 arm syscall and 5 s390 syscalls, and we have 500+ other syscalls, so this
"optimization" doesn't really matter. OTOH, if we get the filter wrong,
the result is bad. And also, the existence of the filter at all creates
problems for cross-builds.

I wanted to get rid of 'generate-syscall-list.py', but we need to generate a
backslash in the output. https://github.com/mesonbuild/meson/issues/1564 makes
this very very hard, since any attempt to put a backslash an inline argument
results in the backslash being replaces by a forward slash, which doesn't quite
have the same meaning. So let's use a standalone script until
https://github.com/mesonbuild/meson/issues/1564 is resolved.

meson: use a single line for one-item file lists

That file was mixing two styles, which looks ugly. Let's not make
the file unnecessarily long.

cgroup: don't enable bpf pseudo-controllers when doing a wildcard delegation

We can only delegate actual controllers, not the BPF pseudo-controllers
we defined as there's imply no concept for that. Hence, when users set
Delegate=yes to do a wildcard delegation, only delegate the regular
controllers.

This means that we won't bother with BPF stuff for such units where it's
entirelly unnecessary.

user-util: add comments explaining what the user name size limits effectively mean

logind-user: don't clear individual fields if object is freed anyway

logind-dbus: send session reply only for user start jobs

logind-dbus: modernize method_set_user_linger

Currently, user_start() doesn't return any error,
but let's not eat up the return value.
Preparation for #30910, after which user_start()
does return error.

logind-user: don't say "user X logged out" in user_finalize

"Logging out" is something done by the human user. When we stop
tracking/GC a User object, let's use a more generic phrase in case
the specific User doesn't have human users (i.e. "user" class sessions)
at all. Eventually we want something like #2900, and log this
when all user class sessions log out and we're lingering again I think.

Sort input file list

so that /usr/lib/systemd/tests/unit-tests/test-libsystemd-sym
builds in a reproducible way
in spite of non-deterministic filesystem readdir order

See https://reproducible-builds.org/ for why this is good.

This patch was done while working on reproducible builds for openSUSE.

test-network: check if networkd forgets routes silently removed by the kernel

network/nexthop: drop dependent routes on removal

If a nexthop is removed, dependent routes are silently removed by the kernel.
Hence, networkd may be confused that routes that depends on the nexthop still
exist, and may fail to configure other routes or so.

This is the one for routes of 3cbbe8635a16f096a3b0eff993f7681401535605.

network/route: introduce reverse map for route with nexthop ID

It is not used in this commit, but will be used later.
Preparation for later commits.

This is the one for routes of 531c7246829a41dd7e51847bd4d77aa012ff478f.

network/route: also remove route on cancelling request

Otherwise, the route may arrive after we call
link_drop_foreign_address() or so on reconfiguring interface.

This is the one for routes of 4303e9806befc0c5b8067e45225e5d952f427b3a.

network/route: drop Route object even if we fail to remove the route

If we could not remove a route, then previously the corresponding
Route object was never removed, as it was freed only when we receive
remove notification from the kernel. So, we might confused that the
route still exists and being removed, and might block reconfiguring
the route.

With this change, even if we fail to remove a route, the corresponding
Route object will be freed.

This is the one for routes of 56a995fe8e50b2432ff930ed0431cc70adbe492d.

network/route: introduce ref/unref functions for Route object

Then, Route object can live if it is detached from the owner (Manager,
Network, or Wireguard object).

This is the one for routes of ebd96906477aac2bbc6b9de0d6e9bd0f39db5581.

network/route: introduce route_remove_and_cancel()

Then, replace route_remove_and_drop() with it.

If a route is requested, and the request is already called,
we may not received its reply and notification from the kernel, and
the corresponding Route object may not be remembered. Even in such
case, we need to remove the route, otherwise the route will come
later after the function called.

This is the version for route of f22b586a215962416bdbd692aabb89b1ac2999d0.

Merge pull request #31072 from YHNdnzj/va-arg-foreach

tree-wide: replace FOREACH_POINTER with FOREACH_ARGUMENT (VA_ARGS_FOREACH)

test: use the default nsec3-iterations value

In Knot 3.2 the nsec3-iterations default was changed to 0 and Knot now
issues a warning if the value is > 0. Let's just use the default value,
since it's not something that's important for our tests.

efi: Add EFI CC measurement protocol to stub

In confidential computing, a virtual firmware may support measurement and
event log based upon the hardware Trusted Execution Environment (TEE)
capability.

The UEFI specification defines an interface between the virtual guest OS
and virtual firmware as EFI_CC_MEASUREMENT_PROTOCOL. The (vendor specific)
measurements are captured in the CC eventlog that follows the TCG2 format.

OVMF virtual firmware has the EFI_CC_MEASUREMENT_PROTOCOL support for
Intel Trust Domain Extensions (TDX). Intel TDX has 4 runtime measurement
registers (RTMR) defined as:

RTMR[0] for TDVF configuration
RTMR[1] for the TD OS loader and kernel
RTMR[2] for the OS application
RTMR[3] reserved for special usage only

The RTMR to PCR mappings are defined in the UEFI Spec 2.10 Section 38.4.1
as follows:

TPM PCR Index | CC Measurement Register Index | TDX-measurement register
------------------------------------------------------------------------
0             |   0                           |   MRTD
1, 7          |   1                           |   RTMR[0]
2-6           |   2                           |   RTMR[1]
8-15          |   3                           |   RTMR[2]

The CC measurement eventlog is currently exposed as a raw CCEL ACPI table
by the guest OS and the events can be replayed to check log matches with
the RTMR values.

Add EFI CC measurement protocol to stub to get the UKI components measured
and included in the remote attestation reports when vTPMs are not available.

mkosi: install libip4tc2 in debian/ubuntu

It's now a dlopen library and it is installed at build time via
libiptc-dev, but was never added to the running image.

Follow-up for 5b5f8f8b9aef405cdc42771e7876988d5aefb51e

Make RestartPreventExitStatus= documentation resemble SuccessExitStatus=

The documentation for `RestartPreventExitStatus=` differs from that for `SuccessExitStatus=` in ways that are sometimes confusing (e.g. using `numeric exit codes` instead of `numeric termination statuses`), and other times plain incorrect (e.g. not mentioning `termination status names`, which I've just confirmed to work in systemd 255).

This patch modifies the documentation to be as similar as possible, so as to reduce the reader's cognitive load.

Remove a few references to dracut

Let's remove some explicit references to dracut as we prefer initrds
built with mkosi these days.

tree-wide: replace FOREACH_POINTER with FOREACH_ARGUMENT

The latter is more generic and while being compatible with
the former.

macro: rename VA_ARGS_FOREACH to FOREACH_ARGUMENT

"VA_ARGS" is kinda confusing, as the macro just iterates through
all arguments passed and has nothing to do with va_arg.

network/route: manage all routes by Manager object

Previously, a Route object is owned by a Link object corresponding to the
outgoing interface of the route, and a Route object that does not have
outgoing interface is owned by the Manager object.

However, there were several issues:
- if a route has a nexthop ID, then the corresponding nexthop may be
  changed to use another interface, hence the outgoing interface of the
  route may be changed.
- if a route requested with MultiPathRoute=, then the link who requests
  the route is different from the outgoing interface of the configured
  route. So, we need to find routes on other interfaces on reconfiguring
  or so.

By this change, the limit of the number of routes per-interface is
tentatively dropped. Let's re-introduce the limit later in a nicer way.

hwdb: ieee1394-unit-function: adjustment of entries with device attributes available in Linux v6.8

The series of changes[1] has been merged to Linux v6.8-rc1[2], which
alters the parser of the content of configuration ROM. As a result, some
device attributes for model information in the legacy layout of
configuration ROM are finally available for node and unit devices. The
change enables to distinguish the devices by model information, and what
is required in systemd PR 30205[3]. It can improve the hwdb for IEEE 1394
functions in the point addressed at issue 25029[4].

This commit fulfills some entries for the hwdb, which corresponds to some
devices with the legacy layout of configuration ROM. They provides both
vendor and model names to udev applications.

[1] https://lore.kernel.org/lkml/20240110111331.GA138108@workstation.local/
[2] https://lore.kernel.org/lkml/CAHk-=wiB4iHTtfZKiy5pC24uOjun4fbj4kSX0=ZnGsOXadMf6g@mail.gmail.com/
[3] https://github.com/systemd/systemd/pull/30205
[4] https://github.com/systemd/systemd/issues/25029

id128-util: use FOREACH_STRING where appropriate

Merge pull request #31003 from enr0n/skip-test-when-apparmor-restricts-userns

Skip more tests when apparmor restricts unprivileged user namespaces

Merge pull request #31067 from RA-Kooi/xen-uuid

machine-id-setup: Generate stable machine IDs on Xen virtual machines.

Merge pull request #31070 from yuwata/core-cleanups

core: several trivial cleanups

core/exec-invoke: drop unused pam_pid

core/service: declare 'int r' at the beginning

unit: modernize unit_pid_set()

core: use helper functions like unit_main_pid() in unit_kill_context()

No functional changes. Just refactoring.

core: introduce unit_main_pid_full() which optionally provides if the PID is alien or not

core: constify PidRef arguments

man: Describe how machine ID is initialized on Xen

nspawn: fix separating empty lines in --help text

When I added the --background= switch I placed the empty line that was
supposed to separate the options from the next section before the switch
rather than after. Fix that.

To make issues like this harder to run into next time, let's move the \n
from the end of the preceeding line to the beginning of the section
title, since that's pretty much where they belong to.

Follow-up for: 3d8ba7b83f254ec9e137210630a602001674e4d0

hostname-setup: read hostname from system.hostname credential

`system.hostname` credential is treated similarly to the pre-existing
`system.machine_id` credential. It is considered after /etc/hostname,
but prior to the kernel defaults or os-release defaults.

Fixes #30667.

Signed-off-by: Ivan Shapovalov <intelfx@intelfx.name>

Merge pull request #30130 from poettering/pcrlock-root

pcrlock: add support for unlocking a root fs with a pcrlock file

Merge pull request #31026 from poettering/nspawn-tint

nspawn: allow tinting the background of interactive tty sessions

repart: don't try to determine sector size from a disk image we should consider empty

If we are told to start from scratch we shouldn't look into the old
image to determine sector size. Looking there is confusing at best, but
plain wrong in many other cases.

preset: add some alphabetical sorting

I think the existing sections in the preset file make sense, but
alphabetical ordering is kinda cool too.

try to find a middle ground, and at least sort within each section.

No actual change of behaviour, just some reordering of lines.

test-execute: skip tests that are broken without unprivileged userns

With newer versions of AppArmor, unprivileged user namespace creation
may be restricted by default, in which case user manager instances will
not be able to apply PrivateUsers=yes (or the settings which require it).
Additionally, if a kernel has the kernel.unprivileged_userns_clone
sysctl patch, and that sysctl is 0, then unprivileged userns creation
will always fail.

If a test unit is going to be run in a user manager, and that unit
requires PrivateUsers=yes (explicitly or implicitly), then skip it if
we do not have user namespace privileges.

machine-id-setup: Generate stable machine IDs based on Xen hypervisor UUID

id128-util: Attempt to read UUID from /sys/hypervisor/uuid

When using the Xen hypervisor the virtual machine UUID is exposed here.
This is useful when one needs stable IPv4 address assignment, e.g. for a
set of RAM nodes that are built from a template.

dissect: show image name separately from filename

If the image name is different from the filename then show it in the
output, since it's relevant for finding sysext/confext release files.

(Image name is typically the filename without the ".raw" suffix and
similar).

unit: systemd-creds.socket is statically enabled, hence drop [Install]

This is statically enabled, hence needs to [Install] section.

packit: use the closest matching tag for the checked out revision

Packit otherwise tries to get the latest tag by creation date, which
doesn't work well in the systemd-stable repo:

2024-01-23 13:40:47.858 upstream.py       DEBUG  No ref given or is not glob pattern
2024-01-23 13:40:47.859 upstream.py       DEBUG  We're about to get latest matching tag in the upstream repository /tmp/tmp07g2beo8.
2024-01-23 13:40:47.859 commands.py       DEBUG  Command: git tag --list --sort=-creatordate
2024-01-23 13:40:47.866 logging.py        DEBUG  v248.13
2024-01-23 13:40:47.866 logging.py        DEBUG  v249.17
2024-01-23 13:40:47.866 logging.py        DEBUG  v250.14
2024-01-23 13:40:47.866 logging.py        DEBUG  v251.20
2024-01-23 13:40:47.867 logging.py        DEBUG  v252.21
2024-01-23 13:40:47.867 logging.py        DEBUG  v253.15
2024-01-23 13:40:47.867 logging.py        DEBUG  v254.8
2024-01-23 13:40:47.867 logging.py        DEBUG  v255.2
2024-01-23 13:40:47.868 logging.py        DEBUG  v255.1
2024-01-23 13:40:47.868 logging.py        DEBUG  v255
...

nspawn: tint the terminal bg blue if we are in a container

Let's give people a hint that they are not operating on the host.

pretty-print: split out color tinting into a helper of its own

color-util: make return values of rgb_to_hsv() optional

When we want to tint the bg color we don't care about the hue, we want
to set it ourself after all, hence make the arguments optional, so that
we don't even have to ask for it.

nspawn: optionally tint the background color of a container

Merge pull request #31061 from yuwata/pidref_copy

pidref: add basic tests for PidRef, and split out pidref_copy() from pidref_dup()

man: suffix signals with ()

Since signals can take arguments, let's suffix them with () as we
already do with functions. To make sure we remain consistent, make the
`update-dbus-docs.py` script check & fix any occurrences where this is
not the case.

Resolves: #31002

Merge pull request #31057 from aafeijoo-suse/bootctl-print-fix

bootctl: return earlier with `--print-esp-path`

pidref: split out pidref_copy() from pidref_dup()

varlink: make sure varlink_server_detach_event() doesn't leave invalid pointer around

test: add basic tests for PidRef

Merge pull request #31019 from poettering/hostnamed-full-os-release

hostnamed: expose full /etc/os-release data in hostnamectl's --json= output

Remove duplicated command in help message

"systemctl reboot" was present twice in the message, should be halt instead

Merge pull request #31053 from intelfx/work/machinectl-zsh

shell-completion: improve and expand zsh machinectl completion

man/bootctl: typo in `--print-boot-path` description

bootctl: return earlier with `--print-esp-path`

`--print-esp-path` and `--print-boot-path` cannot be combined, so it's not
necessary to acquire the XBOOTLDR partition with `--print-esp-path`.

shell-completion/zsh: complete hidden images when word starts with "."

Show hidden images in the completion results, but only if the current
word starts with ".", such that
- `machinectl clone <Tab>` will only offer non-hidden images, but
- `machinectl clone .<Tab>` will offer both hidden and non-hidden images

Merge pull request #31015 from yuwata/local-addresses

local-addresses: several cleanups and fixes, add test cases

shell-completion/zsh: improve and expand machinectl completion