mount: use device enumerator to find matching loopback block device

No functional change, just refactoring.

mount: split umount_by_device() into two

No functional change, just refactoring and preparation for later
commits.

mount: make acquire_mount_where_for_loop_dev() take sd-device object

No functional change, just refactoring.

systemctl: edit: write override files as text files

Instead of stripping the newline off the final would-be line;
continue to reduce an empty-line-only file to an empty file, though

Closes #25303

bootctl: use grey-and-slash prefix for source in list too

Follow-up for 7851732262ec94f50598c4a289589a6ddb97ebfd. The source
field also shows a path relative to $BOOT, so it should be displayed
in the same fashion.

udev: make sure auto-root logic also works in UKIs booted from XBOOTLDR

If no root= switch is specified on the kernel command line we'll use the
root disk on which the partition the LoaderDevicePartUUID efi var is
located – as long as that partition is an ESP. Let's slightly liberalize
that and also allow it if that partition is an XBOOTLDR partition. This
ensures that UKIs spawned directly from XBOOTLDR work the same as those
from the ESP.

(Note that this makes no difference if sd-boot is in the mix, as in that
case LoaderDevicePartUUID is always set to the ESP, as that's where
sd-boot is located, and sd-boot will set the var first, sd-stub will
only set it later if it#s not set yet.)

tree-wide: make constant ratelimit compound actually const

The compiler should recognize that these are constant expressions, but
let's better make this explicit, so that the linker can safely share the
initializations all over the place.

boot: remove random-seed-mode

Now that the random seed is used on virtualized systems, there's no
point in having a random-seed-mode toggle switch. Let's just always
require it now, with the existing logic already being there to allow not
having it if EFI itself has an RNG. In other words, the logic for this
can now be automatic.

Merge pull request #25379 from keszybz/update-doc-links

Update doc links

Merge pull request #25395 from poettering/tpm2-dlsym-assert

dlfcn-util: add static asserts ensuring our sym_xyz() func ptrs match …

mkosi: pull in libbpf1 instead of legacy libbpf0 on debian

dlfcn-util: add static asserts ensuring our sym_xyz() func ptrs match the types from the official headers

Make sure that the sym_xyz function pointers have the types that the
functions we'll assign them have.

And of course, this found a number of incompatibilities right-away, in
particular in the bpf hookup.

(Doing this will trigger deprecation warnings from libbpf. I simply
turned them off locally now, since we are well aware of what we are
doing in that regard.)

There's one return type fix (bool → int), that actually matters I think,
as it might have created an incompatibility on some archs.

update TODO

bootctl: install system token on virtualized systems

Removing the virtualization check might not be the worst thing in the
world, and would potentially get many, many more systems properly seeded
rather than not seeded. There are a few reasons to consider this:

- In most QEMU setups and most guides on how to setup QEMU, a separate
  pflash file is used for nvram variables, and this generally isn't
  copied around.

- We're now hashing in a timestamp, which should provide some level of
  differentiation, given that EFI_TIME has a nanoseconds field.

- The kernel itself will additionally hash in: a high resolution time
  stamp, a cycle counter, RDRAND output, the VMGENID uniquely
  identifying the virtual machine, any other seeds from the hypervisor
  (like from FDT or setup_data).

- During early boot, the RNG is reseeded quite frequently to account for
  the importance of early differentiation.

So maybe the mitigating factors make the actual feared problem
significantly less likely and therefore the pros of having file-based
seeding might outweigh the cons of weird misconfigured setups having a
hypothetical problem on first boot.

Merge pull request #25461 from DaanDeMeyer/repart-followups

repart followups

docs/BOOT_LOADER_INTERFACE: reword sentence to apply to both entry types

tree-wide: BLS and DPS are now on uapi-group website

repart: Rework PartitionTarget initialization

repart: Use fd based operations in partition_populate_directory()

man/sd_bus_default: Refer to man-pages project (man7.org) for ssh(1)

Merge pull request #25409 from medhefgo/boot-fixes

boot: Several fixes

repart: Remove redundant parentheses in partition_populate_directory()

mkfs-util: Use FORK_CLOSE_ALL_FDS

mkfs-util: Prefer fd based stat() where possible

mkfs-util: Use GID_FMT

repart: Use ASSERT_PTR() in partition_encrypt()

repart: Use ftruncate() instead of posix_allocate()

repart: Fix parse_filter_partitions() log messages

repart: Fix FilterPartitionsType enum name

repart: Rework unused partition number algorithm

repart: Use IN_SET() in one more place

po: Translated using Weblate (Dutch)

Currently translated at 100.0% (193 of 193 strings)

Co-authored-by: Richard E. van der Luit <fedoraproject@veneax.nl>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/nl/
Translation: systemd/main

boot: Replace firmware security hooks directly

For some firmware, replacing their own security arch instance with our
override using ReinstallProtocolInterface() is not enough as they will
not use it. This commit goes back to how this was done before by
directly modifying the security protocols.

Fixes: #25336

boot: Rework security arch override

This simplifies the caller interface for security arch overrides by only
having to pass a validator and an optional context.

boot: Manually convert filepaths if needed

The conversion of a filepath device path to text is needed for the stub
loader to find credential files.

boot: Do not require a loaded image path

If the device path to text protocol is not available (looking angrily at
Apple) we would fail to boot because we cannot get the loaded image
path. As this is only used for cosmetic purposes, we can just silently
continue.

Fixes: #25363

boot: Fix memory leak

remove obsolete translate in zh_CN.po

Merge pull request #25438 from poettering/localhost-ifindex-tweak

resolved: fix ifindex for contacting per-interface DNS server if it is 127.0.0.1

Merge pull request #25423 from yuwata/network-tc-cake-rtt-and-ack-filter

network: tc-cake: support controlling RTT and ACK filter

dbus-manager: add comments about booleans in function calls

Update to match the new coding style
See also: https://github.com/systemd/systemd/pull/25437#discussion_r1026934242

test-network: add tests for RTT and ACK filter for CAKE

network: tc-cake: add support to specify ACK filter

Merge pull request #25389 from fbuihuu/update-test-for-opensuse

Update test/ for openSUSE

bootctl: rework how we handle referenced but absent EFI boot entries

Follow-up for #25368.

Let's consider ENOENT an expected error, and just debug log about it
(though, let's suffix it with `, ignoring.`). All other errors will log
loudly, as they are unexpected errors.

resolved: when configuring 127.0.0.1 as per-interface DNS server, contact it via "lo" always

ussually if you specify a DNS server on some interface then we'll use
that interface to talk to it. Let's override this for localhost
addresses, as they only really make sense on "lo".

Fixes: #25397

resolved: use right conditionalization when setting unicast ifindex on UDP sockets

nspawn: allow sched_rr_get_interval_time64 through seccomp filter

We only allow a selected subset of syscalls from nspawn containers
and don't list any time64 variants (needed for 32-bit arches when
built using TIME_BITS=64, which is relatively new).

We allow sched_rr_get_interval which cpython's test suite makes
use of, but we don't allow sched_rr_get_interval_time64.

The test failures when run in an arm32 nspawn container on an arm64 host
were as follows:
```
======================================================================
ERROR: test_sched_rr_get_interval (test.test_posix.PosixTester.test_sched_rr_get_interval)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/var/tmp/portage/dev-lang/python-3.11.0_p1/work/Python-3.11.0/Lib/test/test_posix.py", line 1180, in test_sched_rr_get_interval
    interval = posix.sched_rr_get_interval(0)
               ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
PermissionError: [Errno 1] Operation not permitted
```

Then strace showed:
```
sched_rr_get_interval_time64(0, 0xffbbd4a0) = -1 EPERM (Operation not permitted)
```

This appears to be the only time64 syscall that isn't already included one of
the sets listed in nspawn-seccomp.c that has a non-time64 variant. Checked
over each of the time64 syscalls known to systemd and verified that none
of the others had a non-time64-variant whitelisted in nspawn other than
sched_rr_get_interval.

Bug: https://bugs.gentoo.org/880131

sysupdate: Support volatile-root for finding the root partition

The existing logic can't find the root device in scenarios where
the root has been replaced with an overlay. We support looking
at "/run/systemd/volatile-root" to find the original root, similar
to what systemd-repart and gpt-auto-generator do.

update TODO

Merge pull request #25410 from DaanDeMeyer/mkfs-xfs-fixes

Followups for #25400

boot/measure: fix oom check

test: fix the default timeout values described in README.testsuite

Unlike it was described, the default is 30 min.

meson: install test-kernel-install only when -Dkernel-install=true

This patch fixes the following build failure:

  meson.build:3853:8: ERROR: Unknown variable "test_kernel_install_sh".

Fixes #25432.

tests: update install_suse_systemd()

- Use inst_recursive() and image_install() helpers where appropriate

- Update comments to explain why we need to install the test data manually in
  $initdir

- Install manual/ in $initdir as TEST-35-LOGIN relies on
  manual/test-session-properties

fuzz: fuzz-compress: fix copy-and-paste error: buf -> buf2 (#25431)

Merge pull request #25414 from zx2c4-forks/krngseed

EFI random seed post #25319 review fixups

kmod-setup: Make sure the tpm module is available early

Required for early boot services such as systemd-pcrphase-sysinit
which need early access to the tpm.

Update NEWS and TODO with sd-boot random seed developments

Merge pull request #25333 from yuwata/find-esp-part-entry-scheme

find-esp: downgrade and ignore error on retrieving PART_ENTRY_SCHEME

signal-util: add common implementation for propagating a signal

i.e. let's add a common logic to be called from a signal handler to
raise the passed signal again.

Follow-up for: #25399

hwdb: fix Compaq N14KP6 key toggle touchpad (#25404)

log: Remove log_ratelimit_debug() macros

These don't make sense anymore since we disable log ratelimiting
when logging at debug level.

repart: Write temporary LUKS header to /var/tmp instead of /tmp

This is a relatively large file so let's not create it in memory.

Followups for aa6aa81c1e2fa0d35f91545d440ce5a31e1a43df

tmpfile-util: Introduce fopen_temporary_child()

Instead of having fopen_temporary() create the file either next
to an existing file or in tmp/, let's split this up clearly into
two different functions, one for creating temporary files next to
existing files, and one for creating a temporary file in a directory.

network: tc-cake: add support to specify RTT

boot: only use __builtin_object_size with -O>0

__builtin_object_size() returns -1 with -O0, so disable this and warn
about it instead.

boot: do not truncate random seed file

There are concerns about the FAT file system driver exploding if we try
to do this, so just leave the bytes zeroed out instead.

random-seed: handle post-merge review nits

These are various misc things that came up after merging.

Handle MACHINE_ID=uninitialized

systemd supports /etc/machine-id to be set to: uninitialized
In this case the expectation is that systemd creates a new
machine ID and replaces the value 'uninitialized' with the
effective machine id. In the scope of kernel-install we
should also enforce the creation of a new machine id in this
condition

pcrphase: add $SYSTEMD_PCRPHASE_STUB_VERIFY env var for overriding stub check

shared/tpm2-util: Fix "Error: Esys invalid ESAPI handle (40000001)" warning

systemd-cryptenroll complains (but succeeds!) upon binding to a signed PCR
policy:

$ systemd-cryptenroll --unlock-key-file=/tmp/passphrase --tpm2-device=auto
  --tpm2-public-key=... --tpm2-signature=..." /tmp/tmp.img

ERROR:esys:src/tss2-esys/esys_iutil.c:394:iesys_handle_to_tpm_handle() Error: Esys invalid ESAPI handle (40000001).
WARNING:esys:src/tss2-esys/esys_iutil.c:415:iesys_is_platform_handle() Convert handle from TPM2_RH to ESYS_TR, got: 0x40000001
ERROR:esys:src/tss2-esys/esys_iutil.c:394:iesys_handle_to_tpm_handle() Error: Esys invalid ESAPI handle (40000001).
WARNING:esys:src/tss2-esys/esys_iutil.c:415:iesys_is_platform_handle() Convert handle from TPM2_RH to ESYS_TR, got: 0x4000000
New TPM2 token enrolled as key slot 1.

The problem seems to be that Esys_LoadExternal() function from tpm2-tss
expects a 'ESYS_TR_RH*' constant specifying the requested hierarchy and not
a 'TPM2_RH_*' one (see Esys_LoadExternal() -> Esys_LoadExternal_Async() ->
iesys_handle_to_tpm_handle() call chain).

It all works because Esys_LoadExternal_Async() falls back to using the
supplied values when iesys_handle_to_tpm_handle() fails:

    r = iesys_handle_to_tpm_handle(hierarchy, &tpm_hierarchy);
    if (r != TSS2_RC_SUCCESS) {
        ...
        tpm_hierarchy = hierarchy;
    }

Note, TPM2_RH_OWNER was used on purpose to support older tpm2-tss versions
(pre https://github.com/tpm2-software/tpm2-tss/pull/1531), use meson magic
to preserve compatibility.

Signed-off-by: Vitaly Kuznetsov <vkuznets@redhat.com>

Merge pull request #25399 from DaanDeMeyer/siginfo-crash

crash-handler: Make sure we propagate the original siginfo

Merge pull request #25096 from DaanDeMeyer/journald-log-fixes

journal: Ratelimit more journald log messages

crash-handler: Make sure we propagate the original siginfo

If we call raise(), we lose the information from the original signal.
If we use rt_sigqueueinfo(), the original siginfo gets reused which
is helpful when debugging crashes.

sigbus: Add fallback in case rt_tgsiqqueueinfo() fails

mkfs-util: Add support for rootless xfs population

We use mkfs.xfs's protofile (-p) support to achieve this. The
protofile is a description of the files that should be copied into
the filesystem. The format is described in the manpage of mkfs.xfs.

Merge pull request #25319 from zx2c4-forks/krngseed

boot: implement kernel EFI RNG seed protocol with proper hashing

sigbus: Make sure the signal is delivered to the same thread

missing_syscall: Add rt_tgsigqueueinfo()

Merge pull request #25310 from jlinton/fpdt_dev_mem_alt

acpi-fpdt: Use kernel fpdt parsing

Merge pull request #24855 from kraxel/qemu

better qemu support (handle direct kernel boot etc).

Merge pull request #25393 from poettering/tpm2-override

tpm2-util: force default TCTI to be "device" with parameter "/dev/tpm…

systemd-boot man page: add section for virtual machines

boot: improve support for qemu

systemd-boot expects being loaded from ESP and is quite unhappy in case
the loaded image device path is something else.  When running on qemu
this can easily happen though.  Case one is direct kernel boot, i.e.
loading via 'qemu -kernel systemd-bootx64.efi'.  Case two is sd-boot
being added to the ovmf firmware image and being loaded from there.

This patch detects both cases and goes inspect all file systems known to
the firmware, trying to find the ESP.  When present the
VMMBootOrderNNNN variables are used to inspect the file systems in the
given order.

Merge pull request #24555 from medhefgo/bootctl

bootctl: Small improvements

localectl,analyze: some minor vertical table rework fixes

Follow-up for #25339

log: Disable log rate limiting if debug logging is enabled

When debugging, it makes sense to not do any rate limiting at all.

Merge pull request #24944 from DaanDeMeyer/repart-rootless

repart: Add support for running without root privileges

Revert "journal: Make sd_journal_previous/next() return 0 at HEAD/TAIL"

This commit broke backwards compatibility so let's revert it until
we find a better solution.

This reverts commit 977ad21b5b8f6323515297bd8995dcaaca0905df.

Fix reading /etc/machine-id in kernel-install (#25388)

* Fix reading /etc/machine-id in kernel-install

The kernel-install script has code to read the contents of
/etc/machine-id into the MACHINE_ID variable. Depending
on the variable content kernel-install either logs the
value or creates a new machine id via 'systemd-id128 new'.
In that logic there is one issue. If the file /etc/machine-id
exists but is empty, the script tries to call read on an
empty file which return with an exit code != 0. As the
script code also uses 'set -e', kernel-install will exit at
this point which is unexpected.

The condition of an empty /etc/machine-id file exists for
example when building OS images, which should initialize the
system id on first boot but not staticly inside of the image.
afaik an empty /etc/machine-id is also a common approach
to make systemd indicate that it should create a new system
id. Because of this, the commit makes sure the reading of
/etc/machine-id does not fail in any case such that the
handling of the MACHINE_ID variable takes place.

Update hostnamectl.xml

set-hostname is obsolete

tpm2: add some extra validation of device string before using it

Let's add some extra validation before constructing and using the .so
name to load. This isn't really security sensitive, given that we
used secure_getenv() to get the device string (and it thus should have
been come from a trusted source) but let's better be safe than sorry.

tpm2-util: force default TCTI to be "device" with parameter "/dev/tpmrm0"

Apparently some distros default to tss-abmrd. Let's bypass that and
always go to the kernel resource manager.

abmrd cannot really work for us, since we want to access the TPM already
in earliest boot i.e. in environments the abmrd service is not available
in.

Fixes: #25352

MemoryZSwapMax directive to configure new memory.zswap.max cgroup file

repart: Run most repart integration tests without root privileges

To make sure rootless mode keeps working, let's run all repart
integration tests that we can without root privileges. The only ones
we need to keep running with root privileges are the tests that operate
on a block/loop device and those that use --image=.

repart: Don't use loop devices when we're not operating on a block device

When repart is not operating on a block device, if we avoid using
any loop devices at all, it becomes possible to run repart without
needing root privileges.

Note that this also depends on the filesystems in use to support
population without needing root privileges (specifically, squashfs,
ext4 or btrfs).

repart: Change mode of temporary root to 755

Let's make sure regular users can access read/execute files when
we're populating from a temporary root.

repart: Fail early if no sources are provided for a read-only filesystem