core: Move DynamicCreds into ExecRuntime

This is just another piece of runtime data so let's store it in
ExecRuntime alongside the other runtime data.

core: Introduce unit private exec runtime

Currently, exec runtimes can be shared between units (using
JoinsNamespaceOf=). Let's introduce a concept of a private exec
runtime that isn't shared with JoinsNamespaceOf=. The existing
ExecRuntime struct is renamed to ExecRuntimeShared and becomes a
private member of the new private ExecRuntime.

execute: Do not pass destroy as a boolean argument to unref()

Let's mimick what we do for DynamicUser and have two separate functions
for unreffing and destroying a ExecSharedRuntime object.

execute: Rename ExecRuntime to ExecSharedRuntime

Preparation for next commit

mkosi: Narrow glob used to install python packages

Let's make sure we only install the python3 and python39 python
packages, instead of all the packages of all versions that are
packaged.

This also fixes the CentOS 8 CI because python3.11-pytest was failing
to install.

We have to ship our own powertools repo definition because we need to
enable module_hotfixes for powertools to coerce dnf into installing
some of the python packages.

update TODO

test: verify the journal with and without a sealing key

The bit flips during journal verification cause various types of journal
corruptions, so it's useful to go through it even without a sealing key
to see how we handle corrupted stuff.

Also, provide a sealing key if running in "CI mode" (i.e. arguments),
to check the FSS-related codepaths in CIs as well.

sd-id128: make id128_read() optionally take root directory

Merge pull request #26961 from DaanDeMeyer/chase-and-pin

chase-symlinks: Add chase_and_open_parent() + at() variant

Merge pull request #26870 from fbuihuu/move-unit-tests-in-a-dedicated-subdir

Move unit tests in a dedicated subdir

journalctl: fix when --grep is used with --follow

Follow-up for #25147 (db4691961ca52759fe6645d0fddb659ee4299ac2)

--follow sets arg_lines to 10, which breaks
--grep as the latter implies --reverse.
So let's not set --reverse if --follow is used.

Merge pull request #26294 from yuwata/locale-verify-conf

locale: verify loaded keymap or friends

bootctl: split-out entry token related definitions into boot-entry.[ch]

No functional change, just preparation for later commits.
These can be used in kernel-install later.

Note, unlike the our usual coding style, the arguments for
boot_entry_token_ensure() and parse_boot_entry_token_type() are
referenced, updated, and may freed, hence, always pass initialized
values. That's why they are not named as 'ret_xyz'.

chase-symlinks: Add chase_and_open_parent() + at() variant

Helper to chase a path, pin its parent directory and return the filename
of the resolved path in its parent directory.

Define $KERNEL_INSTALL_UKI_GENERATOR

Define $KERNEL_INSTALL_UKI_GENERATOR in case one wants it to be different from $KERNEL_INSTALL_INITRD_GENERATOR. This can be useful if one wants to use mkinitcpio / Dracut to generate the initrd, but without creating the UKI so this can be left for e.g. ukify or something else. Right now these initrd generators will read /etc/kernel/install.conf and generate the UKI

hwdb: Fixed thumb buttons reversed on CHERRY MW 2310 (#26992)

Fixes #12914.

hwdb: drop redundant entry

Follow-up for ff155c81620bc4e1ccce27d4d5194707048d8143.

The entry already matches with the generic rule defined at the beginning
of the hwdb file.

test: install symlinks with valid targets on SUSE and Debian

Merge pull request #26973 from mrc0mmand/userdbctl-tests

test: add a couple of tests for userdbctl

core/main: restore the correct assert about array position

'pos' is incremented after each assignment. If we use the maximum number
of arguments, we end up with pos==9 after all the assignments, and it
points to where the next value would be assigned. This position must remain
NULL.

The assert I "fixed" was intentionally introduced in
26abdc73a212b90f7c4b71808a1028d2e87ab09f as a bugfix. So my "fix" repeated
the same error that was fixed back then.

Merge pull request #26983 from mrc0mmand/coredump-test-followup

test: don't expand the subshell expression prematurely

test: filter the merged coverage report instead

So we don't have to do this twice - once for the base report and then
for each "real" one.

Follow-up to 7fdd6e157a.

test: add a couple of tests for userdbctl

test: do an initial coverage capture

I noticed that our coverage reports miss some files completely - this
happens when the test doesn't touch the code in them at all, so the
generated coverage data (and resulting reports) have no information
about them. Let's fix this by doing an initial zero coverage capture
that contains a zeroed counter for every instrumented line in every
file, so when we later merge it with a capture from the test, it shows up
with a missing coverage instead of not showing at all.

test: drop unnecessary return

Return code of the EXIT trap handler is ignored in bash.

test: don't touch the /failed marker in the subtest scripts

As it is already handled by the "main" script (testsuite-74.sh).

test: don't expand the subshell expression prematurely

We need to expand the subshell expression during the `bash -c`
invocation, not before, to take the desired effect, as now it expands to:

timeout 30 bash -c 'while [[ 0 -eq 0 ]]; do sleep 1; done'

instead of the expected:

timeout 30 bash -c 'while [[ $(coredumpctl list -q --no-legend 770 | wc -l) -eq 0 ]]; do sleep 1; done'

Follow-up to aadbd81f7f.

hwdb: Fix incorrect touchpad dimensions on Thinkpad L14 Gen1 (#26937)

Closes #22793.

test: add test for invalid keymap setting

locale: also verify keymaps loaded from config file and converted keymaps

If vconsole.conf or friends contain an invalid keymap, then let's
ignore the settings.

locale: introduce x11_context_verify()

No functional change, preparation for later commits.

locale: split out xkbcommon related functions to xkbcommon-util.c

Then, use dlopen_many_sym_or_warn() with DLSYM_ARG() macro.

locale: split out checking existence of keymap

No functional change, preparation for later commits.

locale: move x11_convert_to_vconsole() near the relevant functions

No functional changes, just refactoring.

Merge pull request #26960 from poettering/syscall-catchup

syscall filter group updates

xdg-autostart-generator: do not warn about unknown fields

My user manager says:
systemd-xdg-autostart-generator[2933]: /home/zbyszek/.config/autostart/org.gnome.Terminal.desktop:256: Unknown key name 'Actions' in section 'Desktop Entry', ignoring.
systemd-xdg-autostart-generator[2933]: /home/zbyszek/.config/autostart/org.gnome.Terminal.desktop:258: Unknown section 'Desktop Action new-window'. Ignoring.
systemd-xdg-autostart-generator[2933]: /home/zbyszek/.config/autostart/org.gnome.Terminal.desktop:343: Unknown section 'Desktop Action preferences'. Ignoring.
systemd-xdg-autostart-generator[2933]: /home/zbyszek/.config/autostart/org.telegram.desktop.desktop:12: Unknown key name 'Actions' in section 'Desktop Entry', ignoring.
systemd-xdg-autostart-generator[2933]: /home/zbyszek/.config/autostart/org.telegram.desktop.desktop:13: Unknown key name 'SingleMainWindow' in section 'Desktop Entry', ignoring.
systemd-xdg-autostart-generator[2933]: /home/zbyszek/.config/autostart/org.telegram.desktop.desktop:19: Unknown section 'Desktop Action Quit'. Ignoring.

This is not useful. Those are externally-provided files, and they are likely to
have entries which we know nothing about.

Merge pull request #26977 from poettering/find-line-startswith

add new find_line_startswith() helper

bootctl: enable colored logging

core/main: fix setting of arguments for shutdown

Fixup for d2ebd50d7f9740dcf30e84efc75610af173967d2
and 6920049fad4fa39db5fec712f82f7f75b98fd4b9:
- add a comment that the last arg must be NULL and adjust the assert.
- move initialization around so that fields are declared,
  initialized, and consumed in the same order.
- move declaration of pos adjacent do declaration of command_line.
  This makes it easy to see that it was not initialized correctly.
- initialize buffers before writing the pointer into the args array.
  This makes no difference for the compiler, but it just feels "wrong"
  to do it in opposite order.

Because pos was off, we would ignore args after the timeout, and also
overwrite the buffer if enough args were used.

I think this is case shows clearly that declaring all variables at the
top of the function, with some initialized and other not, is very
error-prone. The compiler has no issue with declaring variables whereever,
and we should take advantage of this to make it keep declaration,
initialization, and use close. (Within reason of course.)

tools: add dump-auxv.py

This is a little helper I used when preparing the tests for auxv
parsing. Just looking at hexdump output is pretty hard. We could
enhance it to display some specific data types better.

hwdb: drop boilerplate about match patterns in two more cases

Follow-up for adbe000e3df5f91572bf4a77a2acd84ff5b87320.
Somehow I missed those two files.

import: use truncate_nl() where appropriate

tree-wide: port various places to find_line_startswith()

string-util: add new helper for finding line starting with specific string in a text buffer

We have implemented this manually a couple of times, and always wrong.
Hence let's implement this correctly for once and use everywhere.

userdbctl: flush stdout before running the chain command

Otherwise it's quite difficult to capture the entire output:

$ userdbctl ssh-authorized-keys dropinuser --chain /bin/echo hello
ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIA//dxI2xLg4MgxIKKZv1nqwTEIlE/fdakii2Fb75pG+ foo@bar.tld
ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAyNTYAAABBBMlaqG2rTMje5CQnfjXJKmoSpEVJ2gWtx4jBvsQbmee2XbU/Qdq5+SRisssR9zVuxgg5NA5fv08MgjwJQMm+csc= hello@world.tld
hello
$ userdbctl ssh-authorized-keys dropinuser --chain /bin/echo hello | tee
hello

Merge pull request #26920 from medhefgo/ukify

ukify: Use pefile to add sections to EFI stub

docs: s/authorized_key/authorized_keys/

man: s/io.systemd.Dropin/io.systemd.DropIn/

userdbctl: don't show legend when dumping JSON with services

man: update syscal filter group list

test: on openSUSE install the collection of unit test binaries in the target only for TEST-02-UNITTESTS

meson: make sure the unit test scripts find testdata/ even if they are not installed in the same directory

testdata/ is shared by both the unit tests and the integration tests. Hence it
makes sense to place them right under /usr/lib/systemd/tests/ while the tests
themself are located under dedicated sub-directories:

     /usr/lib/systemd/tests/
     ├── integration-tests
     ├── testdata
     └── unit-tests
         ├── testdata -> ../testdata

However the unit tests implemented as shell scripts (such as
test-fstab-generator.sh) expect to find testdata/ where the scripts are
installed, ie they do something like:

  src="$(dirname "$0")/testdata/test-fstab-generator"

This patch installs a symlink in 'unitestsdir' named "testdata" and that points
to whatever value 'testdata_dir' is set.

meson: define testdata_dir globally

test: install unit tests in a dedicated subdirectory below '$testsdir'

/usr/lib/systemd/tests may contain more than the unit tests. For example on
SUSE we also install the integration tests there.

Putting the unit tests in a dedicated directory named 'unit-tests' makes the
layout cleaner.

Note that `run-unit-tests.py` has not been moved so we don't need to adjust
(Fedora) packaging and users also don't need to descend into the subdirectory.

chase-symlinks: Allow optional path with CHASE_EXTRACT_FILENAME

This allows helpers to set it unconditionally even if the caller
is not interested in the path.

chase-symlinks: Rename chase_symlinks() to chase()

Chasing symlinks is a core function that's used in a lot of places
so it deservers a less verbose names so let's rename it to chase()
and chaseat().

We also slightly change the pattern used for the chaseat() helpers
so we get chase_and_openat() and similar.

Merge pull request #26785 from keszybz/udev-distcheck

Implement --help/--version in all udev builtins

ukify: Add riscv32 and loongarch support

ukify: Use pefile to add sections to EFI stub

analyze: don't claim "@known" was an unlisted syscall

It's a sycall group of our own definition, and the output is erroneous
to claim otherwise. Let's hide it.

This adds syscall_set_add() which is nicely symmetric to the existing
syscall_set_remove().

Follow-up for: 6d6a08547c03f96dc798cda1ef4a8d3013d292d5

seccomp-util: enforce group ordering

So far we asked via a comment that @default should stay the first group
and @known the last group in the list. Let's enforce that statically, in
code, too.

seccomp-util: add some newer syscalls to existing groups

These three new syscalls are mostly just new flavours or extensions of
existing syscalls, hence add them to the same groups.

seccomp-util: add new @sandbox syscall group with landlock/seccomp

Let's group these 4 syscalls, as they offer similar things and I guess
might be used in conjunction quite often, as they offer unprivileged
sandboxing.

Fixes: #26913

test: add a couple of tests for systemd-coredump

Merge pull request #26958 from yuwata/nulstr-optionally-drop-trailing-nulstr

nulstr: make strv_parse_nulstr() optionally drop trailing NULs

Merge pull request #26957 from yuwata/proc-cmdline-cleanups

proc-cmdline: several cleanups

Merge pull request #26948 from yuwata/vconsole-fix-memleak

vconsole: introduce Context and its helper functions

Merge pull request #26956 from yuwata/core-main-arguments-followed-by-equal

core/main: make arguments followed by '='

process-util: drop trailing NUls before parsing the nulstr

No functional changes, just refactoring.

test: add tests from strv_parse_nulstr_full()

nulstr-util: introduce strv_parse_nulstr_full() that optionally drop trailing empty strings

test-proc-cmdline: test proc_cmdline_get_key() actually parses EFI options

Follow-up for 53aa0d02add93d8c0afa2772609372a2040c162a.

proc-cmdline: make proc_cmdline_parse_given() static

It is used only in proc-cmdline.c and its test. And the test can be
covered by proc_cmdline_parse().

proc-cmdline: use proc_cmdline_key_string() when we search for key

proc-cmdline: rename variable

proc-cmdline: insert an empty line between variable declaration and assertion

core/main: make positional arguments followed by '=', then by value

To make ConditionKernelCommandLine= or friend not confused when we are
running in a container.

Addresses https://github.com/systemd/systemd/pull/26887#discussion_r1143358884.

core/main: fix maximum number of arguments for shutdown command

Follow-up for c5673ed0de3bec38f68d8113d253842b47766e27.

vconsole: introduce context_get_config() helper function

And make keyboard_load_and_wait() and font_load_and_wait() take Context.

vconsole: introduce Context and its helper functions

Fixes memleaks introduced by 01771226c202183ff447da712f43d2fad8874484
and ea575e176aac9fa8f430bb30a3e8abd8da767a10

Fixes #26945.

chase-symlinks: Use xopenat() instead of open_mkdir_at()

We don't rely on any of the extra functionality of open_mkdir_at()
so let's just use xopenat() directly.

Merge pull request #26935 from keszybz/test-parse_aux

Add test for auxv parsing

Merge pull request #26949 from DaanDeMeyer/xopenat-reopen

loop-util: Add loop_device_make_by_path_at()

fileio: add new helper fdopen_independent()

This is a combination of fdopen() and fd_reopen(). i.e. it first reopens
the fd, and then converts that into a FILE*.

We do this at various places already manually. let's move this into a
helper call of its own.

Merge pull request #26953 from poettering/encrypted-cred-mini-refactor

core: minor refactoring of allowlisting TPM devices when encrypted creds are loaded

pid1: allowlist all tpm devices for a unit when encrypted creds are needed

We might be configured to use some ther device than /dev/tpmrm0, hence
allow them all by allowlisting the tpm char device class as a whole.

core: move encrypted credential check to execute.c

This is an operation on an ExecContext, hence it probably should be
placed there.

test-coredump-util: also test parse_auxv() with unaligned data

test-coredump-util: add tests for parse_aux()

The test files are /proc//auxv files copies from various architecutres
signified by the file name suffix.

Those tests are fairly simple, but when we run them on n architectures, we do
~n² cross-arch tests.

coredump: split out parse_auxv() to src/shared/

No functional change. (We already checked for ELFCLASS32 or ELFCLASS64 before,
so even though there's a new check for other architectures, the only caller
only passes ELFCLASS32 or ELFCLASS64.)

loop-util: Add loop_device_make_by_path_at()

On top of taking a directory file descriptor, we use xopenat() so
that the function can also be used to work on existing file
descriptors to image files including all the logic to use O_DIRECT
and fallback to O_RDONLY if needed.

fs-util: Allow xopenat() to reopen existing file descriptors

Merge pull request #26214 from YHNdnzj/sd-notify-change-notifyaccess

core: support overriding NOTIFYACCESS= through sd-notify during runtime

docs: Explicitly tell developers to enable mkosi required meson options

We need repart, bootctl, analyze and ukify for mkosi so let's make
sure those get built in the HACKING guide.

find-esp: don't silently error bootctl install if presumed XBOOTLDR part is stx_dev_major=0 but not btrfs

btrfs_get_block_device_fd() returns -ENOTTY if fstatfs().f_type !=
BTRFS_SUPER_MAGIC

btrfs_get_block_device_fd() is run by verify_fsroot_dir() by
verify_xbootldr() by find_xbootldr_and_warn() if
statx($presumed-XBOOTLDR).stx_dev_major == 0 ("maybe a btrfs device")

Every bootctl verb_install() runs find_xbootldr_and_warn(), by default
with /boot

If your /boot .stx_dev_major=0 but /not/ btrfs, bootctl install/update
quietly exits 1 with no note so as to what exactly failed (debug also
empty, and the strace isn't exactly clear since no syscall actually
failed)

This is the case on ZFS and the Debian filesystem layout: /boot/efi is
the ESP, and everything else under / is ZFS:
  $ sudo env SYSTEMD_LOG_LEVEL=debug bootctl update
  Found cgroup2 on /sys/fs/cgroup/, full unified hierarchy
  Found container virtualization none.
  File system "/boot" is not a FAT EFI System Partition (ESP) file system.
  Using EFI System Partition at /boot/efi.
  Checking whether /boot/efi/EFI/systemd/ contains any files…
  $ echo $?
  1
and funnier still:
  $ sudo bootctl update --graceful
  $ echo $?
  1

Which is great, and also breaks postinst, which runs precisely the
latter, with no feedback at all

By checking for -ENOTTY we accept that the path being investigated
"is not it" if it's on ZFS (and any other filesystem that returns
.stx_dev_major == 0 but isn't btrfs)

test-fileio: add test for return value of read_one_line_file()

Prompted by https://github.com/systemd/systemd/pull/26904#pullrequestreview-1349890241.

Merge pull request #26936 from DaanDeMeyer/xopenat-lock

fs-util: Add xopenat_lock()

Merge pull request #26916 from DaanDeMeyer/log-context-ref

log: Avoid pushing the same fields more than once on the log context

fs-util: Add xopenat_lock()

open/create a file/directory and lock it using the given lock type.

edit-util: alloc correct amount of memory