Merge pull request #23565 from bnf/man-nspawn-wording

man: nspawn related wording improvements

man/nspawn: os-release is only checked for booted containers

/etc/os-release existence is only enforced in --boot mode,
therefore the term "starting" (which also applies to chroot-like mode)
is substituted with "booting" in this context.

man/nspawn: add a sentence-connecting adverb to machinectl note

The recommendation to use machinectl login/shell instead of
trying to combine two distinct container instances seemed a
litte bit out of context and is now combined via "rather".

man/nspawn: fix boot-option related wording

Merge pull request #23562 from yuwata/fix-typo

Fix typo

esp: fix typo

Follow-up for 13d7c841a24f784995a000230706f259c4baec96.

doc: fix typo

Follow-ups for #23504.

Merge pull request #23354 from DaanDeMeyer/mount-implicit-device-dep-trace

core: Add trace logging to mount_add_device_dependencies()

Merge pull request #23529 from nabijaczleweli/dollar-asterisk

Don't linebreak after each initrd in kernel-install verbose mode

meson: Build header tests with -pedantic

By using __extension__, we can silence pedantic errors we cannot or
do not want to fix.

This in particular silences:
 - enum values being outside of int range
 - variadic macros
 - long long being C99
 - type of bit-field ‘type’ is a GCC extension
 - use of C99 bool in public header functions

Merge pull request #23542 from medhefgo/attributes

meson: Document why -Wimplicit-fallthrough is not used with clang

tests: link tests using fabs against libm explicitly

Some compiler wrappers like honggfuzz pass -fno-builtin explicitly
and because of that the tests where fabs is used fail to compile
with something like
```
FAILED: test-bus-marshal
...
/usr/bin/ld: test-bus-marshal.p/src_libsystemd_sd-bus_test-bus-marshal.c.o: undefined reference to symbol 'fabs@@GLIBC_2.2.5'
/usr/bin/ld: /usr/lib64/libm.so.6: error adding symbols: DSO missing from command line
collect2: error: ld returned 1 exit status
```

Fun fact: it took honggfuzz less than a minute to discover
https://github.com/advisories/GHSA-gmc7-pqv9-966m used by
systemd to compress/descompress some stuff.

clang-format: Adjust style of pointers

We gernerally have our pointers aligned to the right. SpaceAroundPointerQualifiers
makes sure "const char * const" is formatted nicely.

Merge pull request #23550 from evverx/fuzz-i386

oss-fuzz: support i386

Merge pull request #23548 from tpgxyz/lua2

rpm: adjust lua trigger for udevadm

oss-fuzz: support i386

Closes https://github.com/systemd/systemd/issues/23532

docs: mention how to build 32 bit fuzz targets

meson: exclude pcre2 when dependencies are skipped

rpm: adjust lua trigger for udevadm

rpm: use rpm.execute() instead of fork() and execp() for trigger scriplets

Move homectl and userdbctl to bindir

Those binaries aren't needed during early boot.

meson: Document why -Wimplicit-fallthrough is not used with clang

This changes the macro to ensure proper fallthrough attributes are
used with clang in case this option is added in the future.

man: Fix minor typo

macro: Move attribute defintions to macro-fundamental

This also sorts them.

sd-bus: fix buffer overflow

Fixes #23486.

Merge pull request #23518 from enr0n/sd-hwdb-from-path

Implement --root option for systemd-hwdb query

Use descriptive name for nobody

This matches the changes pushed to Fedora [1,2].

[1] https://fedoraproject.org/wiki/Changes/RenameNobodyUser
[2] https://pagure.io/setup/c/f6fdb5ffc87fc8f1acc211867fef4e3f0856edfc

hwdb: implement --root option for systemd-hwdb query

Currently, the systemd-hwdb --root flag only has an effect for the
'update' verb. It would be useful to be able to use the --root option
for the 'query' verb too (e.g. for testing a hwdb.bin created with
systemd-hwdb update --root <path>).

Use sd_hwdb_new_from_path to initialize the hwdb if --root is passed to
systemd-hwdb query.

Note that this functionality was not added to 'udevadm hwdb' since that
command is deprecated.

sd-hwdb: add sd_hwdb_new_from_path

The existing sd_hwdb_new function always initializes the hwdb from the
first successful hwdb.bin it finds from hwdb_bin_paths. This means there
is currently no way to initialize a hwdb from an explicit path, which
would be useful for systemd-hwdb query.

Add sd_hwdb_new_from_path to allow a sd_hwdb to be initialized from a
custom path outside of hwdb_bin_paths.

sd-hwdb: include sys/stat.h in hwdb-internal.h

Include this header to fix errors when including hwdb-internal.h:
  ../src/libsystemd/sd-hwdb/hwdb-internal.h:16:21: error: field ‘st’ has incomplete type
     16 |         struct stat st;

Merge pull request #23504 from keszybz/bls-reordering

Refactor the BLS and add a description of version sorts

Merge pull request #23536 from mrc0mmand/TEST-69-tweaks

A couple of tweaks for TEST-69-SHUTDOWN

Merge pull request #23527 from keszybz/esp-detect-xbootldr

Fix xbootldr detection, fail early in kernel-install

Merge pull request #23521 from keszybz/some-docs

Some docs

hwdb: Add Google Meet speakermic

It has the same issue as the Google Hangouts Meet speakermic but a
different VID/PID.

test: fix a couple of pylint warnings

test: bump the post-reboot expect() timeout

as it may take a bit longer on slower machines:

```
[  OK  ] Reached target System Reboot.
Found cgroup2 on /sys/fs/cgroup/, full unified hierarchy
Failed to open watchdog device /dev/watchdog0, ignoring: No such file or directory
binfmt_misc is not mounted, not detaching entries.
Sending SIGTERM to remaining processes...
ERROR:test-shutdown:Timeout exceeded.
<pexpect.pty_spawn.spawn object at 0x7f3d4bcd20b0>
command: /systemd-meson-build/systemd-nspawn
<...snip...>
buffer (last 100 chars): 'mbinfmt_misc is not mounted, not detaching entries.\x1b[0m\r\nSending SIGTERM to remaining processes...\r\n'
before (last 100 chars): 'mbinfmt_misc is not mounted, not detaching entries.\x1b[0m\r\nSending SIGTERM to remaining processes...\r\n'
after: <class 'pexpect.exceptions.TIMEOUT'>
match: None
match_index: None
exitstatus: None
flag_eof: False
pid: 572528
child_fd: 5
closed: False
timeout: 30
delimiter: <class 'pexpect.exceptions.EOF'>
logfile: <_io.TextIOWrapper name='<stdout>' mode='w' encoding='utf-8'>
logfile_read: None
logfile_send: None
maxread: 2000
ignorecase: False
searchwindowsize: None
delaybeforesend: 0.05
delayafterclose: 0.1
delayafterterminate: 0.1
searcher: searcher_re:
    0: re.compile('H login: ')
INFO:test-shutdown:killing child pid 572528
E: nspawn failed with exit code 1
```

Merge pull request #23517 from mrc0mmand/cryptsetup-switchroot-transition

test: cover initrd->sysroot transition in TEST-24

loader.conf: Clarify the default value of timeout.

kernel-install: don't log each initrd on its own line in verbose mode

kernel-install: actually ignore the last two arguments

shared/find-esp: enhance logging

If something doesn't match, let's print the non-matching value.
If we can't query something, say what.
And make the messages in the udev and blkid paths different, so
we tell which approach failed from a log.

shared/find-esp: fix inverted check for XBOOTLDR type

kernel-install: if a plugin fails, return error immediately

Since the first version in 81516adcb71a47837544340f72eb8ee810274119,
kernel-install would "gather" a return value by summing the exit codes
of the plugins… This makes no sense, because those are not additive values.

Let's just break off immediately. We now implement cleanup via trap, so if we
break, we should leave no garbage behind.

docs/BLS: clear up the confusion about what $BOOT means

The text used was originally written for everything being on the ESP. It was
later generalized for support XBOOTLDR, and "$BOOT" was introduced to mean
something like "XBOOTLDR if present, the ESP otherwise", and most of the text
was changed to talk about $BOOT. Sadly, this doesn't work, because the two
partitions are not interchangeable. sd-boot loads entries from both partitions,
and its configuration, random-seed, etc. only from the ESP.

The terms are redefined: $BOOT now means either the ESP or the "boot partition"
playing the same role on MBR systems, and $XBOOTLDR is XBOOTLDR.

Like various previous commits, this makes the specification describe our
current implementation.

Also, the let's just accept the common practice of using /boot and /boot/efi.
Since both partitions need to be read to gather configuration, it isn't a
problem that one is mounted underneath the other one. I think having /boot and
/efi is OK, but not better in any measureable way, so let's stop trying to push
people towards this setup.

A note that XBOOTLDR must be on the same disk as ESP is added.

Merge pull request #23523 from evverx/oss-fuzz-links

docs: add a link to the OSS-Fuzz coverage report

docs: be more specific about the OSS-Fuzz toolchain

core/device: do not downgrade device state if it is already enumerated

On switching root, a device may have a persistent databse. In that case,
Device.enumerated_found may have DEVICE_FOUND_UDEV flag, and it is not
necessary to downgrade the Device.deserialized_found and
Device.deserialized_state. Otherwise, the state of the device unit may
be changed plugged -> dead -> plugged, if the device has not been mounted.

Fixes #23429.

[mwilck: cherry-picked from #23437]

docs: update OSS-Fuzz links

core/device: device_coldplug(): don't set DEVICE_DEAD

dm-crypt device units generated by systemd-cryptsetup-generator
habe BindsTo= dependencies on their backend devices. The dm-crypt
devices have the db_persist flag set, and thus survive the udev db
cleanup while switching root. But backend devices usually don't survive.
These devices are neither mounted nor used for swap, thus they will
seen as DEVICE_NOT_FOUND after switching root.

The BindsTo dependency will cause systemd to schedule a stop
job for the dm-crypt device, breaking boot:

[   68.929457] krypton systemd[1]: systemd-cryptsetup@cr_root.service: Unit is stopped because bound to inactive unit dev-disk-by\x2duuid-3bf91f73\x2d1ee8\x2d4cfc\x2d9048\x2d93ba349b786d.device.
[   68.945660] krypton systemd[1]: systemd-cryptsetup@cr_root.service: Trying to enqueue job systemd-cryptsetup@cr_root.service/stop/replace
[   69.473459] krypton systemd[1]: systemd-cryptsetup@cr_root.service: Installed new job systemd-cryptsetup@cr_root.service/stop as 343

Avoid this by not setting the state of the backend devices to
DEVICE_DEAD.

Fixes the LUKS setup issue reported in #23429.

test: store the key on a separate device

test: generate a custom initrd for TEST-24 if $INITRD is unset

Co-Authored-By: Yu Watanabe <watanabe.yu+github@gmail.com>

man/homectl: adjust man page to match code

Fixes #22966. Since there are competing conventions, let's not
change our code, but make the docs match what is implemented.

man/sd-bus: discuss negative-return values and add example

Fixes #22816.

man/shutdown: explain -h more

Fixes #23401

man/automount: say that automounts should not be nested

Fixes #21832.

man/systemd.automount: move the main description up and clarify deps

TODO: drop entry

Implemented in 14e6e444dd9eaa0db229548c31baecd75de4478e.

man: do not say "additional symlinks" for mount/automount aliases

"additional" implies that the unit itself is a symlink, which it is not.
Also "link to the mount unit", not "link to the mount".

systemctl: make show/status honour --state and --type

This makes the interface more flexible, by allowing the same filtering
for show and status as is done for list-units.

Fixes #23207.

Merge pull request #23513 from keszybz/bootctl-version-print

bootctl: print version comparison when updating

test: cover initrd->sysroot transition in TEST-24

This should cover cases regarding devices with `OPTIONS+="db_persist"`
during initrd->sysroot transition.

See:
  * https://github.com/systemd/systemd/issues/23429
  * https://github.com/systemd/systemd/pull/23218
  * https://github.com/systemd/systemd/pull/23489
  * https://bugzilla.redhat.com/show_bug.cgi?id=2087225

bootctl: when comparing versions, show the result

In Fedora there was a mixup with versions (the version was prefixed with "v", and
"v251" < "250"). This makes this easier to debug.

basic: add helper function to print </==/>

analyze: use '' instead of the empty string when showing versions

It looks like garbled output… I didn't use shell-escape, because the other
characters that are special for the shell that are used in versions should
not be escaped.

[sd-boot] improve documentation of beep

docs/BLS: describe version comparisons

Fixes #23346.

basic/string-util: tweak strverscmp_improved() for some corner cases

So far we had the rule that '' == '', '0_' == '0', but '_' > ''. This means
that the general rule that strings are compared iteratively, and each
segment that compares equal can be dropped and the comparison resumes at
the following characters wasn't true in such cases. Similarly, '0~' < '0',
but after dropping the common segment, '~' > ''.

The special handling of empty strings is dropped, and '_' == '' and
'~' < ''.

test-seccomp: check for CAP_IPC_OWNER before calling shmat()

shmat() requires the CAP_IPC_OWNER capability. When running test-seccomp
in environments with root + CAP_SYS_ADMIN, but not CAP_IPC_OWNER,
memory_deny_write_execute_shmat would fail. This fixes it.

kernel-install: ignore extra args passed when invoked as installkernel

kernel's 'make install' invokes install.sh which calls /sbin/install-kernel.
Thus we are invoked as e.g.
  /sbin/installkernel 5.18.0 arch/x86/boot/bzImage System.map /boot
The last two arguments would be passed as "initrds".

Before , we would just quitely ignore
/boot, because it doesn't pass the 'test -f' test, and possibly try to do
something with System.map. 742561efbe938c45936f2e4f5d81b3ff6b352882 tightened
the check, so we now throw an error.

It seems that the correct thing is to ignore those two arguments, because
our plugin syntax has no notion of System.map. And the installation directory
we can figure out ourselves better. Effectively, this makes things behave
like before, but less by accident.

Fixes #23490.

ci: reenable validation of GH Actions files

docs/BLS: rework the description of directory layout

We said "`$BOOT/loader/` is the directory containing all files needed
for Type #1 entries" which is blatantly wrong. And also saying that we
define two directories, /loader and /loader/entries, but only ever defining
the second one was not very consistent.

Instead, let's say that /loader/ is for "boot loader configuration", and
/loader/entries has the snippets. A new section about /<entry-token>/<version>/
is added. This is described as the "recommended layout for additional files".

Also, we said that ID= should be used in the file name, but in fact it
wasn't in the example that was given, and afaik, nobody ever did that. So
this part is reduced to say "kernel version (as returned by `uname -r`,
including the OS identifier)". AFAIK, all distros include some form of
OS identifier in the version, so this should be good enough.

Since we now don't depend on autodetection (e.g. with entry-token and layout
configured), the installed doesn't need to always create /loader/entries and
things will still work. So don't say that the installer needs to create it.

Part of the discussion is moved to the Discussion section.

Overall, this brings the specification more in line with actual practice.

docs: /etc/os-release → os-release(3)

It's /usr/lib/os-release now mostly. But let's link to the man page.

docs: reworder/rewrite BLS to read more like a specification

I tried not to introduce any semantic changes, but to reorder the whole
text to be more usable as a reference specification: more sections are
created and the discussion and justifications are moved to the end.
Also, "BIOS" is changed to "firmware" in various places, and other parts
of the text that made sense when this was originally written are now dated
are adjusted. I separated and extended the examples a bit.

The abstract at the top ("TL;DR: Currently there’s no common boot scheme…")
is dropped. It didn't seem to fit anywhere.

Minor wording fixes

Some NEWS entries are tweaked a bit to address complaints about readability
from users.

"udev" is pronounced as /ˈjuːdɛv/, like in "user", hence "a" not "an".

boot: Fix bad CompareMem call

portable: Fix memory leak in maybe_enable_disable()

Fixes #23481

Merge pull request #23475 from nabijaczleweli/certified-lint.1-moment

Actually run shellcheck on CI

dissect-image: Explicitly remove partitions when done with image

When closing a loop device, the kernel will asynchronously remove
the probed partitions. This can lead to race conditions where we
try to reuse a partition device that still needs to be removed by
the kernel. To avoid such issues, let's explicitly try to remove
any partitions using BLKPG_DEL_PARTITION when we're done with an
image.

To make sure we don't try to remove partitions when we want them
to remain (e.g. systemd-dissect --mount), we add
dissected_image_relinquish() in a similar vein to loop_device_relinquish()
and decrypted_image_relinquish().

ci: bump gcc in the "build test" workflow

gcc-12 has been released

shellcheck-clean kernel-install again

Fix which(1) in meson-build.sh

Don't ignore kernel-install for shellcheck

Merge pull request #23344 from medhefgo/boot-config-add

boot: Small config entry add changes

Merge pull request #23414 from keszybz/analyze-vercmp

systemd-analyze compare-versions

test: Test STRLEN for C11 string literals

NEWS: Fix some minor mistakes

coredump: Fix format string type mismatch

Fixes #23471

boot: Rename functions adding entries to match userspace

boot: Remove trivial config entry add helpers

These two functions have very limited use and are just fancy wrappers
around structured initializers.

Do not require a valid version when parsing sd-boot loader entries

This fixes #20820

Merge pull request #23465 from mrc0mmand/bump-actions-to-ubuntu-2204

ci: bump GH Actions to Ubuntu Jammy where applicable

docs: improve table readability

Let the table span more than the default content width,
if the table contains alot of data (controlled by width: auto)
(720px is very good for continuous text, but too narrow for tables).

The container class is therefore adapted to put the
width restriction on the elements itself, allowing for
exceptions for individual elements like <table> and
<h1> (which used an offset margin before and is now
streamlined to use a max-width as well).

Also add a striped background to ease reading rows
and allow for horizontal mobile scrolling without
overflowing the entire document, only the table itself.

Merge pull request #22550 from medhefgo/boot-mixed

boot: EFI mixed mode support

ci: temporarily disable validation of GH Action files

since the current version of super-linter doesn't recognize
ubuntu-22.04 as a valid runner specification. This should
be fixed once https://github.com/github/super-linter/pull/2897
is merged, which includes
https://github.com/rhysd/actionlint/commit/09a60b0f5761c2d066def294e541c25a89756eea

cryptsetup: fix build with -Db_ndebug=true

```
 ...
 ../src/cryptsetup/cryptsetup-tokens/cryptsetup-token-systemd-fido2.c:33:13: error: variable 'r' set but not used [-Werror,-Wunused-but-set-variable]
         int r;
             ^
 1 error generated.
 ...
 ../src/cryptsetup/cryptsetup-tokens/cryptsetup-token-systemd-pkcs11.c:34:13: error: variable 'r' set but not used [-Werror,-Wunused-but-set-variable]
         int r;
             ^
 1 error generated.
 ninja: build stopped: subcommand failed.
 + fatal ''\''meson compile'\'' failed with -Db_ndebug=true'
```

ci: prefer the distro llvm version if available

ci: bump GH Actions to Ubuntu Jammy where applicable

resolved: default to OpenSSL

If both gnutls and openssl are available, prefer openssl.
We are gradually moving toward supporting openssl only as the
crypto library, and the resolved gnutls backend will be dropped
at some point, so start nudging users toward the openssl one.

Merge pull request #23460 from keszybz/docs-redirect

docs: rename COREDUMP_PACKAGE_METADATA → ELF_PACKAGE_METADATA