Merge pull request #23521 from keszybz/some-docs

Some docs

hwdb: Add Google Meet speakermic

It has the same issue as the Google Hangouts Meet speakermic but a
different VID/PID.

Merge pull request #23517 from mrc0mmand/cryptsetup-switchroot-transition

test: cover initrd->sysroot transition in TEST-24

loader.conf: Clarify the default value of timeout.

Merge pull request #23523 from evverx/oss-fuzz-links

docs: add a link to the OSS-Fuzz coverage report

docs: be more specific about the OSS-Fuzz toolchain

core/device: do not downgrade device state if it is already enumerated

On switching root, a device may have a persistent databse. In that case,
Device.enumerated_found may have DEVICE_FOUND_UDEV flag, and it is not
necessary to downgrade the Device.deserialized_found and
Device.deserialized_state. Otherwise, the state of the device unit may
be changed plugged -> dead -> plugged, if the device has not been mounted.

Fixes #23429.

[mwilck: cherry-picked from #23437]

docs: update OSS-Fuzz links

core/device: device_coldplug(): don't set DEVICE_DEAD

dm-crypt device units generated by systemd-cryptsetup-generator
habe BindsTo= dependencies on their backend devices. The dm-crypt
devices have the db_persist flag set, and thus survive the udev db
cleanup while switching root. But backend devices usually don't survive.
These devices are neither mounted nor used for swap, thus they will
seen as DEVICE_NOT_FOUND after switching root.

The BindsTo dependency will cause systemd to schedule a stop
job for the dm-crypt device, breaking boot:

[   68.929457] krypton systemd[1]: systemd-cryptsetup@cr_root.service: Unit is stopped because bound to inactive unit dev-disk-by\x2duuid-3bf91f73\x2d1ee8\x2d4cfc\x2d9048\x2d93ba349b786d.device.
[   68.945660] krypton systemd[1]: systemd-cryptsetup@cr_root.service: Trying to enqueue job systemd-cryptsetup@cr_root.service/stop/replace
[   69.473459] krypton systemd[1]: systemd-cryptsetup@cr_root.service: Installed new job systemd-cryptsetup@cr_root.service/stop as 343

Avoid this by not setting the state of the backend devices to
DEVICE_DEAD.

Fixes the LUKS setup issue reported in #23429.

test: store the key on a separate device

test: generate a custom initrd for TEST-24 if $INITRD is unset

Co-Authored-By: Yu Watanabe <watanabe.yu+github@gmail.com>

man/homectl: adjust man page to match code

Fixes #22966. Since there are competing conventions, let's not
change our code, but make the docs match what is implemented.

man/sd-bus: discuss negative-return values and add example

Fixes #22816.

man/shutdown: explain -h more

Fixes #23401

man/automount: say that automounts should not be nested

Fixes #21832.

man/systemd.automount: move the main description up and clarify deps

TODO: drop entry

Implemented in 14e6e444dd9eaa0db229548c31baecd75de4478e.

man: do not say "additional symlinks" for mount/automount aliases

"additional" implies that the unit itself is a symlink, which it is not.
Also "link to the mount unit", not "link to the mount".

systemctl: make show/status honour --state and --type

This makes the interface more flexible, by allowing the same filtering
for show and status as is done for list-units.

Fixes #23207.

Merge pull request #23513 from keszybz/bootctl-version-print

bootctl: print version comparison when updating

test: cover initrd->sysroot transition in TEST-24

This should cover cases regarding devices with `OPTIONS+="db_persist"`
during initrd->sysroot transition.

See:
  * https://github.com/systemd/systemd/issues/23429
  * https://github.com/systemd/systemd/pull/23218
  * https://github.com/systemd/systemd/pull/23489
  * https://bugzilla.redhat.com/show_bug.cgi?id=2087225

bootctl: when comparing versions, show the result

In Fedora there was a mixup with versions (the version was prefixed with "v", and
"v251" < "250"). This makes this easier to debug.

basic: add helper function to print </==/>

analyze: use '' instead of the empty string when showing versions

It looks like garbled output… I didn't use shell-escape, because the other
characters that are special for the shell that are used in versions should
not be escaped.

[sd-boot] improve documentation of beep

test-seccomp: check for CAP_IPC_OWNER before calling shmat()

shmat() requires the CAP_IPC_OWNER capability. When running test-seccomp
in environments with root + CAP_SYS_ADMIN, but not CAP_IPC_OWNER,
memory_deny_write_execute_shmat would fail. This fixes it.

kernel-install: ignore extra args passed when invoked as installkernel

kernel's 'make install' invokes install.sh which calls /sbin/install-kernel.
Thus we are invoked as e.g.
  /sbin/installkernel 5.18.0 arch/x86/boot/bzImage System.map /boot
The last two arguments would be passed as "initrds".

Before , we would just quitely ignore
/boot, because it doesn't pass the 'test -f' test, and possibly try to do
something with System.map. 742561efbe938c45936f2e4f5d81b3ff6b352882 tightened
the check, so we now throw an error.

It seems that the correct thing is to ignore those two arguments, because
our plugin syntax has no notion of System.map. And the installation directory
we can figure out ourselves better. Effectively, this makes things behave
like before, but less by accident.

Fixes #23490.

ci: reenable validation of GH Actions files

boot: Fix bad CompareMem call

portable: Fix memory leak in maybe_enable_disable()

Fixes #23481

Merge pull request #23475 from nabijaczleweli/certified-lint.1-moment

Actually run shellcheck on CI

dissect-image: Explicitly remove partitions when done with image

When closing a loop device, the kernel will asynchronously remove
the probed partitions. This can lead to race conditions where we
try to reuse a partition device that still needs to be removed by
the kernel. To avoid such issues, let's explicitly try to remove
any partitions using BLKPG_DEL_PARTITION when we're done with an
image.

To make sure we don't try to remove partitions when we want them
to remain (e.g. systemd-dissect --mount), we add
dissected_image_relinquish() in a similar vein to loop_device_relinquish()
and decrypted_image_relinquish().

ci: bump gcc in the "build test" workflow

gcc-12 has been released

shellcheck-clean kernel-install again

Fix which(1) in meson-build.sh

Don't ignore kernel-install for shellcheck

Merge pull request #23344 from medhefgo/boot-config-add

boot: Small config entry add changes

Merge pull request #23414 from keszybz/analyze-vercmp

systemd-analyze compare-versions

test: Test STRLEN for C11 string literals

NEWS: Fix some minor mistakes

coredump: Fix format string type mismatch

Fixes #23471

boot: Rename functions adding entries to match userspace

boot: Remove trivial config entry add helpers

These two functions have very limited use and are just fancy wrappers
around structured initializers.

Do not require a valid version when parsing sd-boot loader entries

This fixes #20820

Merge pull request #23465 from mrc0mmand/bump-actions-to-ubuntu-2204

ci: bump GH Actions to Ubuntu Jammy where applicable

docs: improve table readability

Let the table span more than the default content width,
if the table contains alot of data (controlled by width: auto)
(720px is very good for continuous text, but too narrow for tables).

The container class is therefore adapted to put the
width restriction on the elements itself, allowing for
exceptions for individual elements like <table> and
<h1> (which used an offset margin before and is now
streamlined to use a max-width as well).

Also add a striped background to ease reading rows
and allow for horizontal mobile scrolling without
overflowing the entire document, only the table itself.

Merge pull request #22550 from medhefgo/boot-mixed

boot: EFI mixed mode support

ci: temporarily disable validation of GH Action files

since the current version of super-linter doesn't recognize
ubuntu-22.04 as a valid runner specification. This should
be fixed once https://github.com/github/super-linter/pull/2897
is merged, which includes
https://github.com/rhysd/actionlint/commit/09a60b0f5761c2d066def294e541c25a89756eea

cryptsetup: fix build with -Db_ndebug=true

```
 ...
 ../src/cryptsetup/cryptsetup-tokens/cryptsetup-token-systemd-fido2.c:33:13: error: variable 'r' set but not used [-Werror,-Wunused-but-set-variable]
         int r;
             ^
 1 error generated.
 ...
 ../src/cryptsetup/cryptsetup-tokens/cryptsetup-token-systemd-pkcs11.c:34:13: error: variable 'r' set but not used [-Werror,-Wunused-but-set-variable]
         int r;
             ^
 1 error generated.
 ninja: build stopped: subcommand failed.
 + fatal ''\''meson compile'\'' failed with -Db_ndebug=true'
```

ci: prefer the distro llvm version if available

ci: bump GH Actions to Ubuntu Jammy where applicable

resolved: default to OpenSSL

If both gnutls and openssl are available, prefer openssl.
We are gradually moving toward supporting openssl only as the
crypto library, and the resolved gnutls backend will be dropped
at some point, so start nudging users toward the openssl one.

Merge pull request #23460 from keszybz/docs-redirect

docs: rename COREDUMP_PACKAGE_METADATA → ELF_PACKAGE_METADATA

docs: adapt forward layout to systemd.io design

docs: rename COREDUMP_PACKAGE_METADATA → ELF_PACKAGE_METADATA

The format described by this document is used not only for coredumps,
but also for other purposes, so we've outgrown the old title.

A redirect was added based on https://codepo8.github.io/github-redirection-demo/.
I tried to use a relative link, but it's hard to test if it works
before merging.

Co-authored-by: Benjamin Franzke <benjaminfranzke@googlemail.com>

Merge pull request #23464 from bnf/update-wiki-links

tree-wide: replace obsolete wiki links with systemd.io/manpages

bootctl: Add EFI arch detection support

boot: Support booting in EFI mixed mode

The kernel provides a ".compat" PE section that contains a list of
compat entry points with their respective arches. This entry point
does all the heavy lifting to support running 64bit kernels when
the UEFI firmware is 32bit.

Note that the EFI handover protocol code in linux_x86.c does not
need any adjustments as it already correctly calls the 32bit handover
code.

Fixes: #17056

boot: Add LINUX_INITRD_MEDIA support to boot.c

boot: Keep initrds separate from cmdline options

This is in preparation for LINUX_INITRD_MEDIA support in boot.c. One
downside is that adding or changing the used initrds by command line
editing is not possible anymore.

boot: Edit config entry options inline

An edited entry command line should not be saved globally as it
should be tied to that one entry only.

fundamental: Move some helpers into string-util-fundamental

boot: Use cleanup handler to unload image

This also moves the message about failed image execution into
image_start() as we would otherwise show two error messages if
any of the preparatory steps failed.

network: drop support for old kernels which cannot set prefix route with non-main route table

Not sure when the issue was fixed.
- kernel-3.10 on CentOS 7 has the issue,
- kernel-4.18 on CentOS 8 works fine.

Note, the workaround dropped by the commit is not incomplete:
with an old kernel which has the issue, all non-prefix routes are
configured on the specified route table, but the prefix route is
configured on the main table. That should not work for most cases,
hence, the workaround is mostly meaningless.

Merge pull request #23339 from poettering/sockaddr-size-limit

tree-wide: add support for connecting to AF_UNIX sockets in the file system beyond the 108ch limit

Merge pull request #23342 from poettering/efi-monotonic-counter-random-seed

sd-boot: include GetNextMonotonicCount() in random seed calculations

boot: Build with -flto=auto if available

Without this, we may get the following warning with gcc-12:
    lto-wrapper: warning: using serial compilation of 2 LTRANS jobs

macro: Use C11 noreturn only

No need to provide a fallback as we compile with gnu11.

networkctl: show error message provided through dbus

Prompted by #23416.

Merge pull request #23453 from keszybz/strv-parsing

Add strv methods with externally-supplied size argument and speed up parsing of /etc/hosts

Merge pull request #23463 from bluca/hwdb

Finalize NEWS and hwdb for v251

tree-wide: Update homepage to systemd.io

tree-wide: replace obsolete wiki links with systemd.io/manpages

All wiki pages that contain a deprecation banner
pointing to systemd.io or manpages are updated to
point to their replacements directly.

Helpful command for identification of available links:
git grep freedesktop.org/wiki | \
    sed "s#.*\(https://www.freedesktop.org/wiki[^ $<'\\\")]*\)\(.*\)#\\1#" | \
    sort | uniq

tree-wide: streamline wiki links

* Avoid traling slash as most links are defined without.
* Always use https:// protocol and www. subdomain

Allows for easier tree-wide linkvalidation
for our migration to systemd.io.

NEWS: finalize

hwdb: update via ninja -C build update-hwdb

NEWS: update contributors list

sysext: refuse empty release ID to avoid triggering assertion

Otherwise, the assertion in extension_release_validate() will be
triggered.

test: add test for bus introspection of portable1

Follow-up for #23454.

Merge pull request #23439 from keszybz/kernel-install-verbose

Make kernel-install --verbose more verbose and some autodetection logic fixups

Merge pull request #23451 from medhefgo/boot-static-assert

boot: C11/static_assert

sd-bus: add comment and test in sd_bus_path_decode() for empty string

3970         e = object_path_startswith(path, prefix);
(gdb) p path
$1 = 0x55c5a166f768 "/org/freedesktop/portable1/image"
(gdb) p prefix
$2 = 0x55c59ffc2928 "/org/freedesktop/portable1/image"
(gdb) p e
$1 = 0x5581a1675788 ""

This can be a bit confusing in certain cases, so add a comment and a
test to make the behaviour clearer and explicit.

Merge pull request #23454 from keszybz/portable-introspect

Fix bus introspection of portable1

kernel-install: restore priority of check for /boot/loader/entries

Before 9e82a74cb0f08a288f9db228a0b5bec8a7188cdb, we had a check like the
following:

if [[ -d /efi/loader/entries ]] || [[ -d /efi/$MACHINE_ID ]]; then
    ENTRY_DIR_ABS="/efi/$MACHINE_ID/$KERNEL_VERSION"
elif [[ -d /boot/loader/entries ]] || [[ -d /boot/$MACHINE_ID ]]; then
    ENTRY_DIR_ABS="/boot/$MACHINE_ID/$KERNEL_VERSION"
elif [[ -d /boot/efi/loader/entries ]] || [[ -d /boot/efi/$MACHINE_ID ]]; then
    ENTRY_DIR_ABS="/boot/efi/$MACHINE_ID/$KERNEL_VERSION"
…

In stock Fedora 34-, /efi isn't used, but grub creates /boot/loader/entries and
installs kernels and initrds directly in /boot. Thus the second arm of the
check wins, and we end up with BOOT_ROOT=/boot.

After 9e82a74cb0f08a288f9db228a0b5bec8a7188cdb, we iterate over the inner
directory first and over the second directory later:

[ -d /efi/<machine-id> ]
[ -d /boot/efi/<machine-id> ]
[ -d /boot/<machine-id> ]
[ -d /efi/Default ]
[ -d /boot/efi/Default ]
[ -d /boot/Default ]
[ -d /efi/loader/entries ]
[ -d /boot/efi/loader/entries ]
[ -d /boot/loader/entries ]

This was partially reverted by 447a822f8ee47b63a4cae00423c4d407bfa5e516 which
removed Default from the list, and a5307e173bf86d695fe85b8e15e91126e8618a14,
which moved checks for /boot up, so we ended up with:

[ -d /efi/<machine-id> ]
[ -d /boot/<machine-id> ]
[ -d /boot/efi/<machine-id> ]
[ -d /efi/loader/entries ]
[ -d /boot/loader/entries ]
[ -d /boot/efi/loader/entries ]

6637cf9db67237857279262d93ee0e39023c5b85 added autodetection of an entry
token, so we end up checking the following suffixes:

<machine-id>, $IMAGE_ID, $ID, Default

But the important unchanged characteristic is that we iterate over the suffix
first. Sadly this breaks Fedora, because we find /boot/efi/<machine-id> before
we could find /boot/loader/entries. It seems that every possible aspect of
behaviour matters for somebody, so we need to keep the original order of
detection.

With the patch:

[ -d /efi/<machine-id> ]
...
[ -d /efi/loader/entries ]
[ -d /boot/<machine-id> ]
...
[ -d /boot/loader/entries ]
[ -d /boot/efi/<machine-id> ]
...
[ -d /boot/efi/loader/entries ]

Note that we need to check for "loader/entries" too, even though it is not
an entry-token candidate, so that we get the same detection priority as
before.

Fixes https://bugzilla.redhat.com/show_bug.cgi?id=2071034.

resolved: use strv_extend_with_size() to avoid slow parsing of /etc/hosts

https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=43942 is a simple case
where a repeated entry generates a timeout. I didn't import that case, but
generated a simpler one by hand.

$ time build/fuzz-etc-hosts test/fuzz/fuzz-etc-hosts/timeout-many-entries
test/fuzz/fuzz-etc-hosts/timeout-many-entries... ok
build/fuzz-etc-hosts test/fuzz/fuzz-etc-hosts/timeout-many-entries  3.17s (old)
  ↓
build/fuzz-etc-hosts test/fuzz/fuzz-etc-hosts/timeout-many-entries  0.11s (new)

I considered simply disallowing too many aliases. E.g. microsoft appearently
sometimes ignores entries after the ninth [1], and other systems set stringent
limits [2,3], but the recommended way to get around that is to simply use more
lines (as is done in the sample), so this wouldn't change anything.

Even if we cannot put all those names in a reply packet, the resolution from
the alias to the address should work. I think cases where people define lots
and lots of aliases through some programmatic interface is realistic, for
example for a blocklist, and such a file shouldn't bring resolved down to its
knees.

[1] https://superuser.com/questions/932112/is-there-a-maximum-number-of-hostname-aliases-per-line-in-a-windows-hosts-file
[2] https://library.netapp.com/ecmdocs/ECMP1516135/html/GUID-C6F3B6D1-232D-44BB-A76C-3304C19607A3.html
[3] https://www.ibm.com/docs/en/zos/2.1.0?topic=optional-creating-etchosts

basic/strv: add optimizable version of strv_push/consume/extend

This will be helpful in cases where we are repeatedly adding entries
to a long strv and want to skip the iteration over old entries leading
to quadratic behaviour.

Note that we don't want to calculate the length if not necessary, so
the calculation is delayed until after we've checked that value is not
NULL.

portabled: wrap long lines and fix typo in error message

portabled: refuse queries for empty image name

I took inspiration from pid1:
bus_unit_find()
  → find_unit()
    → manager_load_unit_from_dbus_path()
      → unit_name_from_dbus_path()
        → !startswith(path, "/org/freedesktop/systemd1/unit/")
          → return -EINVAL
          ←
        ←
      ←
    ← if (r < 0) return 0
  ← 0
←

i.e. we return 0 when queried for "/org/freedesktop/systemd1/unit".

Fixes #23445.

shared/extension-release: drop unnecessary strna() wrapper

These are not NULL.

portable: reject root directories without an ID field in os-release

We always require at least ID to be set in os-release, reject
and propagate error to the caller instead of asserting later

dissect: ID from os-release should be non-empty, not just non-NULL

macro: Use C11 static_assert

Now that we require C11 everywhere, we can always use static_assert.

boot: Build with C11 too

kernel-install: fix detection of entry-token if $BOOT_ROOT is configured

If $BOOT_ROOT is specified, but entry-token not, we'd skip the detection
altogether, effectively defaulting to entry-token=machine-id.
The case where $BOOT_ROOT was not specied, but entry-token was configured
was handled correctly.
This patch makes the handling of both symmetrical, i.e. will only set what
wasn't configured.

kernel-install: debug the configuration detection if --verbose

No changes to behaviour, but let's print everything out as we discover it.

The docs say that BOOT_ROOT can be specified by the environment. I have
it locally in /etc/kernel/install.conf, and then the override doesn't work.
It'd be nice to handle such cases more reliably.

Add sys/stat.h for S_IFDIR

Fixes
../git/src/shared/mkdir-label.c:13:61: error: use of undeclared identifier 'S_IFDIR'
        r = mac_selinux_create_file_prepare_at(dirfd, path, S_IFDIR);

Signed-off-by: Khem Raj <raj.khem@gmail.com>

sd-bus: Fix introspect memory leak

We have to free the contents of the set on top of the set itself.

Fixes #23443.

kernel-install: bail if machine id generation fails

The call is unlikely to fail, but systemd-id128 might not be installed.
We shouldn't continue with the empty string.

kernel-install: actually export KERNEL_INSTALL_VERBOSE

:(

version comparisons: stop using locale-dependent isdigit()

The docs are not entirely clear what glyphs qualify as digits.
The function is supposed to be locale-dependent, but I couldn't
get it to return true on any non-ascii digits I tried.
But it's better to be safe than sorry, let's use our trivial
replacement instead.