Merge pull request #26949 from DaanDeMeyer/xopenat-reopen

loop-util: Add loop_device_make_by_path_at()

fileio: add new helper fdopen_independent()

This is a combination of fdopen() and fd_reopen(). i.e. it first reopens
the fd, and then converts that into a FILE*.

We do this at various places already manually. let's move this into a
helper call of its own.

Merge pull request #26953 from poettering/encrypted-cred-mini-refactor

core: minor refactoring of allowlisting TPM devices when encrypted creds are loaded

pid1: allowlist all tpm devices for a unit when encrypted creds are needed

We might be configured to use some ther device than /dev/tpmrm0, hence
allow them all by allowlisting the tpm char device class as a whole.

core: move encrypted credential check to execute.c

This is an operation on an ExecContext, hence it probably should be
placed there.

loop-util: Add loop_device_make_by_path_at()

On top of taking a directory file descriptor, we use xopenat() so
that the function can also be used to work on existing file
descriptors to image files including all the logic to use O_DIRECT
and fallback to O_RDONLY if needed.

fs-util: Allow xopenat() to reopen existing file descriptors

Merge pull request #26214 from YHNdnzj/sd-notify-change-notifyaccess

core: support overriding NOTIFYACCESS= through sd-notify during runtime

docs: Explicitly tell developers to enable mkosi required meson options

We need repart, bootctl, analyze and ukify for mkosi so let's make
sure those get built in the HACKING guide.

find-esp: don't silently error bootctl install if presumed XBOOTLDR part is stx_dev_major=0 but not btrfs

btrfs_get_block_device_fd() returns -ENOTTY if fstatfs().f_type !=
BTRFS_SUPER_MAGIC

btrfs_get_block_device_fd() is run by verify_fsroot_dir() by
verify_xbootldr() by find_xbootldr_and_warn() if
statx($presumed-XBOOTLDR).stx_dev_major == 0 ("maybe a btrfs device")

Every bootctl verb_install() runs find_xbootldr_and_warn(), by default
with /boot

If your /boot .stx_dev_major=0 but /not/ btrfs, bootctl install/update
quietly exits 1 with no note so as to what exactly failed (debug also
empty, and the strace isn't exactly clear since no syscall actually
failed)

This is the case on ZFS and the Debian filesystem layout: /boot/efi is
the ESP, and everything else under / is ZFS:
  $ sudo env SYSTEMD_LOG_LEVEL=debug bootctl update
  Found cgroup2 on /sys/fs/cgroup/, full unified hierarchy
  Found container virtualization none.
  File system "/boot" is not a FAT EFI System Partition (ESP) file system.
  Using EFI System Partition at /boot/efi.
  Checking whether /boot/efi/EFI/systemd/ contains any files…
  $ echo $?
  1
and funnier still:
  $ sudo bootctl update --graceful
  $ echo $?
  1

Which is great, and also breaks postinst, which runs precisely the
latter, with no feedback at all

By checking for -ENOTTY we accept that the path being investigated
"is not it" if it's on ZFS (and any other filesystem that returns
.stx_dev_major == 0 but isn't btrfs)

test-fileio: add test for return value of read_one_line_file()

Prompted by https://github.com/systemd/systemd/pull/26904#pullrequestreview-1349890241.

Merge pull request #26936 from DaanDeMeyer/xopenat-lock

fs-util: Add xopenat_lock()

Merge pull request #26916 from DaanDeMeyer/log-context-ref

log: Avoid pushing the same fields more than once on the log context

fs-util: Add xopenat_lock()

open/create a file/directory and lock it using the given lock type.

edit-util: alloc correct amount of memory

coredump: use unaligned_read_ne{32,64}() to parse auxv

Fixes a bug introduced by 3e4d0f6cf99f8677edd6a237382a65bfe758de03.

The auxv metadata is unaligned, as the length of the prefix
"COREDUMP_PROC_AUXV=" is 19. Hence, parse_auxv{32,64}() may triger
an undefined behavior (or at least cause slow down), which can be
detected when running on an undefined behavior sanitizer.

This also introduces a macro to define `parse_auxv{32,64}()`.

Fixes #26912.

ukify: allow uncompressed kernel images for UNAME detection on aarch64 and riscv64 (#26929)

Uncompressed aarch64 and riscv64 kernels have a different startpoint than x86.
Example output from ukify:
aarch64: NotImplementedError: unknown file format (starts with b'MZ@\xfa')
riscv64: NotImplementedError: unknown file format (starts with b'MZo\x10')
Add check for (b'MZ') to catch both in one call.

Fix:
https://github.com/systemd/systemd/issues/26923

core: Settle log target if we're going to be closing all fds

Whenever we're going to close all file descriptors, we tend to close
the log and set it into open when needed mode. When this is done with
the logging target set to LOG_TARGET_AUTO, we run into issues because
for every logging call, we'll check if stderr is connected to the
journal to determine where to send the logging message. This check
obviously stops working when we close stderr, so we settle the log
target before we do that so that we keep using the same logging
target even after stderr is closed.

labeler: add journal label also for sd-journal stuff

test: add tests for NOTIFYACCESS override through sd_notify

stat-util: Add verify_regular_at()

Merge pull request #26829 from DaanDeMeyer/copy-at

copy: Add more at() helpers

bootctl: 'graceful' should ignore EFI variable failures

Suppress errors when creating/writing EFI variables during 'bootctl update' if
'--graceful' mode is active (as the documentation indicates).

Closes #26773.

Merge pull request #26928 from jamacku/update-shellcheck

ci: trigger `differential-shellcheck` workflow on push

ci: limit permissions for `differential-shellcheck`

ci: trigger differential-shellcheck workflow on push

Also update `differential-shellcheck` to latest version - https://github.com/redhat-plumbers-in-action/differential-shellcheck/releases

Fixes: https://github.com/redhat-plumbers-in-action/differential-shellcheck/issues/215

core: support overriding NOTIFYACCESS= through sd-notify during runtime

Closes #25963

copy: Add more at() helpers

copy: Move chattr arguments to full function signatures

These are almost never used, so let's move them to the _full()
functions signatures.

Merge pull request #26828 from DaanDeMeyer/tmpfile-at

tmpfile-util: Add open_tmpfile_linkable_at() and link_tmpfile_at()

fd-util: make sure fd_reopen() works with AT_FDCWD systematically

Prompted by:

https://github.com/systemd/systemd/pull/26827#pullrequestreview-1341171981

Merge pull request #26866 from DaanDeMeyer/chase-fix

chase-symlinks: Add CHASE_FILENAME and more at() helpers

execute: Add kernel cmdline arguments for tty term, rows and columns

Let's allow configuring tty term and size using kernel cmdline arguments
so that when running in a VM we can communicate the terminal TERM and size
from the host via SMBIOS extra kernel cmdline arguments.

docs: Fix vscode debugging section in HACKING.md

Let's account for the recent changes in mkosi in the debugging
with vscode section.

chase-symlinks: Add more chase_symlinks_at() helpers

Copies of the corresponding chase_symlinks() helpers.

chase-symlinks: Return zero from access() and stat() helpers

We never check if r > 0 when using these helpers, so let's just
return zero like we usually do.

chase-symlinks: Add CHASE_EXTRACT_FILENAME flag

Useful in combination with CHASE_PARENT to get a directory file
descriptor to the parent directory of the resolved path and the
filename of the resolved path in the parent directory (which might
not be the same as the filename of the input path because of symlinks).

udev-rules: fix nvme symlink creation on namespace changes

The nvme by-id symlink changes to the latest namespace when a new namespace gets
added, for example by connecting multiple NVMe/TCP host controllers via nvme
connect-all.
That is incorrect for persistent device links.
The persistent symbolic device link should continue to point to the same NVMe
namespace throughout the lifetime of the current boot.
Therefore the namespace id needs to be added to the link name.

tmpfile-util: Add open_tmpfile_linkable_at() and link_tmpfile_at()

fs-util: Add open_parent_at()

lock-util: Add make_lock_file_at()

unit: Add LOG_CONTEXT_PUSH_UNIT()

A helper macro to push all unit related fields onto the log context.
We also modify exec_spawn() to use it.

log: Add key/value support to the log context

Now that we have reference counting, it's useful to be able to push
single key values onto the log context separately, so that we don't
have to allocate new storage to join the separate string together into
a single field which means we won't be able to reuse a context containing
the same field.

log: Avoid pushing the same fields more than once on the log context

Let's try to optimize against pushing the same fields multiple times
onto the log context. To achieve this we make the log context reference
counted and return an existing context object if it's using the same
fields.

A consequence of this is that we have to make sure attaching/detaching
is coupled to the lifetime of the context object, so we make the attach
and detach functions private for now. If we need independent attach/detach
in the future, we can make that work with some extra complexity but since
we don't need it yet, let's not support it for now.

Merge pull request #26893 from yuwata/uki-util-update-log

util: rename uki-util.[ch] -> kernel-image.[ch]

mkosi: Default to debug log level for udev as well

Unlike CI, the debug output just goes to the journal, so there's no
harm in enabling it, even if it's noisy.

man/network-generator: replace dracut.kernel reference with dracut.cmdline

`dracut.kernel.7` is just a symlink to `dracut.cmdline.7`, so the web reference
points to a non-existent URL
(https://man7.org/linux/man-pages/man7/dracut.kernel.7.html).

gpt-auto-generator: fix typo

Merge pull request #26867 from dtardon/list-dependencies-circular

Fix printing of circular dependencies

util: rename uki-util.[ch] -> kernel-image.[ch]

As the file contains functions not only for UKI.

uki-util: rename KernelType -> KernelImageType

The name KernelType is slightly ambiguous. The type is about kernel
image. Let's rename the enum to clarify that.

uki-util: rename uki -> f

As the function is not only for UKI.

uki-util: update log messages

udev-rules: add another check for conflicting expressions

Log an error when a rule line contains the following kind of conflicting
match expressions:

  KEY=="foo", KEY=="bar"

compare-operator: added unit tests

Merge pull request #26875 from yuwata/core-transaction

core/transaction: several fixes for merge_unit_ids()

strv: introduce strv_print_full()

ci: drop clang-13, add clang-16

bootctl: fix wrong type comparison

Merge pull request #26886 from ldv-alt/udevadm-verify

udev-rules: fix matching of token types that support alternative patterns

loop-util: add more debugging logs in loop_configure()

udev-rules: fix check for conflicting and duplicate expressions

Fix check for conflicting and duplicate expressions of types that
support alternative patterns.

Fixes: 3ec58d0cd8f6 ("udev-rules: check for conflicting and duplicate expressions")

Revert "udev: prepare memory for extra NUL termination for NULSTR"

This reverts commit cd3c8a117ccf3505e49d34324473e2175ef0a9ce which was
papering over the bug instead of a proper fix made by the previous
commit.

udev-rules: fix matching of token types that support alternative patterns

For those token types that support matching of alternative patterns,
their token values are interpreted as nulstr, so make sure the parser
does the right thing and makes these token values terminated by two
subsequent NULs so they could be safely interpreted as nulstr.

Before this fix, the following rules would result to "echo foo" invocation:
  ENV{foo}=", RUN"
  ENV{foo}=="bar", RUN+="echo foo"
because the value of `ENV{foo}` is treated as nulstr, and it used to match
against alternative patterns, in this case `bar`, `, RUN`, and `="echo foo`.

Fixes: 25de7aa7b90c ("udev: modernize udev-rules.c")

hwdb: fix Wifi toggling for Haier 7G-Series/JWU (#25293) (#26878)

Merge pull request #26884 from YHNdnzj/tmpfiles-unit-name-update

Update references to obsolete systemd-tmpfiles.service

Merge pull request #26880 from yuwata/test-tmpfiles

tmpfiles: cleanups

Merge pull request #26879 from mrc0mmand/cocci

tree-wide: simplify x ? x : y to x ?: y where applicable

docs: update unit name for sd-tmpfiles-setup

unit: sysext: update unit name for sd-tmpfiles-setup

Fixes #26882

test-systemd-tmpfiles.py: create global temporary directory

For some unknown reasons, the temporary directory created by the test
below is not removed:
```
 # Test the case that a valid symlink is in the path.
 label = 'valid_symlink-deep'
 test_content('f= {} - - - - ' + label, label, user=user, subpath='/deep/1/2', path_cb=valid_symlink)
```
To keep /tmp clean, let's create the global temprary directory.

test-systemd-tmpfiles.py: use test_content() at one more place

tmpfiles: show file type in octal, instead of hex

tree-wide: simplify x ? x : y to x ?: y where applicable

coccinelle: add a transformation for GNU conditionals

i.e. x ? x : y => x ?: y

coccinelle: respect spacing from the semantic patch

man: explicitly list three command syntax at the beginning

Merge pull request #26759 from medhefgo/boot-stack-protector

boot: Add support for stack protector/trapping math/ubsan

units: Order user@.service after systemd-oomd.service

The user manager connects to oomd over varlink. Currently, during
shutdown, if oomd is stopped before any user manager, the user
manager will try to reconnect to the socket, leading to a warning
from pid 1 about a conflicting transaction.

Let's fix this by ordering user@.service after systemd-oomd.service,
so that user sessions are stopped before systemd-oomd is stopped,
which makes sure that the user sessions won't try to start oomd via
its socket after systemd-oomd is stopped.

Merge pull request #26862 from yuwata/uki-util

uki-util: export functions of inspecting kernel

Merge pull request #26861 from yuwata/exec-util

exec-util: introduce execute_strv() and EXEC_DIR_SKIP_REMAINING

Merge pull request #26855 from DaanDeMeyer/repart-fixes

Repart fixes

core/transaction: do not log "(null)"

As we ignores the failure in merge_unit_ids(), so unit_ids may be NULL.

core/transaction: make merge_unit_ids() return non-NULL on success

core/transaction: make merge_unit_ids() always return NUL-terminated string

Follow-up for 924775e8ce49817f96df19c2b06356c12ecfc754.

The loop run with `STRV_FOREACH_PAIR()`, hence `if (*(unit_id+1))` is
not a good way to detect if there exist a next entry.

Fixes #26872.

Merge pull request #26863 from yuwata/kernel-install-cleanups

kernel-install: cleanups

sleep: fix default values unmatched with manual

Merge pull request #26871 from weblate/weblate-systemd-master

Translations update from Fedora Weblate

po: Translated using Weblate (Bulgarian)

Currently translated at 100.0% (193 of 193 strings)

Co-authored-by: Velislav Ivanov <velislav.bg@gmail.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/bg/
Translation: systemd/main

systemctl: move printing of state to the printing func.

No functional change, just refactoring.

kernel-install: check all entry candidates first, then check existence of $pref/loader/entries only once

If we have multiple entries in $ENTRY_TOKEN_SEARCH, and $pref/loader/entries
exists, then previously we would always exit after the first candidate and
ignore the second and later candidates.

Follow-up for 1b43f868934e971480249a6e0fa2f45da906ea2e.

Revert "kernel-install: also try to find $BOOT by partition GUID"

This reverts commit 41f39e2144c935868059e894c1a1e13803e3568f.

From the post merge comment in #26648:

> Hmm, this is highly problematic, no? if I boot from my ssd and then
> plug in a fedora live usb stick, then there will be two ESPs around,
> the one from my ssd and the one from the live usb one, and this code
> might find the wrong one and bad things will happen

uki-util: move functions for inspecting kernel to uki-util.[ch]

bootctl: introduce inspect_kernel()

Then, now verb_kernel_identify() and verb_kernel_inspect() can share
most of the code.

bootctl: introduce uki_read_pretty_name()

No functional change, just prepration for later commits.

bootctl: find matching section in read_pe_section()

No functional change, just refactoring.

bootctl: return 0 instead of EXIT_SUCCESS

bootctl: move verb_kernel_identity()

No functional change, just for making beautify later diffs.

os-util: add missing headers

For 'bool' and 'usec_t'.

exec-util: introduce EXEC_DIR_SKIP_REMAINING flag

Will be used in later commits.