test: add test for new /sbin/mount.ddi helper

dissect: implement external helper plugin interface for /bin/mount

With this change we'll install a symlink /sbin/mount.ddi →
systemd-dissect. If invoked that way we'll do the equivalent of
systemd-dissect --mount.

This makes DDIs mountable directly via the "mount" command, by
specifying the "-t ddi" pseudo file system type. Moreover you can now
mount DDIs directly via /etc/fstab, by specifying "ddi" in the file
system column (3rd column).

Merge pull request #26686 from yuwata/iovec

tree-wide: replace IOVEC_INIT with IOVEC_MAKE

network: geneve: add InheritInnerProtocol flag

base-filesystem: Support Arch-style multilib

On distros like Arch and on carbonOS, libraries end up in /usr/lib.
Thus, /lib64 should point to /usr/lib. This commit adds this
functionality as a final fallback (if neither Debian-style nor
Fedora-style multilib can be detected)

Merge pull request #26502 from DaanDeMeyer/chase-symlinks-additions

Several chase_symlinks() additions

Merge pull request #26687 from yuwata/c2x

C2X support

time-util: drop redundant call of tzset()

It is also called at the beginning of `parse_timestamp_maybe_with_tz()`.

gpt-auto: Check for /boot before putting ESP there

We prefer /efi as a mount point for the ESP, and use /boot as a fallback
if /efi doesn't exist. However, when root=tmpfs, neither /efi nor /boot
exist. gpt-auto should mount to /efi in this case, but it mounted to
/boot instead. This is because gpt-auto didn't check for the existence
of /boot. Here, we correct this

mkosi: Update to latest

Latest version builds nspawn from source which hopefully gets rid of
the spurious "Connection timed out" errors we've been seeing in CI.

TODO

chase-symlinks: Add chase_symlinks_at_and_open()

chase-symlinks: Add CHASE_MKDIR_0755

chase-symlinks: Add CHASE_PARENT

Let's simplify chasing the parent directory of some path by adding
CHASE_PARENT.

chase-symlinks: Return "." as path from chase_symlinks_at() instead of NULL

chase-symlinks: Skip shortcuts if CHASE_PROHIBIT_SYMLINKS is set

udev_rules_parse_file: do not skip ENOENT

Starting with commit ed88bcfb7c15029f9fc95ee2380759a9eb782d46,
udev_rules_parse_file() silently skips files it fails to open with
ENOENT error, e.g. when they are broken symlinks.  As this behavior is
undocumented and it seems to be unintended, let's treat ENOENT like any
other error.  This change would also simplify the implementation of the
udev rules syntax checker mentioned in #26606.

udev_rules_load(), the only user of udev_rules_parse_file(), is not
affected by this change because it essentially ignores the value
returned by the latter, the only visible difference would be a log
message issued for every udev rules file that couldn't be open because
of ENOENT.

Fixes: ed88bcfb7c15 ("Be more careful when checking for empty files")

Merge pull request #26650 from yuwata/udev-trigger

test: generate debugging logs for udevd after restart

test: add header build tests for newer C and C++ standards

Include <threads.h> if possible to get thread_local definition

IN C23, thread_local is a reserved keyword and we shall therefore
do nothing to redefine it. glibc has it defined for older standard
version with the right conditions.

v2 by Yu Watanabe:
Move the definition to missing_threads.h like the way we define e.g.
missing syscalls or missing definitions, and include it by the users.

Co-authored-by: Yu Watanabe <watanabe.yu+github@gmail.com>

tree-wide: replace IOVEC_INIT with IOVEC_MAKE

We use gnu11 to build, hence we can use structured initializer with
casting, and it is not necessary to use different patterns on
initialization and assignment.

Addresses https://github.com/systemd/systemd/pull/26560#discussion_r1118875447.

sd-journal: wrap long line

Addresses https://github.com/systemd/systemd/pull/26560#discussion_r1118875967.

meson: adjust for removal of gnu-efi compat

gnu-efi-3.0.11-13.fc39 in Fedora dropped the old include paths.

Revert "hwdb: fix swapped buttons for Logitech Lift left"

This reverts commit 81cfea95e51c72da6765b517e7038b3e7e3dec9f.

The modalias seems to match a generic Logitech USB receiver even the
connected mouce is not for left hand.

Fixes #26671 and #26676.

Merge pull request #26651 from yuwata/meson-cleanups

Several meson cleanups

mkosi: Install dnf on centos and fedora

dnf is not installed by default anymore, but it's still useful to
have in our images, so let's install it explicitly.

Merge pull request #26668 from yuwata/man-link-rename

man: add/update example in systemd.link

man: add an example to (re-)apply new settings to a network interface

Closes #26601.

man: sync the default .link file in example

Merge pull request #26653 from poettering/tmpfile-linkable-replace

teach link_tmpfile() to optionally replace files

README: update CentOS CI URLs to the new instance

systemctl: explicitly cast the constants to uint64_t

Otherwise under certain conditions `va_arg()` might get garbage instead
of the expected value, i.e.:

$ sudo build-o0/systemctl disable asdfasfaf
sd_bus_message_appendv: Got uint64_t: 0
Failed to disable unit: Unit file asdfasfaf.service does not exist.

$ sudo build-o1/systemctl disable asdfasfaf
sd_bus_message_appendv: Got uint64_t: 7954875719681572864
Failed to disable unit: Invalid argument

(reproduced on an armv7hl machine)

Resolves: #26568
Follow-up to: bf1bea43f15
Related issue: https://github.com/systemd/systemd/pull/14470#discussion_r362893735

Merge pull request #26646 from poettering/nspawn-private

nspawn: ensure all mount propagation is turned off between host and container, except for the "tunnel" dir

Merge pull request #26649 from yuwata/parse-timstamp

test: fix and extend test for parse_timestamp()

test: trigger new events after all currently queued events are processed

Otherwise, udevd may be busy and udevadm may not receive the reply
for the control packet within the time limit.

man: fix doubled word

man: fix typo (#26655)

hwdb: port to flink_tmpfile()

And modernize heavily while doing so.

Fixes: #21787

(Strictly speaking, this leaves a race window open: the the system is
powered off in the short interval when we linked in the prepared hwdb
file into the dir under a temporary name and are about to rename it to
the final name, then the file might be left over after all. But this
minimizes the window so much that this shouldn't be an issue in
real-life. Key after all is that with this change we'll build up the
hwdb file under O_TMPFILE, and thus are robust to power loss during the
slow operation)

tmpfile-util: teach link_tmpfile() to optionally replace files

Merge pull request #26355 from poettering/journal-no-rtc

journald: support ordering journal entries by boot ID if no RTC is available

time-util: refuse non-zero gmtoff with non-UTC timezone

Also this moves the range check for gmtoff to parse_timestamp_impl(), to
address the post-merge comment:
https://github.com/systemd/systemd/pull/26409#discussion_r1118650190

time-util: extend comment a bit

time-util: rename len -> tz_offset

And merge parse_timestamp_with_tz() with parse_timestamp_impl().
Addresses the post-merge comment:
https://github.com/systemd/systemd/pull/26409#discussion_r1118647440

time-util: fix typo

Follow-up for 7a9afae6040af0417d893328cb44b622dcdcb94f.

meson: extend timeout for test-time-util

The test forks so many child processes, and may hit the default time
limit on slow environment or running with sanitizers.

test: test parse_timestamp() in various timezone

meson: show options about tests in the summary

nspawn: disable propagation for selected host API bind mounts

We bind mount two selected inodes from the host into our container.
Let's turn off propagation for that, since we just want those inodes,
nothing else.

With this change "grep master: /proc/self/mountinfo" should list only
the mount propagation "tunnel" dir, and nothing else anymore.

nspawn: disconnect mounts propagation from host on our container dir

@brauner noticed that in invoked containers the root directory is set to
still receive mounts from the host. We should disable that, and
guarantee we live in our own world, because that's what an
(nspawn-style) container *is* after all: a whole new world.

This hence mounts the container subtree to MS_PRIVATE after getting the
root dir in place. Note that this will later be set to MS_SHARED again.
The MS_PRIVATE disconnects mounts from the host, the MS_SHARED then
establishes a new peer group for mount propagation events, so that
payload service managers (such as systemd) can take benefit of
propagation further down the tree.

tools: explicitly specify "setup" subcommand

As invoking meson without subcommand is deprecated since 0.64.0.

meson: rename conflicting target names

The update-man-rules and update-dbus-docs targets are both declared in the
main meson.build and man/meson.build, so we cannot build the target with
'meson compile' command:
====
$ meson compile update-man-rules
INFO: autodetecting backend as ninja

ERROR: Can't invoke target `update-man-rules`: ambiguous name.Add target type and/or path:
- ./man/update-man-rules:custom
- ./update-man-rules:run
====
Let's rename the targets declared in man/meson.build.

tools: fix the file name that "meson setup" generates

test: generate debugging logs for udevd after restart

test: clear tzname[] after timezone is changed

Fixes the issue reported in fe56f21ae3943e79ce9faeb40b79c7093c50e644.

test: use get_timezones() to iterate all known timezones

meson: add missing man rules for new sd-login functions

Follow-up for d71f5b1217986a18e8ddaef3191afddfe731b2d7,
c4ef14dc2a0eaae6b93d41e5c82f50ee86e480a4, and
d622fefc008ce1cd3bf62ced4a606d3b5277b9fa.

nspawn: drop unused arg

Merge pull request #26628 from msizanoen1/utf8-quote-valid

escape: Ensure that output is always valid UTF-8

meson: Copy files with git only in true git repository

When mkosi is run from git-worktree(1), the .git is not a repository
directory but a textfile pointing to the real git dir
(e.g. /home/user/systemd/.git/worktrees/systemd-worktree). This git dir
is not bind mounted into build environment and it fails with:

> fatal: not a git repository: /home/user/systemd/.git/worktrees/systemd-worktree
> test/meson.build:190:16: ERROR: Command `/usr/bin/env -u GIT_WORK_TREE /usr/bin/git --git-dir=/root/src/.git ls-files ':/test/dmidecode-dumps/*.bin'` failed with status 128.

There is already a fallback to use shell globbing instead of ls-files,
use it with git worktrees as well.

escape: add missing non-NULL parameter assertions

test-escape: Add tests for escaping bogus UTF-8 sequences

escape: Ensure that output is always valid UTF-8

This ensures that shell string escape operations will not produce output
with invalid UTF-8 from the input by escaping invalid UTF-8 data as if
they were single byte characters.

update TODO

test: add test for journals without RTC

This adds a test for checking we can safely order boot IDs via the
timestamp of their most recent known entry. It takes a set of journal
files (supplied by a user) and that are partially corrupted, and ensures
we get a clear, defined order of boot IDs out of it.

journal: use boot-id/timestamp info for odering entries

With this we should be able to determine on systems without
battery-backed RTC even during early boot whether a boot is supposed to
be earlier than another.

Fixes: #662

sd-journal: track newest open journal file per boot ID

This is useful to later order boot IDs by time, addressing #662.

Basically, this determines the most recently written for each boot ID
from all currently open journal files. This is then stored in a hash
table (which maps the boot ID to a prioq of journal files, ordered by
their timestamp).

Why is this useful? If systems lack a battery-buffered RTC they will
initially have a system clock basically starting at zero. Later they
might acquire an NTP fix, or at least roughly monotonic time via a
stored timestamp. Thus, log entries written early during boot tend to be
badly timestamped, and those written most recently are likely to have
most accurate timestamps. Thus, if we track the newest entry for each
boot ID we likely can order the boot ID via their timestamps.

This commit only add the logic to maintain the hash table/prioq. It
doesn't actually make use of this information for ordering yet. A later
patch adds that.

journal-file: journal-file: extend journal header to always carry offset of most recent entry

This way we can quickly find the most recent entry, without searching or
traversing entry array chains.

This is relevant later, as it it allows us to quickly determine the most
recent timestamps of each journal file, in a roughly atomic way.

Merge pull request #26627 from mrc0mmand/TEST-17-tweaks

test: skip the hwdb update related tests w/ sanitizers and w/o accel

Merge pull request #26632 from poettering/dissect-arch-nspawn

dissect: determine arch from DDI and use it for nspawn

tree-wide: error handling modernizations

test: a couple of format-related tweaks

test: skip the hwdb update related tests w/ sanitizers and w/o accel

systemd-hwdb update is an expensive operation by itself, and when
running with sanitizers and in a VM without acceleration this cost is
exacerbated even further, making the test run for a very long time.

For example, in the daily CentOS CI ppc64le job with ASan+UBSan one
systemd-hwdb update takes more than 7 minutes; in the regular Arch job
with KVM it takes over 2 minutes.

Since the hwdb update is also tested in other places (like
TEST-01-BASIC and the test-hwdb meson test), let's skip it if we detect
we run with sanitizers and with plain QEMU.

virt: correctly detect QEMU emulated pSeries guests

Resolves: #26629

nspawn: fix DDI arch → personality() propagation

Since quite a while the propagation from the DDI arch into the
personality() wasn't hooked up anymore. Let's fix that: when the DDI has
a determined arch, automatically propagate this into the personality.

dissect: show intended architecture of a disk image

We already determine the architecture of disk images and make a choice,
and store it per partition. Let's make this accessible globally.

build(deps): bump systemd/mkosi

Bumps [systemd/mkosi](https://github.com/systemd/mkosi) from 1d131062066fe7b5a83b87319b4464b186adbb1c to d13ff85610c6fb01a2fff0a8187729ebe4a05595.
- [Release notes](https://github.com/systemd/mkosi/releases)
- [Changelog](https://github.com/systemd/mkosi/blob/main/NEWS.md)
- [Commits](https://github.com/systemd/mkosi/compare/1d131062066fe7b5a83b87319b4464b186adbb1c...d13ff85610c6fb01a2fff0a8187729ebe4a05595)

---
updated-dependencies:
- dependency-name: systemd/mkosi
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump github/codeql-action from 2.1.29 to 2.2.5

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 2.1.29 to 2.2.5.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/ec3cf9c605b848da5f1e41e8452719eb1ccfb9a6...32dc499307d133bb5085bae78498c0ac2cf762d5)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump actions/labeler from 4.0.1 to 4.0.2

Bumps [actions/labeler](https://github.com/actions/labeler) from 4.0.1 to 4.0.2.
- [Release notes](https://github.com/actions/labeler/releases)
- [Commits](https://github.com/actions/labeler/compare/e54e5b338fbd6e6cdb5d60f51c22335fc57c401e...5c7539237e04b714afd8ad9b4aed733815b9fab4)

---
updated-dependencies:
- dependency-name: actions/labeler
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump meson from 1.0.0 to 1.0.1 in /.github/workflows

Bumps [meson](https://github.com/mesonbuild/meson) from 1.0.0 to 1.0.1.
- [Release notes](https://github.com/mesonbuild/meson/releases)
- [Commits](https://github.com/mesonbuild/meson/compare/1.0.0...1.0.1)

---
updated-dependencies:
- dependency-name: meson
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump actions/checkout from 3.2.0 to 3.3.0

Bumps [actions/checkout](https://github.com/actions/checkout) from 3.2.0 to 3.3.0.
- [Release notes](https://github.com/actions/checkout/releases)
- [Changelog](https://github.com/actions/checkout/blob/main/CHANGELOG.md)
- [Commits](https://github.com/actions/checkout/compare/755da8c3cf115ac066823e79a1e1788f8940201b...ac593985615ec2ede58e132d2e21d2b1cbd6127c)

---
updated-dependencies:
- dependency-name: actions/checkout
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #26393 from poettering/mempress

watch and act on memory pressure in most of our long-running services, including PID 1

update TODO

doc: add document explaining memory pressure handling

test: add test for the new memory pressure unit file settings, and that they work

units: let systemd --user manage its own memory pressure handling

Let's make things systematic: the per-user and the per-system manager
should manage their own memory pressure, as they are, well, managers of
things.

This is particularly relevant and the per-user service manager should
watch its own "init.scope" subcgroup, instead of the main service unit
cgroup, and hence $MEMORY_PRESSURE_WATCH as set by the per-system
service manager would simply be wrong.

pid1: add unit file settings to control memory pressure logic

pid1: also process memory pressure events (and SIGRTMIN+18)

userdbd: hook up memory pressure and sigrtmin18

nspawn: hook up memory pressure + sigrtmin+18

portabled: hook up SIGRTMIN+18 and memory pressure

networkd: hook up SIGRTMIN+18 and memory pressure

importd: hook up memory pressure, SIGRTMIN-18 (and in fact SIGINT + SIGTERM)

timesyncd: hook up memory pressure + sigrtmin18

logind: hook up memory pressure + SIGRTMIN+18

homed: hook up memory pressure/SIGRTMIN+18 handling

udevd: enable memory pressure/SIGRTMIN+18 logic

machined: add support for memory pressure + SIGRTMIN+18

journald: hook up journald with the memory pressure and SIGRTMIN+18 logic

resolved: flush caches on memory pressure and support SIGRTMIN+18

shared: add a common SIGRTMIN-18 handler