Merge pull request #25735 from yuwata/switch-root-follow-ups

mount-util: several follow-ups for recent mount_switch_root() changes

hwdb: Fix mount matrix for CSL Panther Tab HD (#25752)

Commit a76d7aca sets ACCEL_MOUNT_MATRIX to match the device's casing
(landscape) instead of the LCD panel (portrait).

Merge pull request #25350 from poettering/efi-guid-equal

efi: add efi_guid_equal() helper

Merge pull request #25602 from fbuihuu/fix-TEST-73-LOCALE

localed: reload PID1 configuration after modifying /etc/locale.conf

repart: Rework Minimize= option settings

Instead of having Minimize= take a boolean let's allow for two
different ways to enable it. "best" means we want the most minimal
image possible, which currently is only possible for read-only
filesystems but can be extended in the future with bisection
to find the most minimal possible size.

We also add "guess", which is the current behavior, where we
populate once and use the sparse size to make a reasonable guess
on a size that fits all the sources without needing to O(log(n))
tries to find the most minimal size.

mount-util: make mount_switch_root() take a mount propagation flag

mountpoint-util: introduce mount_propagation_flag_is_valid()

mountpoint-util: rename mount_propagation_flags_to_string() and friends as singular

mount-util: mount flag is unsigned long

mount-util: drop unnecessary inline attributes

Merge pull request #25743 from yuwata/timesync-ipv6

timesync: ignore IPv6 addresses when the kernel does not support it

basic: do not output emojis if not on a proper terminal

$TERM would generally be set if we're connected to a proper graphical terminal
emulator. In all other cases, in particular if $TERM is not set, we almost
certainly are not connected to something that can output emojis. In particular
the text console is unlikely to ever do it correctly.

So let's invert the check, and only write emojis if $TERM is set.

Fixes #25521.

Merge pull request #25732 from enr0n/unit-test-machine-id-initialized

unit tests: do not fail when `/etc/machine-id` is empty

Merge pull request #25723 from keszybz/generators-tmp

Run generators with / ro and /tmp mounted

Merge pull request #25693 from yuwata/binfmt

binfmt: several cleanups

pam: actually align the columns

In 9efb224443d819b7d64ec76cb94c8aa625a8abf2 was supposed to align
them, but for some reason I just added a second space everywhere.

systemctl: is-enabled: document the return code change

Follow-up for #25689

We've added a new output ("not-found") in #25689.

fstab-generator: use log message that matches reality

We *assume* that when /sys is read-only, we're running in a container. But
there can other reasons, for example root is mount ro and nobody has mounted
/sys yet, or somebody forgot to add /sys to the list of filesystem not to
remount ro in a sandbox. So let's actually say what we know instead of assuming.

systemd-fstab-generator was reporting that it's running in a container and I
spent a good few minutes trying to figure out why 'systemd-detect-virt -c'
disagrees, before noticing that it's just checking a different condition.

tree-wide: use mode=0nnn for mount option

This is an octal number. We used the 0 prefix in some places inconsistently.
The kernel always interprets in base-8, so this has no effect, but I think
it's nicer to use the 0 to remind the reader that this is not a decimal number.

manager: execute generators in a mount namespace "sandbox"

When generators are executed during early boot, /tmp might not be available
yet. This causes problems with bash, because here-docs don't work. Even
non-shell code can often assume that /tmp is available. This limitation is
known to trip up people, and when the code is tested on a "normal" system,
everything works.

We can solve this nicely, and get another small benefit, by making most of the
file system read-only and "punching holes" for some dirs that should be
writable. The generator code runs with full privileges and can do anything it
wants by writing appropriate systemd units, so it doesn't make much sense to do
any significant sandboxing around generators. But making root read-only is nice
because it can catch stupid mistakes where the generator tries to write to a
wrong path or something like that. We effectively also get a "private /tmp" for
the generators, which protects them against existing files in /tmp.

The path does the following:
when executing generators, we fork, and the child unshares root and makes
it recursively read-only, with the exception of /sys and /run. Error handling
is permissive — if some of this setup fails, we're in the same state as
before the patch.

Fixes #24430.

shared: add new safe_fork flag FORK_PRIVATE_TMP

If the flag is set, we mount /tmp/ in a way that is suitable for generators and
other quick jobs.

Unfortunately I had to move some code from shared/mount-util.c to
basic/mountpoint-util.c. The functions that are moved are very thin wrappers
around mount(2), so this doesn't actually change much in the code split between
libbasic and libshared.

Implications for the host would be weird if a private mount namespace is not
used, so assert on FORK_NEW_MOUNTNS when the flag is used.

journal: skip part of test-journal-interleaving if no machine-id exists

When executed on a systemd with an empty /etc/machine-id,
test-journal-interleaving fails in test_sequence_numbers_one() when
re-opening the existing "two.journal". This is because opening the
existing journal file with managed_journal_file_open() causes
journal_file_verify_header() to be called. This function tries to
compare the current machine-id to the machine-id in the journal file
header, but does not handle the case where the machine-id is empty or
non-existent.

Check if we have an initialized machine-id before executing this portion
of the test.

test-load-fragment: simplify machine-id check

test-unit-name: simplify machine-id check

test-fs-util: skip part of test_chase_symlinks if machine-id is not initialized

The part of test_chase_symlink in test-fs-util that calls
sd_id128_get_machine will fail if /etc/machine-id is empty, so skip this
block if the machine-id is not initialized.

test-id128: simplify machine-id check

This also ensures that the test is skipped when /etc/machine-id exists,
but is not initialized.

unit: check more specific path to be written by systemd-binfmt

Follow-up for 41807efb1594ae8e71e0255e154ea7d17be2251a.
Replaces #25690.

binfmt: check if binfmt is mounted before applying rules

binfmt-util: also check if binfmt is mounted in read-write

timesync: ignore IPv6 addresses when the kernel does not support IPv6

Fixes #25728.

binfmt-util: split out binfmt_mounted()

No functional changes, just refactoring and preparation for later
commits.

stat-util: introduce fd_is_read_only_fs()

Then, reimplement path_is_read_only_fs() by the function to avoid race.

efi: add common implementation for loop finding EFI configuration tables

efi: add efi_guid_equal() helper

Merge pull request #25575 from brauner/nspawn.socket_surgery

nspawn: reduce number of sockets

Merge pull request #25734 from yuwata/sd-id128

sd-id128: several followups

timesync: Keep trying to connect even if the socket cannot be opened

This makes sure that after a server could not be contacted due to a
socket error, other (possibly working) NTP servers in the list of
configured NTP servers are (re-)tried.

Fixes #25728.

hwdb: Add mount matrix for CSL Panther Tab HD

Use dummy allocator to make accesses defined as per standard

systemd uses malloc_usable_size() everywhere to use memory blocks
obtained through malloc, but that is abuse since the
malloc_usable_size() interface isn't meant for this kind of use, it is
for diagnostics only.  This is also why systemd behaviour is flaky when
built with _FORTIFY_SOURCE.

One way to make this more standard (and hence safer) is to, at every
malloc_usable_size() call, also 'reallocate' the block so that the
compiler can see the larger size.  This is done through a dummy
reallocator whose only purpose is to tell the compiler about the larger
usable size, it doesn't do any actual reallocation.

Florian Weimer pointed out that this doesn't solve the problem of an
allocator potentially growing usable size at will, which will break the
implicit assumption in systemd use that the value returned remains
constant as long as the object is valid.  The safest way to fix that is
for systemd to step away from using malloc_usable_size() like this.

Resolves #22801.

man: update documents for sd_id128_get_invocation()

sd-id128: also refuse an empty invocation ID

sd-id128: allow sd_id128_get_machine() and friend to be called with NULL

It may be useful to check if the machine ID or friends is set or not.

sd-id128: make sd_id128_get_machine() or friends return -EUCLEAN when an ID is in an invalid format

EINVAL suggests that the caller passes an invalid argument. EIO is
for "input/output error", i.e. the error you'd get if the disk or
file system is borked, and this error code could be returned by the
underlying read/write functions.

Let's make the functions return an unambiguous error code.

timesync: downgrade log message about unsupported address family

As this is mostly not user's fault.

swap: tell swapon to reinitialize swap if needed

If the page size of a swap space doesn't match the page size of the
currently running kernel, swapon will fail. Let's instruct it to
reinitialize the swap space instead.

Merge pull request #25717 from bluca/reload

manager: log reload() sender and allow rate-limiting

NEWS: fix typo

Merge pull request #25726 from dtardon/cleanups

Several small cleanups

resolve: fix NULL-pointer dereference

Fixes a bug introduced by 16a6bc5a7a5da2482d96f7dc43da360ceab1c320.
Fixes CID#1501514.

doc: add language decorator on the code block

Add `c` decorator on the code block for applying syntax highlighting.

btrfs-util: shorten a bit

machine: propagate error from machine_new

machine: use _cleanup_ in machine_new

localed-util: use _cleanup_ harder

busctl-introspect: use _cleanup_

Merge pull request #25689 from YHNdnzj/systemctl-exit-code

systemctl: make is-* return EXIT_PROGRAM_OR_SERVICES_STATUS_UNKNOWN(4) when no unit file is found

repart: Rename --skip-partitions to --defer-partitions

Defer is better because it indicates that we still intend to
populate these partitions later.

Merge pull request #25706 from yuwata/hwdb-pointing-stick

hwdb: several fixes for pointing stick

Merge pull request #25725 from keszybz/oom-policy-fixup

Add missing integration of OOMPolicy in scope units

mkosi: Enable CONFIG_ZBOOT

Required to boot mkosi images with systemd-boot on aarch64.

NEWS: add a bunch of entries for v253

During the call today we agreed to work towards -rc1 in January. Nevertheless,
I already started writing this up and I'll push it so it doesn't get lost.

I didn't include all the changes to systemd-repart, because those are still in
flux.

manager: add option to rate limit daemon-reload

Reloading is a heavy-weight operation, and currently it is not
possible to stop an orchestrator from spamming reload requests.
Add configuration options to allow rate-limiting.

manager: log unit/pid of sender when Reload() is called

Reloading is a heavy-weight operation, and currently it is not
possible to figure out who/what requested it, even at debug level
logging.
Check the sender of the D-Bus message and print it out at info level.

TEST-26-SYSTEMCTL: test about systemctl return codes for is-* verbs

We should return 4 when no unit file is found.

See also: #25689 #25680

systemctl: is-*: return correct code when no unit is found

According to systemctl(1), we should use LSB return code 4
(EXIT_PROGRAM_OR_SERVICES_STATUS_UNKNOWN) when the state
is "no such unit" for is-{active,failed,enabled} verbs.

Fixes #25680

hwdb: also add a generic entry for DualPoint Stick

Also mention Dell DualPoint Stick in the comment.

hwdb: add comments about matching entries

Follow-up for 57bb707d48131f4daad2b1b746eab586eb66b4f3.

This makes the comments in 60-evdev.hwdb, 60-keyboard.hwdb, and
70-pointingstick.hwdb consistent.

hwdb: drop trailing space

Merge pull request #25658 from yuwata/fuzz-etc-hosts

resolve: dedup entries in /etc/hosts

coredump: cescape invalid json data before logging

In both cases, the json string is short, so we can print it, which is useful
for diagnosing invalid data in packages. But we need escape non-printable
characters.

https://bugzilla.redhat.com/show_bug.cgi?id=2152685

I went over the rest of the codebase, and it seems that other calls to
json_parse() don't have this problem.

hwdb: Add additional Dell models that require ACCEL_LOCATION=base (#25724)

ratelimit: drop use of goto

nspawn: remove cgroup socket

Signed-off-by: Christian Brauner (Microsoft) <brauner@kernel.org>

nspawn: remove pty socket

Signed-off-by: Christian Brauner (Microsoft) <brauner@kernel.org>

nspawn: remove rtnl socket

Signed-off-by: Christian Brauner (Microsoft) <brauner@kernel.org>

mountpoint-util: reduce variable scope

core,man: add missing integration of OOMPolicy= in scopes

Fixup for 5fa098357e0ea9f05b00ed5b04a36ef9f64037db.

man: rework description of OOMPolicy= a bit

One had to read to the very end of the long description to notice that
the setting is actually primarily intended for oomd. So let's mention oomd
right at the beginning.

nspawn: s/kmsg_socket_pair/fd_inner_socket_pair/g

Also stop stashing the kmsg fifo fd in the socket. Just retrieve it in
the parent and have the parent hold on to it.

Signed-off-by: Christian Brauner (Microsoft) <brauner@kernel.org>

nspawn: s/fd_socket_pair/fd_outer_socket_pair/g

Signed-off-by: Christian Brauner (Microsoft) <brauner@kernel.org>

nspawn: remove uid socket

Signed-off-by: Christian Brauner (Microsoft) <brauner@kernel.org>

nspawn: remove uuid socket

Signed-off-by: Christian Brauner (Microsoft) <brauner@kernel.org>

nspawn: remove pid socket

Signed-off-by: Christian Brauner (Microsoft) <brauner@kernel.org>

nspawn: s/notify_socket/fd_socket/g

Signed-off-by: Christian Brauner (Microsoft) <brauner@kernel.org>

doc: add an example code to lock the whole disk

add an example to leverage `libsystemd` infrastructure to get the whole disk of a block device and take BSD lock on it #25046

core/namespace: indentation

treewide: drop "RUN_" from "RUN_WITH_UMASK"

RUN_WITH_UMASK was initially conceived for spawning externals progs with the
umask set. But nowadays we use it various syscalls and stuff that doesn't "run"
anything, so the "RUN_" prefix has outlived its usefulness.

execute: Pass AT_FDCWD instead of -1

Let's enforce that callers pass AT_FDCWD as read_dfd to load_credential()
to avoid an assert() in read_full_file_full() if read_dfd is -1.

mkosi: Drop i686 packages

These are only needed for some kernel selftests but they prevent
building the mkosi image on aarch64 systems so let's drop them
until mkosi has support for conditional configuration so we can
only add these packages on the right architecture.

resolve: dedup entries in /etc/hosts

This improves the performance of parsing the file and reduces memory pressure.

Running 'fuzz-etc-hosts timeout-strv' with valgrind,

Before:
total heap usage: 321,020 allocs, 321,020 frees, 15,820,387,193 bytes allocated
real    0m23.531s
user    0m21.458s
sys     0m1.961s

After:
total heap usage: 112,408 allocs, 112,408 frees, 7,297,480 bytes allocated
real    0m8.664s
user    0m8.545s
sys     0m0.065s

Hopefully fixes oss-fuzz#47708 (https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=47708).

resolve: introduce more hash-ops and use them

No functional changes, just refactoring.

resolve: use dns_name_hash_ops_free

No functional changes, just refactoring.

dns-domain: introduce dns_name_hash_ops_free

Preparation for later commits.

in-addr-util: introduce in_addr_data_hash_ops_free and expose its compare and hash functions

Preparation for later commits.

resolve: split manager_etc_hosts_lookup() into small parts

No functional changes, just refactoring.

resolve: adjust warning

resolve: merge two boolean variables

No functional changes, just refactoring.

resolve: introduce cleanup functions for EtcHostsItemBy{Address,Name}

No functional change, just refactoring and preparation for later
commits.

resolve: make etc_hosts_item_by_{address,name}_free() accept NULL

resolve: rename EtcHostsItem -> EtcHostsItemByAddress