Merge pull request #27323 from keszybz/gpt-auto-generator-warning-cleanup

gpt-auto-generator: do not error out when no partitions are found

test: prefix the transient unit with test- to make coverage runs happy

See 9fd8226312 for more details.

Follow-up to c9210b7470.

Merge pull request #27320 from poettering/kmod-setup-tweaks

minor tweaks to kmod-setup.c

gpt-auto-generator: "translate" errno codes into proper messages

E.g. in logs on jammy-ppc64el in https://github.com/systemd/systemd/pull/27294:
Apr 16 17:42:50 H systemd-gpt-auto-generator[300]: Failed to dissect partition table of block device /dev/sda: No message of desired type
Apr 16 17:42:50 H (sd-execu[295]: /usr/lib/systemd/system-generators/systemd-gpt-auto-generator failed with exit status 1.

ee0e6e476e61d4baa2a18e241d212753e75003bf made this particular condition not an
error. But for other errnos we want to print a better message too.
dissect_loop_device_and_warn() already does this, but it always prints the
error at error level. We want to suppress some of the errors, so let's make the
print helper public and do the error suppression in the caller.

fstab-generator: add missing phrase in comment

hwdb: Fix rotation for BMAX Y13

kmod-setup: bypass heavy virtio-rng check if we are not running in a VM anyway

detect_vm() is cheap, because cached, let's hence do that early before
we get out the big guns and sweep through sysfs.

kmod-setup: use STARTSWITH_SET() where appropriate

Revert "getty-generator: Use device hotplug to instantiate virtualizer consoles"

This reverts commit e7e6ce5f8d467304731a98e8a140e69713f1bf07.

Merge pull request #27256 from medhefgo/boot-rdtsc

boot: Improve timer frequency detection

gpt-auto: do not fail when no suitable partitions found

Follow-up for 598fd4da1cf9665834110583fd9133073cc12481.

getty-generator: Use device hotplug to instantiate virtualizer consoles

If getty-generator runs in the initrd, the corresponding tty might not
have been instantiated yet in /dev, which means a serial getty is not
spawned on it. Instead, let's instantiate the serial-getty when the
device appears so that it always gets instantiated.

lsm-util: move detection of support of LSMs into a new lsm-util.[ch] helper

This makes the bpf LSM check generic, so that we can use it elsewhere.
it also drops the caching inside it, given that bpf-lsm code in PID1
will cache it a second time a stack frame further up when it checks for
various other bpf functionality.

bpf-firewall: give a name to maps used

Running systemd with IP accounting enabled generates many bpf maps (two
per unit for accounting, another two if IPAddressAllow/Deny are used).

Systemd itself knows which maps belong to what unit and commands like
`systemctl status <unit>` can be used to query what service has which
map, but monitoring these values all the time costs 4 dbus requests
(calling the .IP{E,I}gress{Bytes,Packets} method for each unit) and
makes services like the prometheus systemd_exporter[1] somewhat slow
when doing that for every units, while less precise information could
quickly be obtained by looking directly at the maps.

Unfortunately, bpf map names are rather limited:
- only 15 characters in length (16, but last byte must be 0)
- only allows isalnum(), _ and . characters

If it wasn't for the length limit we could use the normal unit escape
functions but I've opted to just make any forbidden character into
underscores for maximum brievty -- the map prefix is also rather short:
This isn't meant as a precise mapping, but as a hint for admins who want
to look at these.

(Note there is no problem if multiple maps have the same name)

Link: https://github.com/povilasv/systemd_exporter

process-util: be more careful with pidfd_get_pid() special cases

Let's be more careful with generating error codes for (expected) error
causes.

This does not introduce new error conditions, it just changes what we
return under specific cases, to make things nicely recognizable in each
case. Most importantly this detects if fdinfo reports a pid of "-1" for
pidfds with processes that are already reaped (and thus have no PID
anymore)

None of our current users care about these error codes, but let's get
this right for the future.

fsck: use execv_p_ and execl_p_

Instead of invoking find_executable on our own, use the variants of exec
provided by glibc which does this for us.

creds: make available to all ExecStartPre= and ExecStart= processes

Fixes https://github.com/systemd/systemd/issues/27275

user-util:remove duplicate includes

virt: Further improve detection of EC2 metal instances

Commit f90eea7d18d9ebe88e6a66cd7a86b618def8945d
virt: Improve detection of EC2 metal instances

Added support for detecting EC2 metal instances via the product
name in DMI by testing for the ".metal" suffix.

Unfortunately this doesn't cover all cases, as there are going to be
instance types where ".metal" is not a suffix (ie, .metal-16xl,
.metal-32xl, ...)

This modifies the logic to also allow those new forms.

Signed-off-by: Benjamin Herrenschmidt <benh@amazon.com>

mkosi: Use kernel-core for Fedora and CentOS images

Let's reduce image size by using a smaller kernel package.

hwdb: add accelerometer mount matrix for Lenovo Yoga Tablet 2 851F/L

Add an accelerometer mount matrix for Lenovo Yoga Tablet 2 851F/L, to fix
screen rotation now that the kernel has support for the LSM303D IMU.

Merge pull request #27298 from mrc0mmand/test-async-tweaks

test: modernize test-async a bit

process-util: make safe_fork() unset $NOTIFY_SOCKET

Propagating $NOTIFY_SOCKET is typically dangerous. Let's unset it unless
explicitly requested to keep it.

Fixes #27288.
Replaces #27291.

docs: add a missing $ sign

Addresses https://github.com/systemd/systemd/pull/27283#pullrequestreview-1386816102.
Follow-up to 1a127aa02b.

test: modernize test-async a bit

Mainly to give it some debug output to, hopefully, see why it sometimes
gets stuck in CI when run with sanitizers.

mkosi: default to Fedora 38

It'll be out this week. We can't update the man pages before it is realeased,
but we can use it for mkosi builds and do some very late testing.

Also, use filepath specification for /bin/pkg-config. We need it for meson, and
meson calls it directly by this path. pkgconfig is a virtual Provides on
pkgconf-pkg-config, and the indirection here just obfuscates things with no
benefit.

Add it explicitly for centos too. (I think it is pulled in by packages which
contain pkg-config modules anyway, but it's better to be explicit).

exec-util: make execute_strv() optionally take root directory

Preparation for rewriting kernel-install in C.

Merge pull request #27283 from mrc0mmand/assorted-test-tweaks

test: a bunch of assorted tweaks, Saturday edition

Merge pull request #27253 from yuwata/cmsg-find-and-copy-data

socket-util: introduce CMSG_FIND_AND_COPY_DATA()

test: add a couple of tests with invalid UTF-8 characters

test: add a simple test for getenv_path_list()

test: add a couple of basic sanity tests for the security verb

test: add a couple of basic sanity tests for timedatectl

test: add a simple test for secure-bits stuff

shared: add a missing include

test: add tests for uuid/uint64 specifiers

They're used in repart, but are not part of the "common" specifier
lists, so cover them explicitly.

tree-wide: also use CMSG_TYPED_DATA() on writing message header

sd-dhcp-server: use CMSG_FIND_DATA() at one more place

tree-wide: copy timestamp data from cmsg

On RISCV32, time_t is 64bit and size_t is 32bit, hence the timestamp
data in message header may not be aligned.

Fixes #27241.

socket-util: introduce CMSG_FIND_AND_COPY_DATA()

The cmd(3) man page says about CMSG_DATA():
> The pointer returned cannot be assumed to be suitably aligned for
> accessing arbitrary payload data types. Applications should not cast
> it to a pointer type matching the payload, but should instead use
> memcpy(3) to copy data to or from a suitably declared object.

Hence, if we want to use unaligned data in cmsg, we need to copy it
before use. That's typically important for reading timestamps in
RISCV32, as the time_t is 64bit and size_t is 32bit on the system.

test: add a test case for table_dup_cell()

Also, sneak in coverage for "less popular" cell types.

mkosi: Always disable sshd, dnsmasq and isc-dhcp-server

docs: a couple of typo fixes & formatting tweaks

mkosi: Update to latest

mkosi now installs a "ignore *" default preset on Debian. We also
switch Debian to dbus-broker now that preset doesn't disable it
anymore.

fsck: look for fsck binary not just in /sbin

This removes remaining hardcoded occurences of `/sbin/fsck`, and instead
uses `find_executable` to find `fsck`.

We also use `fsck_exists_for_fstype` to check for the `fsck.*`
executable, which also checks in `$PATH`, so it's fair to assume fsck
itself is also available.

Merge pull request #27273 from mrc0mmand/test-generators

test: add a couple of tests for getty/run/system-update generators

preset: Add ignore directive

The ignore directive specifies to not do anything with the given
unit and leave existing configuration intact. This allows distributions
to gradually adopt preset files by shipping a ignore * preset file.

test: stop the test unit when it's not needed anymore

Otherwise it keeps printing stuff to the journal/console, adding
unnecessary noise.

test: check the colored --version output

po: Translated using Weblate (Galician)

Currently translated at 100.0% (193 of 193 strings)

Co-authored-by: Fran Diéguez <frandieguez@gnome.org>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/gl/
Translation: systemd/main

man/systemd-cryptenroll: update list of PCRs, link to uapi docs

Entia non sunt multiplicanda praeter necessitatem. We had a list of PCRs in the
man page which was already half out-of-date. Instead, link to web page with the
"authoritative" list. Here, drop the descriptions of what shim and grub do. Instead,
just give some short descriptions and mention what systemd components do.
systemd-pcrmachine.service and systemd-pcrfs@.service are now mentioned too.

https://github.com/uapi-group/specifications/commit/d0e590b1e2648e76ece66157ceade3f45b165b14
extended the table in the specs repo.
https://github.com/uapi-group/specifications/pull/59 adds some more text there
too.

Also, rework the recommendation: hint that PCR 11 is useful, and recommend
binding to policy signatures instead of direct PCR values. This new text is
intentionally vague: doing this correctly is hard, but let's at least not imply
that just binding to PCR 7 is useful in any way.

Also, change "string alias" to "name" in discussion of PCR names.

Inspired by https://discussion.fedoraproject.org/t/future-of-encryption-in-fedora/80397/17

Merge pull request #27269 from poettering/statx-dont-sync

mountpoint-util: don't go to the network when doing statx() to detect mountpoints/mnt_id

test: add a couple of tests for run-generator

string-util: add strstrafter()

strstrafter() is like strstr() but returns a pointer to the first
character *after* the found substring, not on the substring itself.
Quite often this is what we actually want.

Inspired by #27267 I think it makes sense to add a helper for this,
to avoid the potentially fragile manual pointer increment afterwards.

test: add a couple of tests for system-update-generator

test: properly distinguish between generator phases

Let's make sure the units generated by generators are generated at the
right stage.

Merge pull request #27252 from yuwata/chase-mkdir

chase: refuse CHASE_MKDIR_0755 without CHASE_NONEXISTENT or CHASE_PARENT

Merge pull request #27266 from dtardon/take-struct

Use TAKE_STRUCT() to copy and reset structs

Merge pull request #27265 from dtardon/memleak

Fix memory leak if GREEDY_REALLOC() fails

test: add a couple of tests for getty-generator

mountpoint-util: use memcmp_nn() where appropriate

mountpoint-util: fix hosed overflow check

The overflow check was hosed in two ways: overflows in C are undefined,
hence gcc was free to just optimize the whole thing away. We need to
catch overflows before we run into them, not after.

It checked for an overflow against size_t, but the field we need to
write this in is unsigned. i.e. typically 32bit rather than 64bit. Hence
check for the right maximum.

(The whole check is paranoia anyway, the kernel really shouldn't return
values that would induce an overflow, but you never know, the syscall
turned out to be problematic in so many other ways, hence let's stick to
this.)

mountpoint-util: pass AT_STATX_DONT_SYNC to statx() when looking for mnt_id/mountpoints

The concept of a "mount" is a local one, hence there's no point in going
to the network to retrieve mnt_id or STATX_ATTR_MOUNT_ROOT. Hence set
AT_STATX_DONT_SYNC so that the call will not go to the network ever, and
risk deadlocking on that.

Just some extra safety.

test: allow overriding PID1's environment for test purposes

test: add a couple of test for fstab-related kernel cmdline args

test: check if x-systemd.automount is ignored for rootfs

test: run the generators with debug log level

unless requested otherwise.

install: use FOREACH_ARRAY

tree-wide: rename cleanup function

... with accordance to the current coding style.

install: fix memory leak if GREEDY_REALLOC() fails

tree-wide: add some asserts

tree-wide: use TAKE_STRUCT

chase: CHASE_MKDIR_0755 requires CHASE_NONEXISTENT and/or CHASE_PARENT

When CHASE_MKDIR_0755 is specified without CHASE_NONEXISTENT and
CHASE_PARENT, then chase() succeeds only when the file specified by
the path already exists, and in that case, chase() does not create
any parent directories, and CHASE_MKDIR_0755 is meaningless.

Let's mention that CHASE_MKDIR_0755 needs to be specified with
CHASE_NONEXISTENT or CHASE_PARENT, and adds a assertion about that.

chase: use FLAGS_SET() macro

tree-wide: replace __alignof__() with alignof()

Addresses https://github.com/systemd/systemd/pull/27254#discussion_r1165267046.

socket-util: add one missing paren

Follow-up for b6256af75e0609e451198ed90c293efd50827ab3.

timesync: drop unnecessary initialization

Merge pull request #27254 from poettering/cmsg-align-check

socket-util: tighten CMSG_TYPED_DATA() alignment checks

Merge pull request #27144 from enr0n/fix-scope-timer-on-coldplug

scope: do not disable timer event source when state is SCOPE_RUNNING

user units: implicitly enable PrivateUsers= when sandboxing options are set

Enabling these options when not running as root requires a user
namespace, so implicitly enable PrivateUsers=.
This has a side effect as it changes which users are visible to the unit.
However until now these options did not work at all for user units, and
in practice just a handful of user units in Fedora, Debian and Ubuntu
mistakenly used them (and they have been all fixed since).

This fixes the long-standing confusing issue that the user and system
units take the same options but the behaviour is wildly (and sometimes
silently) different depending on which is which, with user units
requiring manually specifiying PrivateUsers= in order for sandboxing
options to actually work and not be silently ignored.

Merge pull request #27244 from bluca/uphold_retry

Uphold/StopWhenUnneeded/BindsTo: add retry timer on rate limit

Synposis and description of networkctl man page reflecting only part of its functionality  (#27264)

* Fix inaccurate synposis, and description

Before the fix, they reflected only part of networkctl functionality.

core/main: fix a typo for --log-target

Follow-up for d2ebd50d7f9740dcf30e84efc75610af173967d2

Fixes #27105

test: add some tests for RuntimeMaxSec

Make sure the RuntimeMaxSec is applied correctly to service and scope
units when they are started, and also on coldplug.

scope: do not disable timer event source when state is SCOPE_RUNNING

In scope_set_state(), the timer event source may be disabled depending
on the state. Currently, it will be disabled when the state is
SCOPE_RUNNING. This has the effect of new RuntimeMaxSec values being
ignored on coldplug.

Note that this issue is not currently present when scopes are started
because when scope_start() is called, scope_arm_timer() is called after
scope_set_state().

systemd-confext: mount confexts as noexec and nosuid

Confexts should not contain code, so mount confexts with noexec.
We cannot mount invidial extensions as noexec, as the overlay ignores
it and bypasses it, we need to use the flag on the whole overlay for
it to be effective.
But given there are legacy scripts still shipped in /etc, allow to
override it with --noexec=false.

boot: Use CPUID to detect TSC frequency

Aside from being more accurate on CPUs that report the information this
is also orders of magnitude faster than sleeping for 1ms.

boot: Rework timer frquency reading

This is in preparation for the next commit.

boot: Use compiler intrinsic for TSC

mkosi: Update to latest

The Bootable= option was removed and mkosi installs less packages
by default now, so let's adapt our configs to those changes.

Uphold/StopWhenUnneeded/BindsTo: requeue when job finishes

When a unit is upheld and fails, and there are no state changes in
the upholder, it will not be retried, which is against what the
documentation suggests.

Requeue when the job finishes. Same for the other two queues.

systemd-cryptenroll: add string aliases for tpm2 PCRs
Fixes #26697. RFE.

test: add several assertions

Follow-up for 7947dbe322a922604f3a5b29693e58b370161ad5.

Fixes CID#1508781 and CID#1508783.

Merge pull request #18789 from gportay/veritysetup-add-options-for-parity-with-cryptsetup-verity-utility

veritysetup: Add options for parity support with the cryptsetup's verity utility

image-policy: introduce parse_image_policy_argument() helper

Addresses
https://github.com/systemd/systemd/pull/25608/commits/84be0c710d9d562f6d2cf986cc2a8ff4c98a138b#r1060130312,
https://github.com/systemd/systemd/pull/25608/commits/84be0c710d9d562f6d2cf986cc2a8ff4c98a138b#r1067927293, and
https://github.com/systemd/systemd/pull/25608/commits/84be0c710d9d562f6d2cf986cc2a8ff4c98a138b#r1067926416.

Follow-up for 84be0c710d9d562f6d2cf986cc2a8ff4c98a138b.

repart: Discard from/to first/last usable lba

Repart considers the start and end of the usable space to the first multiple
of grainsz (at least 4096 bytes). However the first usable LBA of a GPT
partition is at sector 34 (512 bytes sectors) which is not a multiple of 4096.
The backup GPT label at the end also takes up 33 sectors, meaning the last
usable LBA is at 34 sectors from the end, unlikely to be a 4096 multiple as
well.

This meant that the very first and last sectors were never discarded. However
more problematically if an existing partition started before the first
usable grainsz multiple its start didn't get taken into account as a valid
starting point and got its data discarded.

Signed-off-by: Sjoerd Simons <sjoerd@collabora.com>

udev,sd-device: use CMSG_FIND_DATA() more

tree-wide: port more code over to CMSG_TYPED_DATA()

socket-util: tighten aignment check for CMSG_TYPED_DATA()

Apparently CMSG_DATA() alignment is very much undefined. Which is quite
an ABI fuck-up, but we need to deal with this. CMSG_TYPED_DATA() already
checks alignment of the specified pointer. Let's also check matching
alignment of the underlying structures, which we already can do at
compile-time.

See: #27241

(This does not fix #27241, but should catch such errors already at
compile-time instead of runtime)

Merge pull request #27027 from dtardon/unit-file-list-cleanup

Use _cleanup_ for UnitFileList hash