Revert "mkosi: pin CentOS8 kernel to working version"

A fixed kernel finally landed on mirrors, so let's revert the C8S kernel
pin.

This reverts commit a64398b2ca1cdaee291550face0d1ce5f8ea52f6.

find-esp: add debugging log about failure in parsing env variable

Addresses https://github.com/systemd/systemd/pull/30321#discussion_r1429716344.

udev: allow/denylist for reading sysfs attributes when composing a NIC name

Users can currently pick specific versions of NIC naming, but that
does not guarantee that NIC names won't change after the kernel adds
a new sysfs attribute.

This patch allows for an allow/deny list of sysfs attributes
that could be used when composing the name.

These lists can be supplied as an hwdb entry in the form of
/etc/udev/hwdb.d/50-net-naming-allowlist.hwdb
net:naming:drvirtio_net
  ID_NET_NAME_ALLOW=0
  ID_NET_NAME_ALLOW_ACPI_INDEX=1
  ID_NET_NAME_ALLOW_ADDR_ASSIGN_TYPE=1
  ID_NET_NAME_ALLOW_ADDRESS=1
  ID_NET_NAME_ALLOW_ARI_ENABLED=1
  ID_NET_NAME_ALLOW_DEV_PORT=1
  ID_NET_NAME_ALLOW_FUNCTION_ID=1
  ID_NET_NAME_ALLOW_IFLINK=1
  ID_NET_NAME_ALLOW_INDEX=1
  ID_NET_NAME_ALLOW_LABEL=1
  ID_NET_NAME_ALLOW_PHYS_PORT_NAME=1
  ID_NET_NAME_ALLOW_TYPE=1

Merge pull request #30491 from fbuihuu/vconsole-handle-kd-grahpics-mode

vconsole-setup: handle the case where the vc is in KD_GRAPHICS mode m…

siphash: make sure siphash24_compress_usec_t() works the same on LE/BE archs

Let's be systematic here, and always hash LE values. It doesn't matter
in our current codebase, but it might one day.

Merge pull request #30518 from mrc0mmand/assorted-tweaks

A couple of assorted tweaks

ether-addr-util: split out logic to mark MAC addresses as random

test: add missing operators

Without them only the last expression's return value is honored, causing
unexpected CI fails:

[   26.006721] testsuite-04.sh[1191]: + for _ in {0..9}
[   26.007672] testsuite-04.sh[1191]: + setterm --term linux --dump --file /tmp/console.dump
[   26.008871] testsuite-04.sh[1233]: + SYSTEMD_COLORS=256
[   26.009606] testsuite-04.sh[1233]: + /usr/lib/systemd/systemd-bsod
[   26.063296] systemd[1]: session-1.scope: Deactivated successfully.
[   26.124789] testsuite-04.sh[1191]: + grep -aq 'Press any key to exit' /tmp/console.dump
[   26.131509] testsuite-04.sh[1191]: + grep -aq 'Root emergency message' /tmp/console.dump
[   26.137882] testsuite-04.sh[1191]: + grep -aq 'The current boot has failed' /tmp/console.dump
[   26.141650] testsuite-04.sh[1191]: + return 0
[   26.144816] testsuite-04.sh[1191]: + grep -aq 'Scan the QR code' /tmp/console.dump
[   26.153591] testsuite-04.sh[1191]: + at_exit
[   26.154744] testsuite-04.sh[1191]: + local EC=1
[   26.155697] testsuite-04.sh[1191]: + [[ 1 -ne 0 ]]
[   26.156787] testsuite-04.sh[1191]: + [[ -e /tmp/console.dump ]]
[   26.157799] testsuite-04.sh[1191]: + cat /tmp/console.dump
[   26.158858] testsuite-04.sh[1244]:    The current boot has failed!
[   26.159858] testsuite-04.sh[1244]:    Root emergency message

I'm genuinely impressed that this worked at all.

typo: transer -> transfer

pcrlock: use empty_or_dash() more

analyze: use strempty()

man: avoid potential shell expansion in systemctl's example

Resolves: #30014

journalctl: also refuse --cursor-file= with --since=

We already refuse the other two cursor-related options (--cursor= and
--after-cursor=) with --since=, so let's do the same with
--cursor-file=.

Closes: #20523

update TODO

Merge pull request #30464 from CodethinkLabs/misc-integration-test-fixes

Misc integration test fixes

Merge pull request #30492 from mrc0mmand/skip-TEST-08-without-systemd-in-initrd

test: skip TEST-08-INITRD if systemd didn't run in the initrd

vconsole-setup: remember the correct error value when open_terminal() fails

vconsole-setup: handle the case where the vc is in KD_GRAPHICS mode more gracefully

Regardless of whether a vc path is passed, the behavior of
systemd-vconsole-setup wasn't ideal when either the passed vc or /dev/tty1 was
in graphics mode.

When a vc in graphics mode was passed, no message was emitted despite the fact
that the font settings couldn't be applied. The previous code might have
assumed that setfont(8) would throw a warning but that's not case.

When no argument was passed, systemd-vconsole-setup was supposed to
automatically select a valid tty, init it and copy the font setting to the
remaining ttys. However if the selected virtual console was in KD_GRAPHICS mode
the initialization of the font failed not only for the selected source vc but
for all of them.

Merge pull request #30508 from topimiettinen/fix-flaky-test-address-static

test-network: fix racy test for address_static

test-network: accept kernel versions like 1.2.3+ (self-built)

Merge pull request #30515 from poettering/dnslabelmax

extend most DNS label buffers by one

core: allow interface altnames in RestrictNetworkInterfaces=

This patch enables IFNAME_VALID_ALTERNATIVE for checks guarding the
parsing of RestrictNetworkInterfaces=.

The underlying implementation for this option already supports
altnames.

Merge pull request #30321 from yuwata/find-esp

find-esp: gracefully handle btrfs RAID

Merge pull request #30150 from poettering/homectl-interactive

add "homectl firstboot" verb, that runs at first boot and can create a user, interactively or from creds

64bit mount id

shutdown: Send EXIT_STATUS before final sync

There's a race condition where the EXIT_STATUS= message we send
just before shutting down the VM doesn't arrive on the host,
presumably because the VM is shut down before the kernel has had a
chance to forward the message to the host.

Since there's no obvious way to wait until the message has been
flushed to the host, let's send the message before we execute the
final sync() instead of after executing the final sync(). In my
testing, this seems to either guarantee the message is sent or
introduces sufficient delay that the kernel always has time to flush
its socket buffers to the host.

update TODO

mkosi: use systemd.firstboot=no to turn of interactivity at boot

Now that creds are processed even if systemd.firstboot=no is set, we can
use it to disable the root pw prompt *and* the new homectl prompt at the
same time, without breaking the creds stuff.

homectl: add "firstboot" command

This extends what systemd-firstboot does and runs on first boots only
and either processes user records passed in via credentials to create,
or asks the user interactively to create one (only if no regular user
exists yet).

firstboot: adjust what systemd.firstboot=no on the kernel cmdline does

So far by setting systemd.firstboot=no simply short-cut the whole tool
and made it exit early. This is against what the docs say though: they
just claim the user isn't asked for questions anymore. Let's change
behaviour so that the code actually matches the docs, or more
specifically: if credentials are passed into firstboot, then honour
them, regardless of the kernel cmdline option.

After all, if we get explicit data passed in we should operate on it,
and then leave systemd.firstboot=no just affect the interactivity.

I think this was actually mostly a bug introduced because the credential
stuff was added after the kernel cmdline option, hence this just catches
up with the new addition.

homectl: when taking a JSON user record as input, strip secttions we don't want rather than complain about them

This makes it easier to take a user record from one host and create an
identical user on another.

creds-util: add helper for opening the credentials directory

Merge pull request #30479 from keszybz/man-pages-synopsis-layout

Man pages synopsis layout

specifier: use mempcpy() where we can

resolved: increase most label buffers to fit a trailing NUL byte

This is just paranoia. In all these cases we don't really care about the
trailing NUL byte. But if there's space for it dns_label_unescape() is
going to insert it, and that's a good safety strategy.

This is a follow-up to c29c3adefa8cd859f8cb87d9ad62f3d77b7cd102 which
fixed an actual bug, unlike this commit, which is just paranoia.

Merge pull request #30482 from YHNdnzj/ferror-handling

A few fixes for ferror() handling

Merge pull request #30494 from keszybz/trivial-cleanups

Trivial cleanups

Revert "test: temporarily skip checking NFT sets in test_address_static"

This reverts commit e4a80de119c5ce022396b436690f6321f4bb626b.

test-network: fix racy test for address_static

NFT sets must be installed before starting networkd, otherwise some sets may be
installed too late.

Closes #30427

Add Bosto BT-12HD series to hwdb

resolved-util: NUL-terminate host label

In case the host has a 63-byte hostname, we must have enough space for a
NUL terminator as well.

meson: make lines more consistent

machine: also clean up gid_map fscanf error handling

Revert "test: disable TEST-08-INITRD on ubuntu CI"

No longer necessary, as the test checks if systemd ran in the initrd.

This reverts commit 0d290cbcd62c5021b485c6f2bf0cef633e77a2b1.

test: skip TEST-08-INITRD if systemd didn't run in the initrd

This test requires systemd in the initrd, which is not the case in
mkinitrd-based initrds (Ubuntu/Debian).

Resolves: #30481

test-systemctl-enable: fix typo

Follow-up for fe6e0cfa19dd1de4ac599ae207182fd556adcfa7.

NEWS: fix version

man: use <simplelist> for two more lists

man: use <simplelist> for file lists in synopsis

With <para><filename>…</filename></para>, we get a separate "paragraph" for
each line, i.e. entries separated by empty lines. This uses up a lot of space
and was only done because docbook makes it hard to insert a newline. In some
other places, <literallayout> was used, but then we cannot indent the source
text (because the whitespace would end up in the final page). We can get the
desired result with <simplelist>.

With <simplelist> the items are indented in roff output, but not in html
output. In some places this looks better then no indentation, and in others it
would probably be better to have no indent. But this is a minor issue and we
cannot control that.

(I didn't convert all spots. There's a bunch of other man pages which have two
lines, e.g. an executable and service file, and it doesn't matter there so
much.)

basic/uid-range: add uid_map_read_one helper

cgroup-util: check ferror() first

Also, there's no need to set use errno_or_else(), since fscanf() is
documented to set errno on error.

fsck: use correct errno

Merge pull request #30484 from mrc0mmand/test-tweaks

A couple of test-related tweaks

Fix a typo in the org.freedesktop.systemd1 man page

test: tell delv to load anchors from /etc/bind.keys explicitly

Since [0] delv no longer does that automagically, so we have to that
explicitly with each delv invocation.

Resolves: #30477

[0] https://github.com/isc-projects/bind9/commit/c144fd2871206d209ccdb916f5959a3ceab1d44c

test: don't check for -Dinstall-tests=true with NO_BUILD=1

test: install empty directories with NO_BUILD=1

Resolves: #30478

test: update comment style & drop one extraneous newline

Follow-up to 9fb2a61830.

test: forward journal messages to console during sd-bsod tests

Since we nuke the journal multiple times during that, which makes
potential fails undebugable.

mkosi: make sysvinit path inference consistent

The integration tests use /etc/rc.d/init.d if it exists
or falls back to /etc/init.d,
while the mkosi.build.chroot script dereferenced /etc/init.d.

This produces inconsistent results, as sometimes an image can be made
that has systemd built to expect /etc/init.d but /etc/rc.d/init.d
also exists.

mkosi: Install locales in fedora

locale files are not generated on-demand in Fedora like they are in
Debian-like systems and are typically installed from package instead.

This is necessary for the locale tests,
which expect en_US.UTF-8 to be available.

Merge pull request #30440 from yuwata/network-nexthop-cleanups-2

network/nexthop: several cleanups

man/tmpfiles: update summary

It hasn't been just about "volatile" and "files" for a long time.

sd-netlink: the kernel ignores NLM_F_APPEND in RTM_NEWNEXTHOP message but uses NLM_F_REPLACE

See insert_nexthop() in net/ipv4/nexthop.c of the kernel.

network/nexthop: check existing nexthop can be replaced with requested one

network/nexthop: do not add NextHop object to Link on requesting

Then, all nexthops managed by networkd really exist (unless the kernel
silently removes a nexthop).

This is the same for nexthop already done by
3c283289aefb3cfb8bfa5c759209368b63d1692c and
0a0c2672dbd22dc85d660e5baa7e1bef701beb88 (for address), and
5d098f5d3614d1c0be7c825925637e9ab3d904fb (for neighbor).

network/nexthop: manage all nexthops by manager

The kernel manages nexthops by their IDs. Previously networkd manages
nexthops in three ways:
- by the corresponding link, if a nexthop has ifindex,
- by the manager, if a nexthop does not have ifindex,
- by the manager with their IDs.

This unifies the three managements of nexthops into one, and use the
same way as the kernel uses.

This is the one for nexthop already done by
aa9626ee3b96e0d2a9a816b5efd38fd7dc829def for neighbor.

network/nexthop: rename manager_get_nexthop_by_id() -> nexthop_get_by_id()

network/nexthop: rename nexthop_owned_by_link() -> nexthop_bound_to_link()

No functional change.

network/nexthop: NextHop.id is always positive when nexthop_configure() is called

If a nexthop is requested without a valid ID, then nexthop_acquire_id()
assigns an unused ID. So, at the time nexthop_configure() is called, the
ID is always valid.

network/nexthop: do not assign invalid ID

This also reduces the scope of the iterator.

network/nexthop: split-out nexthop_update_group()

No functional change, just refactoring and preparation for later
commits.

network: do not trigger assertion when link_get_by_index() called with an invalid ifindex

Should not change any behavior. Preparation for later commit.

Add $SYSTEMD_HWDB_UPDATE_BYPASS (#30463)

Same as $KERNEL_INSTALL_BYPASS, but for hwdb. This will speed up
cross architecture image builds in mkosi as I can disable package
managers from running the costly hwdb update stuff in qemu user
mode and run it myself with a native systemd-hwdb with --root=.

machine-credential: introduce MachineCredentialContext

This allows more straightforward memory management and
the use of static destructor.

Requested (by me) in https://github.com/systemd/systemd/pull/30143#discussion_r1401980763

Merge pull request #30417 from YHNdnzj/unit-log-resource

core/unit: clean up unit_log_resources

Add three Dell platforms to sensor accel location base

Merge pull request #30467 from poettering/loop-block-tweaks

various tweaks to block device ioctls, and loop device mgmt

rlimit-util: add pid_getrlimit() helper

This is gets the resource limits off a specified process, and is very
similar to prlimit() with a NULL new_rlimit argument. In fact, it tries
that first. However, it then falls back to use /proc/$PID/limits. Why?
Simply because Linux prohibits access to prlimit() for processes with a
different UID, but /proc/$PID/limits still works.

This is preparation to allow nspawn to run unprivileged.

Merge pull request #30469 from poettering/userdbd-tweaks2

userdb: some smaller userdb tweaks

docs/CREDENTIALS: Don't write authorized_keys with executable bits

No reason to make this file executable.

mount-util: make sure mount_switch_root() works as clean NOP when '/' is specified as target

mkosi: Add testuser and tar to system image

The integration tests are installed into the image
with the intention that it should be possible to run those tests,
but those tests require the named user testuser
and tar is needed for machined-import

mkosi: Allow the output directory to be overridden

For integration tests it would be preferable to operate on a copy
so tests can be run in parallel and avoid interfering.

test: mount overlayfs over /usr in some tests

Most of the integration tests have been made to not write to /usr
but some genuinely need to do so.

Because mkosi creates images with a read-only /usr
it is not normally writeable.

By mounting an overlayfs with /usr as the lower dir
and upper and working dirs in /var tests may write to /usr.

userdbd: split out function to find listener fd

no actual code changes, just some refactoring and modernization

userbd: modernize process_connection() fd possession logic

userdbd: realign table

userdbd: drop redundant empty line

userdbd: properly close the listener fd on exit

update TODO

userwork: port to pidref_set_parent()

pidref: add pidref_set_parent() for race-freely getting pidref on ppid

dissect-tool: hide device column if it's a short-lived loopback device

It's pointless showing info that isn#t going to survive the current
invocation, hence hide it.

The "partition number" column is more useful since it kinda shows the
same information, but without the device node name prefixed that is
local to the currentl invocation.

dissect-tool: show sector/image size from DissectedImage object

The information is provided to us already in the structure now, hence
use it.

dissect-image: also store the image size in DissectedImage

That way we can easily access it the same way regardless if we operate
on a block device or on a regular file.

loop-util: remember if we created the LoopDevice

Let's store in a bool whether a LoopDevice object was created via
loop_device_open() or loop_device_make().

loop-util: also store the device size in LoopDevice

That makes the field easily accessible, just as the sector size.

blockdev-util: add new helper blockdev_get_device_size()

This function is just a wrapper around the BLKGETSIZE64. Which is a
pretty simple ioctl. The only reason to wrap it, is that the headers we
need to call it are a bit messy (as "linux/fs.h" is incompatible with
certain glibc headers). Hence add the simple helper that wraps it and
allows us to do the header mess needed in one file only.

It's also nicely symmetric to blockdev_get_sector_size().

test: install all necessary units & generators for LVM on Debian

And derivates.

Replaces: #30458