allow ExtensionImages= and ExtensionDirectories= settings to support confext images

add an @ option for confext

Merge pull request #28839 from DaanDeMeyer/repart-followups

Repart followups

repart: Add verity configuration section and options

Merge pull request #28838 from DaanDeMeyer/repart-subvolume

mkosi: Create a few subvolumes in the root partition

repart: Massage the minimize for XFS a bit

A 1.5 multiplier doesn't seem to be sufficient for XFS as seen in
mkosi CI. Let's increase it to 2 for XFS to hopefully get better
results.

resolved: fixed bugs reported in varlink statistics (#28796)

Fixes https://github.com/systemd/systemd/issues/28791

Follow-up for bc837621a38efbaff14fbe33bfe5c34dac805343

mkosi: Update to v15.1 release

mkosi: Create a few subvolumes in the root partition

Let's exercise the repart Subvolumes= setting by creating a few
subvolumes in the root partition when we create it.

repart: Rework read-only logic

verity sig partitions can't actually be marked read-only, so let's
not do that to avoid an ugly warning about that. Instead, let's just
make sure that we mark verity hash and verity data partitions as
read-only.

repart: Allow using Subvolumes= with automatic --offline

If we fail to allocate a loopback device and subvolumes are configured,
we fail instead of falling back to a regular file.

p11kit: check the flags associated with the slot instead of flags associated with the token

The logic around checking PKCS11 tokens (used by systemd-cryptenroll) contains a bug.
The code is checking the flags field of a pkcs11 token_info structure against a set of flags defined for the pkcs11 slot_info structure. This PR changes the check so that the correct structure's flag field is being checked.
(Reference to the PKCS#11 spec:http://docs.oasis-open.org/pkcs11/pkcs11-base/v2.40/os/pkcs11-base-v2.40-os.html, section CK_SLOT_INFO).

mkfs-util: Don't set MKE2FS_DEVICE_PHYS_SECTSIZE

We only care about the logical sector size and if the physical sector
size isn't set and we're operating on a file, mke2fs will default the
physical sector size to the logical block size anyway.

This change makes sure that if we're operating on a block device and
set an explicit logical sector size, that doesn't affect the physical
sector size.

repart: Put function call closer to its error handling

Merge pull request #28812 from DaanDeMeyer/sector-size

repart: Use 4096 as the fallback sector size for verity/luks/filesystems

Merge pull request #28833 from DaanDeMeyer/copy-subvolume

repart: Add Subvolumes= setting

sysupdate: Use sector size for partition size calculations

Merge pull request #28829 from DaanDeMeyer/mount-fd

tree-wide: Mount file descriptors via /proc/<pid>/fd

Merge pull request #28835 from mrc0mmand/more-tests

test: add coverage for #27953

fd-util: Use /proc/pid/fd instead of /proc/self/fd

Currently, we mount via file descriptors using /proc/self/fd. This
works, but it means that in /proc/mounts and various other files,
the source of the mount will be listed as /proc/self/fd/xxx. For other
software that parses these files, /proc/self/fd/xxx doesn't mean anything,
or worse, it means the completely wrong thing, as it will refer to one of
their own file descriptors instead.

Let's improve the situation by using /proc/pid/fd instead. This allows
processes parsing /proc/mounts to do the right thing more often than not.
One scenario where even this doesn't work if when containers are involved,
as with the pid namespace unshared, even /proc/pid/fd will mean the wrong
thing, but it's no worse than /proc/self/fd which will always means the wrong
thing.

This also doesn't work if we mount via file descriptor and then exit, as the pid will
be gone, but it does work as long as the process that did the mount is alive, which
makes it useful for systemd-dissect --with for example if the program we run in the
image wants to parse /proc/mounts.

test: explicitly specify a UTF-8 locale for UTF-8 shenanigans

As things don't work well without it:

$ LANG=C printf "\ufffe\n"
\uFFFE

test: add coverage for #27953

test: drop unnecessary log level setup

As we do that globally via a dropin.

repart: Add Subvolumes= setting

This setting indicates which directories in the target partition
should be btrfs subvolumes. If set, we'll try to create these
directories as subvolumes.

Note that this only works when running as root without --offline,
as mkfs.btrfs does not support creating subvolumes.

mkdir: Add support for creating subvolumes to mkdir_p_root()

We pass in the paths which should be subvolumes and try to create
those as subvolumes if we can.

copy: Add support for creating subvolumes to copy_tree_at()

The subvolumes set is a set of source inodes similar to how the
denylist hashmap contains source inodes as keys. It indicates
directories in the source tree that should become subvolumes in
the target tree.

fs-util: Add XO_SUBVOLUME flag for xopenat()

When specified, xopenat() will try to create a btrfs subvolume and
fall back to creating a regular directory.

btrfs-util: Move subvolume creation to basic/btrfs.h

Also make btrfs_subvol_make() an openat style function.

path-util: Make ret argument optional for path_extract_directory()

Merge pull request #28828 from DaanDeMeyer/sysupdate-fdisk

fdisk-util: Make fdisk_new_context_fd() more generic

dissect-image: Fix mount_point_is_available()

We call dir_is_empty() to check if the directory is empty but don't
take the result into account when returning from the function.

tree-wide: Always include <net/if.h> before related linux headers

Otherwise, we get redefinition errors if <net/if.h> is included later
on by another header.

repart: Use 4096 as the fallback sector size for verity/luks/filesystems

When we don't know the sector size of the actual block device, because
we're building an image in a loopback file and no sector size was specified
explicitly, let's use 4096 as the sector size for filesystems, verity and
LUKS. This should be the most compatible option, since 4096 will also work
on devices with sector size 512 or 2048.

For the actual GPT partition table size, we stick with 512 as the default
value since UEFI firmware and the kernel will only try to read the GPT
partition table from the first LBA on the device and the sector size for
most devices is still 512. It can also be trivially modified when copying
the image to another device using --copy-from + --sector-size.

tree-wide: Use fdisk_new_context_at() more

fdisk-util: Make fdisk_new_context_fd() more generic

Let's make this an openat() style function so we can also pass a
device path.

Merge pull request #28827 from gioele/docs-fix-network-online-example-unit

docs/NETWORK_ONLINE: Move `Type=`, `RemainAfterExit=` to `[Service]` + Use `until` instead of `while !`

docs/NETWORK_ONLINE: Use `until` instead of `while !`

`until` is the standard POSIX shell builtin to be used when waiting for
a condition to appear.

docs/NETWORK_ONLINE: Move `Type=`, `RemainAfterExit=` to `[Service]`

`Type=` and `RemainAfterExit=` belong in `[Service]`, not `[Unit]`.

Fixes #28826

network: ndisc - Ignore route information if reserved (10) value is
received

RFC4191 – Section 2.3 Route Information Option's Prf field:
If the Reserved (10) value is received, the Route Information Option MUST be ignored.

sleep: clear EFI HibernateLocation if writing kernel config fails

Follow-up for f1f331a252d22c15f37d03524cce967664358c5c

core: drop redundant assignment of UNIT_MERGED in unit_load_fragment()

If the unit is merged into another unit, then the load state is already
set in merge_by_names() -> unit_merge(). Let's drop the redundant assignment.

Merge pull request #28744 from YHNdnzj/battery-check-minor-followup

battery-util: minor follow-ups

Merge pull request #28809 from YHNdnzj/proc-cmdline-true-when-missing

proc-cmdline: introduce PROC_CMDLINE_TRUE_WHEN_MISSING and use it where appropriate

basic: add comment for LFS assert in dirent-util.h

Followup to eb29296937b268e0140a2ab1cf204c2ebb72fa5a as promised; requested
by lennart at https://github.com/systemd/systemd/pull/27599#discussion_r1192619263.

test: skip test-path on Salsa CI

Salsa is the Debian git forge. In the package build environment test-path
always fails as we cannot set up cgroups and so the path unit fails to
start. Skip the test in that environment.

Unfortunately meson doesn't allow to skip individual tests by name.

battery-util: log_notice when unsure about battery state

Follow-up for 02f7f8aa4f1d0b7a24ee3cd5685a791771d9ded5

This deserves some highlight.

Addresses https://github.com/systemd/systemd/pull/28597#discussion_r1288592726

battery-util: don't log duplicate message

Follow-up for 02f7f8aa4f1d0b7a24ee3cd5685a791771d9ded5

Addresses https://github.com/systemd/systemd/pull/28597#discussion_r1288591215

> this is pretty unnecessary, battery_read_capacity_percentage()
debug logs on its own about this already, in more detailed way?

reboot-util: cache the result of shall_restore_state

battery-check: use proc_cmdline_get_bool

fstab-util: make use of PROC_CMDLINE_TRUE_WHEN_MISSING

proc-cmdline: do assert on flags earlier

proc-cmdline: introduce PROC_CMDLINE_TRUE_WHEN_MISSING

mkosi: disable key check on Fedora Rawhide for now

There are key issues so jobs are failing, disable the check for now

test: disable TEST-08-INITRD on ubuntu CI

Currently, the test does not work on ubuntu CI, unfortunately.
Let's disable it at least tentatively.

test: fix expected result of systemd-repart

Follow-up for e1536d1fb00787f0b064007573292d4ebc01971f.

Fixes #28807.
Replaces #28802.

mkfs-util: Pass sector size to mkfs.f2fs

Let's pass the sector size to mkfs.f2fs as well.

mkfs-util: Set sector size environment variables when invoking mkfs.ext4

Let's inform mkfs.ext4 about the sector size we're using.

meson: drop unnecessary dependency on libidn

Merge pull request #28801 from mrc0mmand/initrd-shutdown-test

test: introduce TEST-08-INITRD

man: kernel-install(8) add uki.conf in FILES & add ukify(1) in SEE ALSO

Signed-off-by: Rahil Bhimjiani <rahil3108@gmail.com>

test: introduce TEST-08-INITRD

And move the initrd related tests from TEST-01-BASIC there.

Additionally, this should provide coverage for recemt shutdown initrd
related issues, see:
  - https://github.com/systemd/systemd/issues/28645
  - https://github.com/systemd/systemd/pull/28648
  - https://github.com/systemd/systemd/pull/28793

Merge pull request #28784 from yuwata/udev-vs-tmpfiles-take-3

Udev vs tmpfiles take 3

Merge pull request #28799 from bluca/fixlets

core: some fixlets

man: systemd-repart can now create filesystems, update manpage

units: introduce systemd-tmpfiles-setup-dev-early.service

This makes tmpfiles, sysusers, and udevd invoked in the following order:
1. systemd-tmpfiles-setup-dev-early.service
   Create device nodes gracefully, that is, create device nodes anyway
   by ignoring unknown users and groups.
2. systemd-sysusers.service
   Create users and groups, to make later invocations of tmpfiles and
   udevd can resolve necessary users and groups.
3. systemd-tmpfiles-setup-dev.service
   Adjust owners of previously created device nodes.
4. systemd-udevd.service
   Process all devices. Especially to make block devices active and can
   be mountable.
5. systemd-tmpfiles-setup.service
   Setup basic filesystem.

Follow-up for b42482af904ae0b94a6e4501ec595448f0ba1c06.

Fixes #28653.
Replaces #28681 and #28732.

Revert "unit: make udev rules really take precedence over tmpfiles"

This reverts commits 112a41b6ece19d03e951d886fe2f26512ab31fab,
3178698bb5352989e4bff866641838b1c2a0efcb, and
b768379e8b494b025f41946205944a6f3a1a553f.

The commit 112a41b6ece19d03e951d886fe2f26512ab31fab introduces #28765,
as systemd-tmpfiles-setup.service has ordering after local-fs.target,
but usually the target requires block devices processed by udevd.
Hence, the service can only start after the block devices timed out.

Fixes #28765.

iovec-util: add iovw_isempty() helper

Follow-up for: 3746131aac4798cacf67b60cfc4e2e1c80ec4efb

core: split manager's process killing on shutdown to separate helper

core: allow to pass EINVAL to unit_add_two_dependencies()

Useful to conditionally add two deps at a time

core: copy os-release with COPY_TRUNCATE

Otherwise if the os-release file shrinks between updates, there
will be a merge of the two.
Also remove redundant ENOENT check.

Follow-up for 3f37a82545d461ab

test: correctly propagate return code from check_result hooks

test: save the console log to a file

So we can refer to it later if needed.

man: don't claim BindPaths= file systems would remain "in memory", they are just kept "mounted"

Follow-up for: 947d836a6e86f1936250ff8e3c67fa33b92a597f

(I guess in the original patch authors usecase the root fs actually
*does* remain in memory, but that's a special case and does not belong
in the man pages this way).

Merge pull request #28766 from DaanDeMeyer/repart-copy-from

repart: Allow specifying --copy-from more than once

file-io: Fix copying sparse files

This change makes sure a data copy using copy_bytes() does not exceed the
max_bytes value when using COPY_HOLES and max_bytes stops before the next
data section.

repart: Allow specifying --copy-from more than once

Definitions will be synthesized from each of the given images.

docs: update link to RHEL/CentOS Stream tracker

Also update link to systemd downstream GitHub repo.

repart: Allow acquire shared lock on --copy-from files/devices

We're not going to modify these, so no need for an exclusive lock.

test-mountpoint-util: /root might be mounted

On openSUSE with BTRFS, /root has to be mounted as dedicated subvolume to avoid
restoring it when a rollback of the system happens.

Merge pull request #28779 from yuwata/iovw-append

io-util, coredump: introduce iovw_append() and use it

coredump: fix various invalid memory access

Previously, we did not check error from iovw_put(). If it fails, the
target iovw may have no iov or partial iovs from the journal importar.
So, the finalization may cause underflow and may access and free invalid
memory.

Follow-up for 946dc7c635f050129896d1515c08a81504af2421.

io-util: introduce iovw_append() helper function

Make ukify the default ifUKI_GENERATOR is unset

vconsole-setup: use "@kernel" rather than "kernel" as special string to leave keymap untouched

This is a magic string, and we should avoid stepping into the territory
of normal keymap names with that, given that users can pick names
otherwise freely.

Hence, prefix the name with a special char to avoid any namespace
issues.

Follow-up for: #28660

Merge pull request #28760 from poettering/coredump-tweaks

coredump: minor tweaks/modernizations

file-io: let's use offsetof() rather than sizeof() for determining EFI_FILE_INFO prefix size

The gnu-efi definition of the struct uses [1], our local one [0] to size
the filename array. Let's avoid an ambiguity and use offsetof() so that
this difference doesn't matter. Also, doing it this way makes very clear
to the read what happens here: it's a structure with a variable size
suffix.

Merge pull request #28749 from yuwata/udev-net-id-fix-and-cleanup

udev-builtin-net_id: fix and cleanups

ukify: Use length= instead of ignore_padding= in inspect

ignore_padding= was only added in a recent version of pefile. Let's
set length= to the virtual size instead which is what ignore_padding
does behind the scenes so we're compatible with older versions of
pefile.

Merge pull request #28767 from poettering/epoll-eperm-journalctl

journalctl epoll/EPERM follow-up

mkosi: Copy sources under /usr in the image

Originally, the source code was copied under /root/src.
This home directory is part of root FS and the new mkosi building
paradigm has only ephemeral root FS that is generated lazily.
Any files placed on the root FS in the build environment are that
excluded from the final image.

It is useful to have source codes available in the image's runtime (not
build time) environment for debugging.

ExtraTrees= as used currently are ineffective, so change the destination
to copy files under /usr to achieve the intention.

gdb sees source files as:
> 1354 ../src/src/systemctl/systemctl.c: No such file or directory.

Modify gdb configration in the built image accordingly (that file cannot
be in /root neither) to resolve to the moved sources.

(Commit fdecbf7 ("Enable unprivileged image builds") envisions bind
mounting or virtiofsd for nspawn or qemu containers respectively.)

Merge pull request #28743 from mrc0mmand/lint-python-scripts

tools: lint Python scripts

tmpfiles: move static vars into Context object

Same as #28722, but for tmpfiles rather than sysusers

test: testsuite-35.sh needs manual/test-session-properties to be installed on SUSE

Add .pylintrc to globally suppress warnings we don't really care about

Also, drop the respective disable directives from existing files.

tools: pylint meson-render-jinja2.py

tools: pylint analyze-dump-sort.py

tools: pylint dump-auxv.py

tools: pylint gdb-sd_dump_hashmaps.py

tools: pylint list-discoverable-partitions.py

tools: pylint xml_helper.py