Merge pull request #23000 from mrc0mmand/coverage__exit

macro: call __gcov_dump() before _exit() w/ coverage enabled

test: ignore missing coverage in TEST-02

Since c6552ad we now try to collect coverage even in situations where
it's basically impossible (like in test-mount-util where the whole / is
mounted as read-only). As dealing with this is not worth the trouble,
let's ignore the missing coverage errors thrown by gcov in such cases.

macro: call __gcov_dump() before _exit() w/ coverage enabled

_exit() skips at-exit hooks, causing lost coverage from processes
utilizing it.

Hopefully resolves systemd/systemd-centos-ci#482

sd-ipv4acd: actually drop the arp packet from one of the host interface

Fixes a bug in 7f77917c0effe92d5fed52503bceddabcb4667ba.

Fixes #23001.

semaphoreci: re-enable rebooting tests

Fixed by https://salsa.debian.org/systemd-team/systemd/-/commit/5738b62f5544d040550a018dcd02701bac4feec8

Fixes https://github.com/systemd/systemd/issues/22991

Merge pull request #22965 from enr0n/oomd-used-memory-calc

oomd: calculate 'used' memory with MemAvailable instead of MemFree

shutdown: get only active md arrays.

Current md_list_get() implementation filters all block devices, started from
"md*". This is ambiguous because list could contain:
- partitions created upon md device (mdXpY)
- external metadata container- specific type of md array.

For partitions there is no issue, because they aren't handle STOP_ARRAY
ioctl sent later. It generates misleading errors only.

Second case is more problematic because containers are not locked in kernel.
They are stopped even if container member array is active. For that reason
reboot or shutdown flow could be blocked because metadata manager cannot be
restarted after switch root on shutdown.

Add filters to remove partitions and containers from md_list. Partitions
can be excluded by DEVTYPE. Containers are determined by MD_LEVEL
property, we are excluding all with "container" value.

Signed-off-by: Mariusz Tkaczyk <mariusz.tkaczyk@linux.intel.com>

core: taint if /usr is unmerged

9afd5e7b975e8051c011ff9c07c95e80bd954469 introduced a build-time
taint, introduce a runtime one as well, in preparation for
removing support for unmerged-usr in a future release

Merge pull request #22996 from yuwata/test-sfdisk-lock

test: use "udevadm lock" more

test: drop unnecessary use of loop device

To avoid inferences with udevd.

test: use udevadm lock when partitioning block devices

We can use `sfdisk --lock` for these cases, but some CI environments
have old sfdisk which does not support `--lock` option.

update TODO

test: --initialized=yes is the default for udevadm wait

Merge pull request #22993 from keszybz/refactor-manager_taint_string()

Refactor manager_taint_string()

hwdb: drop boilerplate about match patterns being unstable

We've had this text since the beginning, but in fact the patterns must be
stable in order for people to create local hwdb entries. And we support that
and can't change the match patterns without being very careful. So let's just
drop the text.

analyze: Fix verify exit status regression

Previously, systemd-analyze verify would return 0 even if warnings
were raised during analysis of the specified units or their
dependencies. With 3cc3dc7, verify was changed to return 1 when
warnings were raised.

This commit changes the default mode to _RECURSIVE_ERRORS_INVALID
so that verify returns zero again by default when warnings are
raised.

README: rawhide -> Rawhide

README: add rawhide SELinux build status (#22997)

Co-authored-by: Frantisek Sumsal <frantisek@sumsal.cz>

Merge pull request #22983 from yuwata/login-use-symlinks-under-static_node-tags

login: shorten code a bit

udev: add a brief comment about the origin of the filters

I am not sure whether the original discussions are correct or not.
This is just for adding references for future verification for the
filters.

basic/strv: fix typos and confusion whether we are escaping or unescaping

Add new test-manager.c and "test" manager_taint_string()

It seems it doesn't fit well anywhere else.

manager: rework manager_taint_string()

When I see stpcpy, my brain bleeds. This function was too complicated
for it's own good.

login: shorten code a bit

The symlinks under /run/udev/static_node-tags are pointing to the
corresponding device nodes. Let's read the symlinks.

Merge pull request #22981 from yuwata/udev-node-cleanups

udev: cleanups for device node handling

Merge pull request #22985 from bluca/semaphore

Semaphore CI fixes

Merge pull request #22968 from keszybz/kernel-4.4

Recommend kernel 4.15 or newer

udev/net_id: avoid slot based names only for single function devices

If we have two or more devices that share the same slot but they are
also multifunction then it is OK to use the slot information even if it
is the same for all of them. Name conflict will be avoided because we
will append function number and form names like, ens1f1, ens1f2...

semaphoreci: skip boot-and-services test

It started failing, disable it for now

semaphoreci: move runner from Bionic to Focal

test-network: rename one .netdev to make the file removed after the test

Follow-up for 7809cab71738aa582ac30e7dbc8d1e76c303ff9e.

udevadm: lock: fix TOCTOU

Fixes CID#1487744.

udev: move apply_static_dev_perms() to udev-node.c

and make it internally use udev_node_apply_permissions_impl().

udev: upgrade mode in udev_node_apply_permissions_impl()

udev: split udev_node_apply_permissions() into two

udev: drop unnecessary code

Follow-up for 78e278ad48e0d2854f950f261804fde70121820e.

Merge pull request #22980 from keszybz/test-help-and-version-output

Test --help and --version output in more cases

semaphoreci: speed up package installation

Disable updating the manpage database, and use dpkg's unsafe-io flag

semaphoreci: run dhclient manually on setup

For some reason the guest container stopped having its
network interface configured. Run the dhcp client manually.

semaphoreci: check keys.opengpgp.org first

Always resolves and it's faster than the others

+ for keyserver in "" "keys.gnupg.net" "keys.openpgp.org" "keyserver.ubuntu.com"
+ for retry in {1..5}
+ sudo lxc-create -n bullseye-amd64 -t download -- -d debian -r bullseye -a amd64
Setting up the GPG keyring
ERROR: Unable to fetch GPG key from keyserver
lxc-create: bullseye-amd64: lxccontainer.c: create_run_template: 1617 Failed to create container from template
lxc-create: bullseye-amd64: tools/lxc_create.c: main: 327 Failed to create container bullseye-amd64
+ sleep 1
+ for retry in {1..5}
+ sudo lxc-create -n bullseye-amd64 -t download -- -d debian -r bullseye -a amd64
Setting up the GPG keyring
ERROR: Unable to fetch GPG key from keyserver
lxc-create: bullseye-amd64: lxccontainer.c: create_run_template: 1617 Failed to create container from template
lxc-create: bullseye-amd64: tools/lxc_create.c: main: 327 Failed to create container bullseye-amd64
+ sleep 4
+ for retry in {1..5}
+ sudo lxc-create -n bullseye-amd64 -t download -- -d debian -r bullseye -a amd64
Setting up the GPG keyring
ERROR: Unable to fetch GPG key from keyserver
lxc-create: bullseye-amd64: lxccontainer.c: create_run_template: 1617 Failed to create container from template
lxc-create: bullseye-amd64: tools/lxc_create.c: main: 327 Failed to create container bullseye-amd64
+ sleep 9
+ for retry in {1..5}
+ sudo lxc-create -n bullseye-amd64 -t download -- -d debian -r bullseye -a amd64
Setting up the GPG keyring
ERROR: Unable to fetch GPG key from keyserver
lxc-create: bullseye-amd64: lxccontainer.c: create_run_template: 1617 Failed to create container from template
lxc-create: bullseye-amd64: tools/lxc_create.c: main: 327 Failed to create container bullseye-amd64
+ sleep 16
+ for retry in {1..5}
+ sudo lxc-create -n bullseye-amd64 -t download -- -d debian -r bullseye -a amd64
Setting up the GPG keyring
ERROR: Unable to fetch GPG key from keyserver
lxc-create: bullseye-amd64: lxccontainer.c: create_run_template: 1617 Failed to create container from template
lxc-create: bullseye-amd64: tools/lxc_create.c: main: 327 Failed to create container bullseye-amd64
+ sleep 25
+ for keyserver in "" "keys.gnupg.net" "keys.openpgp.org" "keyserver.ubuntu.com"
+ for retry in {1..5}
+ sudo lxc-create -n bullseye-amd64 -t download -- -d debian -r bullseye -a amd64 --keyserver keys.gnupg.net
Setting up the GPG keyring
ERROR: Unable to fetch GPG key from keyserver
lxc-create: bullseye-amd64: lxccontainer.c: create_run_template: 1617 Failed to create container from template
lxc-create: bullseye-amd64: tools/lxc_create.c: main: 327 Failed to create container bullseye-amd64
+ sleep 1
+ for retry in {1..5}
+ sudo lxc-create -n bullseye-amd64 -t download -- -d debian -r bullseye -a amd64 --keyserver keys.gnupg.net
Setting up the GPG keyring
ERROR: Unable to fetch GPG key from keyserver
lxc-create: bullseye-amd64: lxccontainer.c: create_run_template: 1617 Failed to create container from template
lxc-create: bullseye-amd64: tools/lxc_create.c: main: 327 Failed to create container bullseye-amd64
+ sleep 4
+ for retry in {1..5}
+ sudo lxc-create -n bullseye-amd64 -t download -- -d debian -r bullseye -a amd64 --keyserver keys.gnupg.net
Setting up the GPG keyring
ERROR: Unable to fetch GPG key from keyserver
lxc-create: bullseye-amd64: lxccontainer.c: create_run_template: 1617 Failed to create container from template
lxc-create: bullseye-amd64: tools/lxc_create.c: main: 327 Failed to create container bullseye-amd64
+ sleep 9
+ for retry in {1..5}
+ sudo lxc-create -n bullseye-amd64 -t download -- -d debian -r bullseye -a amd64 --keyserver keys.gnupg.net
Setting up the GPG keyring
ERROR: Unable to fetch GPG key from keyserver
lxc-create: bullseye-amd64: lxccontainer.c: create_run_template: 1617 Failed to create container from template
lxc-create: bullseye-amd64: tools/lxc_create.c: main: 327 Failed to create container bullseye-amd64
+ sleep 16
+ for retry in {1..5}
+ sudo lxc-create -n bullseye-amd64 -t download -- -d debian -r bullseye -a amd64 --keyserver keys.gnupg.net
Setting up the GPG keyring
ERROR: Unable to fetch GPG key from keyserver
lxc-create: bullseye-amd64: lxccontainer.c: create_run_template: 1617 Failed to create container from template
lxc-create: bullseye-amd64: tools/lxc_create.c: main: 327 Failed to create container bullseye-amd64
+ sleep 25
+ for keyserver in "" "keys.gnupg.net" "keys.openpgp.org" "keyserver.ubuntu.com"
+ for retry in {1..5}
+ sudo lxc-create -n bullseye-amd64 -t download -- -d debian -r bullseye -a amd64 --keyserver keys.openpgp.org
Setting up the GPG keyring
Downloading the image index
Downloading the rootfs

meson: make kernel-install a template file, add --version, add to tests

In --help output, change "$0" → "kernel-install". We generally don't include
the full path in --help output, and let's not do this here either.

kernel-install is now in build/ directly, not in the subdirectory.

meson: also allow setting GIT_VERSION via templates

GIT_VERSION is not available as a config.h variable, because it's rendered
into version.h during builds. Let's rework jinja2 rendering to also
parse version.h. No functional change, the new variable is so far unused.

I guess this will make partial rebuilds a bit slower, but it's useful
to be able to use the full version string.

test: do --help/--version checks for systemd, firstboot, cryptenroll, s-n-w-o

I basically went by the list in systemd.directives for --help/-h.
kernel-install is also listed there, but will be added in a later commit.

firstboot: make --help output fit in 80 columns

A long name of one parameter was making the whole thing very wide.
I think that it's obvious from the context what the argument is,
so a shorter name should be just as good.

pid1: make --help output fit in 80 columns

test/check-help: check that --help and -h are identical

tests: add a smoke test for --version option in binaries

This is very similar to (and directly based on) the test for --help. I think
it's nice to do this: the test is very quick, but it'll catch cases where we
forgot to hook up the option, or forgot to exit after printing --version, and
it'll also increase our test coverage a bit.

hwdb: fix parsing options

Fixes #22976.

manager: fix typo

I guess that we could make an overflow if all the taint flags were set.

README: describe taint flags and how to check them

We should have this somewhere. We talk about versions of things
in the README, so it seems as good a place as any.

README: say kernel 4.15 is the minimum recommended

After various long discussions
(https://lists.freedesktop.org/archives/systemd-devel/2022-March/047587.html,
https://lwn.net/Articles/889610/), there is no clear answer what the minimum
version should be. Bumping the version above 3.15 doesn't allow us to make any
significant simplifications (unless we went *much* higher). In particular, even
renameat2() is not fully supported with latest kernel versions, e.g. nfs still
doesn't have it. And the bpf stuff is optional anyway. So let's just say that
4.15 is what we recommend, because it provides fairly complete cgroups-v2, but
without any removals of compat in the code.

Merge pull request #22975 from poettering/logind-longpress-followup

logind: "long press" follow-up

core: command argument can be longer than PATH_MAX

Fixes a bug introduced by 065364920281e1cf59cab989e17aff21790505c4.

Fixes #22957.

man: split an overly long paragraph in two

logind: also show long press settings in default logind.conf

The configuration options where added back in
a520bb665417af7aa98dcb983f3583659bbab807 but this was never actually
added to the default logind.conf.

Follow-up-for: a520bb665417af7aa98dcb983f3583659bbab807
Follow-up-for: #19917

logind: expose long press actions on D-Bus

The settings and internal varables were added, but this was never
exposed on the bus. Add that.

Follow-up-for: a520bb665417af7aa98dcb983f3583659bbab807
Follow-up-for: #19917

oomd: calculate 'used' memory with MemAvailable instead of MemFree

The calculation for used memory in oomd_system_context_acquire is given
by MemTotal - MemFree from /proc/meminfo. This is too strict of a
calculation because it does not consider memory that is still available
for starting new applictions without swapping (MemAvailable). As a
result, systemd-oomd can start to kill processes before it is necessary.
This is more apparent on systems with low swap space.

Instead, compute 'used' memory as MemTotal - MemAvailable in
oomd_system_context_acquire and procfs_memory_get (which is used by
oomd_cgroup_context_acquire). And, rename oomd_mem_free_below to
oomd_mem_available_below for clarity.

update TODO

fix TODO

update TODO

Merge pull request #22953 from yuwata/test-sd-device

test: several fixlets for test-sd-device

update TODO

update TODO

Merge pull request #22956 from yuwata/network-fix-permission-error

network: ignore all errors in loading .network files

test-sd-device: ignore several errors when running on non-host network namespace

Fixes https://github.com/systemd/systemd/commit/93e04eb43bed6cd1cea344f8fb1002b62155fae2#commitcomment-70387367.

test-sd-device: allow several devices removed during running test

To make the test stabler.

test-sd-device: device ID requires subsystem

test-sd-device: log earlier which device is handled

To make debugging the test easier.

Merge pull request #22951 from keszybz/fix-entry-selection-bootctl-status

Fix entry selection in bootctl status

Merge pull request #22964 from yuwata/udevadm-lock-follow-ups

udevadm lock follow ups

test: use udevadm wait and lock

Hopefully fixes #22911.

shell-completion: update for udevadm

fix typo

man: add annotated example for bootctl status & list

This is based on the output on my laptop, with various manual adjustments.
If people have other types of entries, it'd be useful to add them here. In
particular, some dual-boot entries would be nice.

man: fix tag syntax

Strangely enough, having <varlistenetry>s outside of <variablelist> wasn't
causing visual problems. But having two <listitem>s in one <varlistentry>
resulted in the paragraphs running together in the rendered man page.

bootctl: unify boot entry loading for "status" and "list"

We must be consistent in the two listings, so let's split out the loading code
and call it from both verb_status() and verb_list(). This effectively makes
verb_status() also call efi_loader_get_entries().

There is still some code duplicated, but that's hard to avoid. Error messages
are made identical for the same errors in various places.

Fixes #22580.

Merge pull request #22963 from poettering/udevadm-diskseq-fix

sd-device diskseq fix + udevadm info improvements

Merge pull request #22867 from poettering/lockdev-util

add small "udevadm lock" tool for locking a block device

Merge pull request #22960 from mrc0mmand/use-udevadm-wait

test: use the new `udevadm wait` verb to wait for the loop device

tree-wide: use 'Architecture' type consistently across the tree

Some parts of our tree used 'Architecture' for storing architectures,
others used ints. Let's unify on the former.

Inspired by #22952's rework of the 'Virtualization' enum.

udev/net: always log error in link_load_one()

network: always log error in network_load_one() and netdev_load_one()

network: ignore all errors in loading .network files

This partially reverts 9202b567bcdd0c1f6a1fc2a5f36602e619960813.

Fixes #22954.

man: document various sd_device_get_xyz() functions

udevadm: if invalid devices are specified on "info" verb, continue

If multiple devices are specified on "udevadm info", then show data
about them all even if one is missing. Return first encountered error
though.

udevadm: add a dash of color to "udevadm info"

Let's make it easier to discern the "header" of device records from the
"body", i.e. non-property data from property data, by using some
conservative coloring.

udevadm: show more fields of sd_device objects in "udevadm info"

Let's make things easier to debug, and show a more comprehensive set of
fields, extending on the existing output syntax that starts with one
marker character followed by a colon and a space.

sd-device: actually read diskseq if told so

sd_device_get_diskseq() actually called device_read_uevent_file() but
that function didn't actually parse DISKSEQ= so far. Fix that.

sd-device: rename return parameter of sd_device_get_devpath() to ret

man: properly conditionalize kernel-install man page

Change f887eab1da85d0053321d43228042d90720eb77e conditionalized the
building of ther kenel-install man page in the generated meson output,
instead of the source in the XML markup. Thus, whenever the rules file
is updated the conditionalization is lost. Correct that.

Follow-up for: f887eab1da85d0053321d43228042d90720eb77e

journald: make use of CLAMP() in cache_space_refresh()

journald: make sure journal_file_open() doesn't leave a corrupted file around after failing

This can be problematic especially when there's no more free disk
space. Consider the following:.

When disk space becomes sparse, writting to the system journal can lead to
error. In this case journald attempts to make room by rotating the journals,
which consists in archiving online journals and opening new ones.

However opening new files is likely to fail too and in this case
journal_file_open() leaves half initialized file around but in online
state. Then the error is propagated and journald switches into volatile mode.

Next time a new message is received by journald, it tries to open the
persistent system journal file to switch automatically back to persistent
mode.

When opening the system journal, journal_file_open(), called by
managed_journal_file_open_reliably(), finds the persistent system journal left
previously and assumes that it was uncleanly closed and considers it as
corrupted. The error is reported to managed_journal_file_open_reliably(), which
backs the file up and attempts to create a new system file, which fails and
leaves a corrupted system file again.

Since this is done for each message received by journald, /var/log/message can
be filled with backup files pretty quickly.

To prevent this, the patch makes sure to delete the newly created file in case
of error.

man: document new udevadm lock tool

udevadm: add new "lock" verb for locking block devices

hash-funcs: tweak odering in devt_compare_func()

Let's order dev_t's by their major first, minor secondary. The binary
encoding of the two fields is weirdly interleaved and different in
kernel and glibc, hence let's focus on the generic part that works like
users would expect it.

So far the function is only used to compare for equality, not for
sorting, hence this has no immediate effect.

TODO

partition: use `udevadm wait`

test: use the new `udevadm wait` verb to wait for the loop device

 The original workaround didn't work, as `systemd-repart` kept failing
 even when the `/dev/loopX` device was present:

 ```
 [   13.959419] H testsuite-58.sh[280]: + LOOP=/dev/loop1
 [   13.959636] H testsuite-58.sh[280]: + :
 [   13.959764] H testsuite-58.sh[280]: + test -e /dev/loop1
 [   13.959895] H testsuite-58.sh[280]: + break
 [   13.960023] H testsuite-58.sh[280]: + systemd-repart --pretty=yes --definitions=/tmp/testsuite-58-sector/ --seed=750b6cd5c4ae4012a15e7be3c29e6a47 --empty=require --dry-run=no /dev/loop1
 [   13.970538] H testsuite-58.sh[363]: Device '/dev/loop1' has no dm-crypt/dm-verity device, no need to look for underlying block device.
 [   13.970538] H testsuite-58.sh[363]: Failed to determine canonical path for '/dev/loop1': No such file or directory
 [   13.970538] H testsuite-58.sh[363]: Failed to open file or determine backing device of /dev/loop1: No such file or directory
 ```

Merge pull request #22943 from yuwata/dhcp6-client-requet-options

sd-dhcp6-client: requet options

Merge pull request #22952 from poettering/rework-kvm-hyperv

virt: tweak kvm with hyperv enlightenments