udev: add /dev/disk/by-diskseq symlink for block devices

This adds another symlink for block devices:

    /dev/disk/by-diskseq/<number>

where the number is the diskseq number as exposed by the kernel. It's
useful for apps because they can use it to open a device by diskseq, in
a way that is safe against device node reuse. I.e. if a device node path
like this is passed to an app it could open the device node via the
symlink and also parse the diskseq from the path. Once the device is
opened it could compare the parsed diskseq with the one returned by
BLKGETDISKSEQ on the open node, and if it matches they know they are
talking to the right device.

Fixes: #22906

Merge pull request #22926 from bluca/analyze_offline_filter

analyze: fix offline checks for syscall filter and 'native' architecture

Merge pull request #22921 from poettering/uid-range-tweaks

userns uid range tweaks: taint systemd if assigned userns uid range too short, and show userns uid range in userdbctl output

path-util: use STR_IN_SET() where appropriate

notify: remove spurious whitespace

Merge pull request #22934 from poettering/tls-test-fix-root

tests: make test-resolved-stream suceed even when run as root with restrictive access mode on build tree dir

process-util: refactor APIs for reading /proc/self/xyz symlinks

The three functions for reading cwd, exe and root symlinks of processes
already share a common core: get_process_link_contents(). Let's refactor
that a bit, and move formatting of the /proc/self/ path into this helper
function instead of doing that in the caller, thus sharing more code.

While we are at it, make the return parameters optional, in case the
information if the links are readable is interesting, but the contents
is not. (This also means safe_getcwd() and readlinkat_malloc() are
updated to make the return parameter optional, as these are called by
the relevant three functions)

analyze: fix offline check for syscal filter

The deny/allow list check was inverted, if we are deny listing and the
hashmap contains the syscall then that's good

Fixes https://github.com/systemd/systemd/issues/22914

analyze: fix offline check for 'native' syscall architecture

Enum values are stored in the set, not strings

Merge pull request #22872 from yuwata/udevadm-wait

udevadm: introduce 'wait' command

userdbctl: also show available UID range in current userns

Containers generally have a smaller UID range assigned than host
systems. Let's visualize this in the user/group tables. We insert
markers for unavailable regions. This way display is identical to status
quo ante on host systems, but in containers unavailable ranges will be
shown as that.

And while we are at it, also hide well-known UID ranges when they are
outside of userns uid_map range. This is mostly about the "container"
range. It's pointless showing the cotnainer range (i.e. a range UID >
65535) if that range isn#t available in the container anyway.

update TODO

pid1: add taint flag if uid/gid userns range too small

This will taint systemd if invoked in containers that do not have the
full 16bit range of UIDs defined.

we pretty much need uid root…nobody to be defined for a variety of
purposes, hence let's add this taint flag. Of course taints are
graceful, but it at least communicates the mess in some way...

uid-range: replace uid_range_contains() by more generalized uid_range_covers()

The former checks if one UID is inside the uid range set. The latter
checks if a full UID range is inside the uid range set. The former is
hence a special case of the latter.

uid-range: add some overflow checks

uid-range: add new uid_range_load_userns() for loading /proc/self/uid_map

test: port test-uid-range to tests.h

uid-range: use size_t for array size

test-resolved-stream: before entering user/network namespaces check if that's safe

I regularly run my tests also as root, since some of the tested code
uses privileged APIs. The test-resolved-stream so far tried to run its
tests in a user/network namespace if that can be allocated. This caused
the tests to fail on my system where once the user namespace is opened
access to the build tree in my $HOME is prohibited (due to restricted
access modes on my home dir). Let's add a check for that: before
actually isolating the test in a user/network namespace, let's see if
that would make it impossible for us to access the build tree (which we
need to do load the TLS certificates the test requires).

This should make the test pass when run as root from a build tree with
restrictive access mode.

tests: modernize load_testdata_env() a bit

Let's add assert() around everyhing we don't expect to fail.

Port to path_extract_directory().

Log errrors from load_env_file_pairs() which we ignore.

update TODO

udev: use sd_device_open() where appropriate

test: add test for sd_device_open()

sd-device: introduce sd_device_open()

We usually open() device node obtained by sd_device_get_devname().
However, the device node corresponds to the sd-device object may be
already removed, and another device node with the same path may be
created, hence an unexpected device may be opened.

The sd_device_open() opens device node, and checks the devnum and
diskseq of opened devnum, to avoid the above possibility.

Prompted by https://github.com/systemd/systemd/issues/22906#issuecomment-1082736443.

fd-util: rename loop_get_diskseq() -> fd_get_diskseq()

And move it from loop-util.[ch] -> fd-util.[ch]

basic/missing: move BLKGETDISKSEQ to missing_fs.h

As it is defined at linux/fs.h.

test: replace helper_wait_for_dev() with 'udevadm wait'

udevadm: introduce new 'wait' command

Prompted by https://github.com/systemd/systemd/pull/22717#issuecomment-1067348496.

The new command 'udevadm wait' waits for device or device symlink being
created. This may be useful to wait for a device is processed by udevd
after e.g. formatting or partitioning the device.

test: add more tests for sd_device_new_from_xxx()

sd-device: introduce sd_device_new_from_devname()

and sd_device_new_from_path() which takes devname or syspath.

systemctl: show tainted state

pid1: check for kernels older than baseline

Let's make this detectable explicitly.

Merge pull request #22923 from poettering/userns-check-refactor

virt: minor running_in_userns() modernizations

Merge pull request #22919 from poettering/cryptsetup-tweaks

various minor tweaks to cryptsetup/veritysetup/integritysetup

virt: use read_virtual_file() for reading /proc/self/setgroups

virt: simplify userns_has_mapping() by using fscanf() instead of scanf()

And while we are at it, also fix propagation of an uninitialized errno
error.

cryptsetup: fall back to traditional unlocking if any TPM2 operation fails

If any TPM2 operation fails, the boot process should continue and
prompt for a text password (if configured to do so).

Fixes #22870

update TODO

Support -D_FORTIFY_SOURCE=3 by using __builtin_dynamic_object_size.

As explained in the issue, -D_FORTIFY_SOURCE=3 requires usage
of __builtin_dynamic_object_size in MALLOC_SIZEOF_SAFE macro.

Fixes: #22801

meson: build kernel-install man page when necessary

Fix "link-local" language inconsistencies

"Link-local" and "link local" are used throughout man pages and program
output, with the former used far more than the latter. This commit makes
it consistent throughout the project.

integritysetup: also validate volume name

Exactly like for veritysetup/cryptsetup

integritysetup: also port to mangle_none()

Let's make the tool work more like veritysetup/cryptsetup in this regard
too.

integritysetup: log when attempted to detach already detached volume

To make the tool behave more like cryptsetup/veritysetup

integritysetup: rename action → verb, to match other code

tree-wide: unify some code that looks for --help in the command line

veritysetup: do some superficial checking on volume name

cryptsetup does this too, so let's better be safe here, too.

veritysetup: mangle option strings like in cryptsetup

veritysetup: give command line parameters proper names

Accessing the various arguments always through argv[] is nasty, since
it's not obvious what we are talking about here. Let's give things nice
names.

We did the same in cryptsetup a while back.

cryptsetup: adjust some log levels

Let's upgrade log levels of some noteworthy messages from LOG_DEBUG to
LOG_NOTICE. These messages contain information that previous log
messages in the error path didn't say, namely that we'll now fall back
to traditional unlocking.

Note that this leaves similar log messages for cases where
TPM2/PKCS#11/FIDO2 support is disabled at build at LOG_DEBUG, since in
that case nothing really failed, we just systematically can't do
TPM2/PKCS#11/FIDO2 and hence it is pointless and not actionable for
users to do anything about it...

cryptsetup: add helper for mangling "none" option strings

let's unify some code here, and let's do so in cryptsetup-util.h so that
we can later reuse this in integritysetup/veritysetup

cryptsetup: rename functions that try to do FIDO2/TPM2/PKCS#11 via cryptsetup plugins to say so

The are so many different flavours of functions that attach volumes,
hence say explicitly that these are about libcryptsetup plugins, and
nothing else.

Just some renaming, no code changes beyond that.

Merge pull request #22899 from yuwata/network-ignore-carrier-loss

network: automatically determine timeout of waiting for carrier regain

network: shorten code a bit

Currently, there exist only two MTU sources, static and DHCPv4, and they
are exclusive. Hence, it is not necessary to check the existence of the
MTU option in the acquired DHCP lease. Let's unconditionally reset the
MTU. Note that, if the current and original MTU are equivalent, then
link_request_to_set_mtu() handles that gracefully.

network: automatically determine timeout of waiting for carrier regain

The commit 6706ce2fd2a13df0ae5e469b72d688eaf643dac4 made
IgnoreCarrierLoss= setting also take timespan, to make users handle
issues like #18738 or #20887. But still users needed to explicitly set
a timespan.

This makes networkd automatically determine the timeout when the
situations #18738 or #19832 is detected. Unfortunately, still users have
issue #20887 need to specify a value.

Closes #19832.

Merge pull request #22913 from yuwata/sd-device-cleanups

sd-device,udev: several cleanups

veritysetup: fix parsing of root-hash-signature= option

The function was named confusingly and we managed to confused ourselves. The
parameter was assigned incorrectly and then reassigned correctly in the caller.
Let's simplify the whole thing by just saving the optarg param.

I considered moving the unhexmemming and/or reading of the file to the parse
function, but decided against it. I think it's nicer to parse all options
before opening external files.

udev: rename functions to emphasize whole disk is locked

udev: ignore one more error in device_get_block_device()

sd-device: do not ignore critical errors in device_new_from_child()

sd-device: use path_extract_directory() at one more place

sd-device: try to get DISKSEQ from uevent file

Otherwise, if the sd-device object is created from e.g. syspath, then
sd_device_get_diskseq() returns -ENOENT.

sd-device: drop /sys/subsystem support

Follow-ups for 37cf83d9bfdd9f6859b6f2654d8ec3bbb17873b2.

man: update root-hash-signature option with value

This documents two possible values expected by the option
root-hash-signature for veritytab and veritysetup-generator.

udev: do not use sd_event_source_disable_unref() at more places

Fixes a bug introduced by 9612da361a825d70a9fd392f3ee5a53bf8896887.

Follow-up for f777e745a7966ea52ef29f9e4edfdd16874cfe86.

udev: do not append unknown errno or signal name

Follow-up for 6467bda59d571696b645e8bbdf31926676890956.

Addresses https://github.com/systemd/systemd/pull/22871#discussion_r837705779.

update TODO

ci: drop clang 11 & add clang 14

fix typo

NEWS: specify that public headers are still C89

NEWS: mention that C11 is now used

NEWS: add entry for the unit enablement stuff

It should be merged soon.

test-systemctl-enable: skip test for %v if kver is not a valid instance

On arm, we'd fail with:
target@v:5.16.8-200.fc35.armv7hl+lpae.socket: not a valid unit name "target@v:5.16.8-200.fc35.armv7hl+lpae.socket": Invalid argument

test-copy: use non-0 data block in copy_holes

Some filesystems (e.g. zfs with compression!=off, which is the default
configuration) automatically hole-punch all-zero blocks ‒ write a block
full of ones instead

Merge pull request #22649 from keszybz/symlink-enablement-yet-again-punish-me-harder

Fixups to the unit enablement logic

Merge pull request #22871 from yuwata/udev-worker-error-code

udev: append error code on failure

meson: bump numbers for v251-rc1

NEWS: update contributor list

tools/git-contrib: list contributions not only from Weblate

It seems that --invert-grep used to affect --author, but now it doesn't (with
git-2.35.1-1.fc36.x86_64), so effectively we would only show the one entry that
was supposed to be filtered out.

NEWS: two more small features and some rewordings

Fix typos in user-util.c and dbus-unit.c

test: add tests for worker error code

udev: append error code in broadcasted message

So, libudev listners can easily detect errors.

Addresses https://github.com/systemd/systemd/pull/22717#discussion_r834420878.

sd-device: introduce device_add_propertyf()

NEWS: mention kernel requirement change 3.13 -> 3.15

Merge pull request #22894 from keszybz/hwdb-update

Update hwdb again

hwdb: update autosuspend entries

hwdb: update for v251

As usual, there are mostly additions of new entries, and some spelling
correction and company renames, no big removals.

hwdb: fix parser to work with newer pyparsing

The handling of whitespace in pyparsing is a bother. There's some
global state, and per-element state, and it's hard to get a handle on
things. With python3-pyparsing-2.4.7-10.fc36.noarch the grammar would
not match. After handling of tabs was fixed to not accept duplicate tabs,
the grammar passes.

It seems that the entry for usb:v8087p8087*
was generated incorrectly because we treated the interface line
(with two TABs) as a device line (with one TAB).

cryptsetup: shorten message a bit

If it is reported as missing, we don't need to say that we assume
it is missing.

Merge pull request #22843 from poettering/bootspec-json

bootctl: bootspec improvements and clean-ups

Rename UnitFileScope to LookupScope

As suggested in
https://github.com/systemd/systemd/pull/22649/commits/8b3ad3983f5440eef812b34e5ed862ca59fdf7f7#r837345892

The define is generalized and moved to path-lookup.h, where it seems to fit
better. This allows a recursive include to be removed and in general makes
things simpler.

test-systemctl-enable: disable the test for %a for now

test-systemctl-enable: also use freshly-built systemd-id128

Tests were failing on centos7 because systemd-id128 is not in path.

test-systemctl-enable: use magic syntax to allow inverted tests

Inspired by 7910ec3bcde2ee0086b3e49f8aaa2a9f13f58d97.
'! true' passes, because it's a conditional expression.
But '( ! true )' fails, because '( … )' creates a subshell, i.e. a separate
program, and '! true' becomes the return value of that program, and the whole
thing apparently is not a conditional expression for the outer shell.

This is shorter, so let's just do this.

shared/install: when creating symlinks, accept different but equivalent symlinks

We would only accept "identical" links, but having e.g. a symlink
/usr/lib/systemd/system/foo-alias.service → /usr/lib/systemd/system/foo.service
when we're trying to create /usr/lib/systemd/system/foo-alias.service →
./foo.service is OK. This fixes an issue found in ubuntuautopkg package
installation, where we'd fail when enabling systemd-resolved.service, because
the existing alias was absolute, and (with the recent patches) we were trying
to create a relative one.

A test is added.
(For .wants/.requires symlinks we were already doing OK. A test is also
added, to verify.)

test-systemctl-enable: make shellcheck happy

Quoting is not necessary in many places, but I think it's nicer
to use it consistently.

shared/install: fix handling of a linked unit file

When we have a symlink that goes outside of our search path, we should just
ignore the target file name. But we were verifying it, and rejecting in
the case where a symlink was created manually.

shared/install: split UNIT_FILE_SYMLINK into two states

The two states are distinguished, but are treated everywhere identically,
so there is no difference in behaviour except for slighlty different log
output.

basic/unit-file: reverse negative conditional

Having the reverse condition first makes changes that I want to do
later awkward, so reverse it as a separate step first.