test-network: do not call networkctl if networkd is in failed state

Otherwise, networkd may be restarted by DBus and we may get wrong
results.

test-network: introduce networkctl() and friends

test-network: use read_networkd_log() at one more place

test-network: sync journal before read

Otherwise, test cases that check journal entries, e.g. test_unit_file()
may fail.

nspawn: lock down access to notify socket a bit

On Linux only the "w" access bit is necessary to connect to an AF_UNIX
socket, hence let's only set that and nothing else, to limit exposure.

Just paranoia.

core: escape spaces in paths during serialization

Otherwise we split them incorrectly when deserializing them.

Resolves: #30747

Merge pull request #30794 from poettering/parse-vsock-better

socket-util: add more careful parsers for AF_VSOCK cid/port

udevadm: allow to override the default log level by environment variable

Previously, there was no way to override the log level for test and
test-builtin commands. Let's re-parse environment after setting the log
level to debug. Then, we can control the log level through environment
variable.

Merge pull request #30796 from mrc0mmand/journalctl-namespaces

journalctl: provide shell completion for --namespace=

dev-setup: rework make_inaccessible_nodes() around openat() and friends

Let's operate on fds rather than paths. Make some tweaks to the logic on
top:

1. Mark the resulting dir as read-only after we are done.
2. Use the new inode_type_to_string() calls to determine the inode
   names.
3. If an inode already exists, try to adjust the access mode, just in
   case.
4. Use FOREACH_ARRAY()

Merge pull request #30775 from yuwata/network-nexthop-is-ready

network: introduce nexthop_is_ready() helper function and use it

parse-helpers: allow port 0 for socket bind items

This patch adds a new parameter to parse_ip_port_range, giving callers
the option to allow ranges to have their min be 0 instead of 1.

This is then used by parse_ip_ports_token, intern used by
parse_socket_bind_item to allow port 0 when restricting bind system
calls with SocketBindDeny / SocketBindAllow.

With this, users running server software written using the golang
standard library will be able to effectively sandbox their software,
albeit with a small loss in security protections by allowing the
process to bind on a random port in the
/proc/sys/net/ipv4/ip_local_port_range.

Merge pull request #30791 from poettering/nspawn-restrict-run-host

nspawn: make some files we expose in /run/host/ in nspawn read-only via access mode

nspawn: add new common make_run_host() helper

This new helper creates the /run/host/ top-level dir inside the
container.

socket-util: add more careful parsers for AF_VSOCK cid/port

Let's handle the magic CIDs, and filter out invalid ports.

missing: add a bunch of vsock related defines

Merge pull request #30790 from poettering/null-creds-allow-with-tpm

creds: allow using NULL encryption if explicitly requested even if TPM is available, and add a comprehensive credential encryption/decrpytion test

shell-completion: provide completion for journalctl --namespace=

Resolves: #30381

shell-completion: fix mixed indent

journalctl: implement --list-namespaces

Apart from being useful on its own, this will be used in the following
commit for shell completions.

nspawn: set read-only access mode on two /run/host/ files

The diectory is mounted read-only anyway, hence this doesn't do much,
but let's lock this down on every level we can.

fileio: add new flag WRITE_STRING_FILE_MODE_0444

With this write_string_file() will create the file with 0444 access mode
(i.e. read-only).

test: add credential encryption/decryption test

creds-util: optionally, allow NULL credentials even with TPM

Merge pull request #30754 from poettering/iovecification

tpm2-util: convert various things over to struct iovec rather that data ptr + size

Merge pull request #30784 from poettering/json-dispatch-enum

json: add macro for automatically defining a dispatcher for an enum

Merge pull request #30785 from poettering/json-allow-extensions

json: add flag for allowing extension of json objects when dispatching, without otherwise being permissive

test: wait for verbose-success.service finished

Otherwise, the command 'echo' may not be invoked yet.

Follow-up for 25aa35d465cf4725bc3ebd2a919e7f39ecafb920.

tree-wide: use JSON_ALLOW_EXTENSIONS when disptching at various places

If we want to allow method replies to be extended without this breaking
compat, then we should set this flag. Do so at various method call
replies hence.

Also do it when parsing user/group records, which are expressly
documented to be extensible, as well as the hibernate JSON record.

json: add new dispatch flag JSON_ALLOW_EXTENSIONS

This is a subset of JSON_PERMISSIVE focussed on allowing parsing of
varlink replies that get extended, i.e. gain new fields, without
allowing more than that (i.e. without allowing missing fields, or bad
field types or such).

Merge pull request #29692 from H5117/fix_pkcs11_uri

cryptenroll: change class in provided PKCS#11 URI if necessary

oomd: make use of new JSON_DISPATCH_ENUM_DEFINE() macro

user-record: port over to JSON_DISPATCH_ENUM_DEFINE()

test: add unit test for JSON_DISPATCH_ENUM_DEFINE()

json: add macro for automatically defining a dispatcher for an enum

tpm2-util: more iovec'ification

Let's move more code to using struct iovec for passing around binary
chunks of data.

No real changes in behaviour, just refactoring.

test: add unit tests for the new iovec helpers

iovec-util: add CONST_IOVEC_MAKE_STRING()

iovec-util: add new iovec_memdup() helper

iovec-util: add new iovec_memcmp() helper

iovec-util: add iovec_is_valid() helper

iovec-util: rework IOVEC_MAKE_STRING() to work with compound initialized input

This avoids the ({}) that IOVEC_MAKE_STRING() so far used and might
cause a memory corruption if the parameter passed in is itself allocated
via a compount initialized array or so.

Also, this makes sure both IOVEC_MAKE_STRING() and IOVEC_MAKE() accept
'const' parameters without this causing a compiler warning.

json: add more iovec helpers for serializing/deserializing binary data

update TODO

Merge pull request #30772 from yuwata/test-network-improvements

test-network: add more test cases and several cleanups

test: fix typo

Follow-up for 995bf013a1959d4fb5aed8b135740490888fc196.

man: fix typo

Follow-up for 7d93e4af8088fae7b50eb638c6e297fb8371e307.

vpick: fix typo

Follow-up for 76511c1bd32a262c76d462919083925c47cbd212.

login: noone -> no one

Follow-up for 59afe07c217c73e3c7c19fb06aef2ff7bf609fd2.

core/dbus-manager: fix typo

Follow-up for 84c01612de805d88875d4d91cfcf73cf10f99447.

string-util: fix typo

Follow-up for 63566c6b6ffbb747727db4d6f78c28547430d54f.

TODO: fix typo

Follow-up for 97c493f2140b207ace89e9e028949ceb254fbfc6.

Merge pull request #30728 from polarina/noda

Assign noDA attribute to TPM2 objects not dependant on a PIN

core: Add %D specifier for $XDG_DATA_HOME

We already have specifiers that resolve to $XDG_STATE_HOME, and
$XDG_CONFIG_HOME. $XDG_DATA_HOME is in a similar vein.

It allows units belonging to the user service manager to correctly look
into ~/.local/share. I imagine this would be most useful inside of
condition checks (i.e. only run a service on session startup if some
data is not found in ~/.local/share) or in the inotify monitoring of a
.path unit

cryptenroll: change class in provided PKCS#11 URI if necessary

cryptenroll accepts only PKCS#11 URIs that match both a certificate and a private key in a token.
This patch allows users to provide a PKCS#11 URI that points to a certificate only, and makes possible to use output of some PKCS#11 tools directly.
Internally the patch changes 'type=cert' in the provided PKCS#11 URI to 'type=private' before storing in a LUKS2 header.

Fixes: #23479

network: do not make the implied default have the first priority

Follow-up for b732606950f8726c0280080c7d055a714c2888f5 and
6706ce2fd2a13df0ae5e469b72d688eaf643dac4.

If Network.ignore_carrier_loss_set flag is set, then the timeout value
is always used, hence the logic implemented by
b732606950f8726c0280080c7d055a714c2888f5 never worked.

core/cgroup: use designated initializer more, make dup source const

Merge pull request #30731 from poettering/logind-user-early

logind: rework the special casing we give root's sessions

Use .d path for PCRLOCK_KERNEL_*_PATH

Fix the path for the generated.pcrlock files for the cmdline and initrd
cases.  Without it the tool complains with:

    Failed to parse component file /var/lib/pcrlock.d/720-kernel-initrd.pcrlock, ignoring: Is a directory

Signed-off-by: Alberto Planas <aplanas@suse.com>

Merge pull request #30753 from aafeijoo-suse/special-refactor

tree-wide: use defines from special.h in some missing places

Merge pull request #30769 from AdrianVovk/statx-timestamp

stat-util: Add statx version of timespec_load

Merge pull request #30743 from bluca/coverity

Assorted coverity fixes

Merge pull request #30774 from mrc0mmand/test-tweaks

test: install correct kpartx udev rules (again) and dump cores of sanitized binaries

Merge pull request #30759 from mrc0mmand/resolved-followup

resolve: initialize `r` during OOM

journalctl: add --exclude-identifier option

creds-util: automatically append NUL byte to decrypted creds

Both as safety net and as convenience feature of a string is contained
in the credential

creds: rename "tpm2-absent" encryption to "null" encryption

This is what it is after all: encryption with a NULL key. This is more
descriptive, but also relevant since we want to use this kind of
credentials in a different context soon: for carrying pcrlock data into
a UKI. In that case we don#t want encryption, since the pcrlock data is
intended to help unlocking secrets, hence should not be a secret itself.

This only changes the code labels and the way this is labelled in the
output. We retain compat with the old name.

find-esp: adjust parameter indentating to our usual coding style

logind: use unlink_and_free() at once more place

json: drop redundant check

The same check is done exactly one line later, because this is one of
the things that json_variant_is_regular() checks.

As per: https://github.com/systemd/systemd/pull/30578/commits/fa9a6db478e3f0f2753e4633af6d0d4881707c2b#r1441792019

Merge pull request #30749 from poettering/tmpfiles-verb-fix

tmpfiles: correctly apply globbing when cleaning 'x' lines

Merge pull request #30758 from YHNdnzj/vpick-not-ptr

vpick: trivial follow-up

network/route: use nexthop_is_ready()

network/nexthop: wait for requests for group members being processed

This also split out the check as nexthop_is_ready().

network/nexthop: refuse id == 0 earlier

All requested nexthop has a non-zero ID.

ci: build with -O2 and -Wmaybe-uninitialized

According to the comment in meson.build this should be a supported
configuration, so let's test it in the CI as well.

shared: initialize a couple of values explicitly

As gcc has trouble figuring this itself with -O2 and -Wmaybe-initialized.

resolve: initialize `r` during OOM

Otherwise we'd use some garbage value in the error path.

../src/resolve/resolved-dns-query.c: In function ‘dns_query_accept’:
../src/resolve/resolved-dns-query.c:944:27: error: ‘r’ may be used uninitialized in this function [-Werror=maybe-uninitialized]
  944 |         q->answer_errno = -r;
      |                           ^~
cc1: all warnings being treated as errors

Follow-up for 9ca133e97a0.

test: allow sanitized binaries to dump a core

If a binary built with ASan crashes for a reason unrelated to ASan
stuff, we're left with pretty much nothing, as there is neither an ASan
trace nor a coredump. Let's make this slightly more debug-able by
allowing such binaries to dump a core, but without the huge shadow map
(we should be actually fine by just setting disable_coredump=0, since
use_madv_dontdump defaults to true, but let's play it safe and not
potentially dump a 16+ TB core file).

test: install correct kpartx udev rules on Ubuntu

Follow-up for 519f0074cf.

test-network: add test case about replacing nexthop

test-network: merge three tests for neighbor

To speed up tests.

test-network: show monotonic timestamp and drop hopstname from logs

tmpfiles: Use statx_timestamp_load

This is a new utility function recently added. Let's use it.

stat-util: Add statx version of timespec_load

statx_timestamp is, for all intents and purposes, the same as a struct
timespec. So, we can trivially convert it and call timespec_load on it.

This commit adds helper functions that do just that.

tmpfiles: add --purge switch

Any file/directory created by a tmpfiles.d will be deleted. Useful for
purge/factory reset patterns.

Assign noDA attribute to TPM2 objects not dependant on a PIN

All the keys are high-entropy keys that cannot be practically
bruteforced and thus don't require protection from dictionary attacks.
With the exception of PINs, of course, which are low-entropy and user
provided.

Note that a new enrollment is required for unlocking while in DA
lockdown to function. Existing enrollments are subject to DA lockout.

Fixes: #30330

shared/vpick: don't say "ptr" for TAKE_PICK_RESULT (struct)

vpick-tool: sort includes

logind: rework the special casing we give root's sessions

Let's add an explicit session class "user-early" for this, so that
change of behaviour on logind is primarily bound to the "class"
property, and not some explicit root checks. This has the benefit that
we can be more fine grained with implying this class: only do so for tty
sessions, not others.

logind: explain session class types a bit

Merge pull request #30744 from poettering/logind-trivial-tweaks

logind: 3 trivial cleanups

logind: do TTY idle logic only for sessions marked as "tty"

Otherwise things might be weird, because background sessions might
become "idle", wich doesn#t really make much sense.

This shouldn't change much in 99% of the cases, but slightly corrects
behaviour as it ensures only "primary"/"foreground" sessions get the
idle logic, i.e. where a user exists that could actually make it
non-idle.

update TODO

logind: don't make idle action timer accuracy more coarse than timeout

If we allow the timer accuracy to grow larger then the timeout itself
things are very confusing, because people might set a 1s time-out and we
turn that into 30s.

Hence, let's just cut off the 30s accuracy to the time-out itself, so
that we stay close to what users configured.

Merge pull request #30739 from poettering/pam-util-many

pam-util: add pam_get_item_many() to shorten some code

homed: when empty username is passed to bus calls, operate on client's UID

homed: fix home_count_bad_authentication() counting

We want to cover not only regular bad password entries, but also bad
recovery key entries. Hence let's move the list of errors into the
function, and add more.

homed: tone down log message about bad passwords a bit

We usually start out out authentication cycles with an "empty" password
attempt, to give homed the chance to authenticated via any plugged in
tokens. Hence frequently the first attempt will just fail, which is no
reason to complain about.

Merge pull request #30610 from YHNdnzj/logind-serialize-pidref

logind: serialize session leader pidfd to fdstore