tests: use relative paths in ExecStart= and friends

We want to retain *some* of the full paths in order to test more code paths.
But the default should be to use the command name only. This makes the tests
less visually cluttered.

cocci: merge mfree.cocci and mfree_return.cocci (#30838)

It makes sense that these should be one file instead of two, as they both involve mfree()

simplify bitwise checking (#30722)

Some of these checks before bitwise operations are redundant and compilers
do not always recognize them, so let's simplify the code to make the intentions
clearer.

Merge pull request #30837 from poettering/varlink-over-ssh

varlink: add "ssh:" transport for talking to remote servers

socket-util: modernize socknameinfo_pretty() a bit

discover-image: don't accidentally set /run/systemd/nspawn/ access mode too strict

mkdir_p() uses the specified access mode for all dirs that are missing,
hence if we call it on /run/systemd/nspawn/locking and
/run/systemd/nspawn/ doesn't exist yet, we#d create it 0700 here. But
that was never the intention, and all other code creating that dir sets
the mode to 0755. Fix this here to match the rest.

sd-bus: also intrepret $SYSTEMD_SSH env var

To make things symmetric to the $SYSTEMD_SSH logic that the varlink
transport supports, let's also honour such a variable in sd-bus when
picking ssh transport.

varlink: add "ssh:" transport

This uses openssh 9.4's -W support for AF_UNIX. Unfortunately older versions
don't work with this, and I couldn#t figure a way that would work for
older versions too, would not be racy and where we'd still could keep
track of the forked off ssh process.

Unfortunately, on older versions -W will just hang (because it tries to
resolve the AF_UNIX path as regular host name), which sucks, but hopefully this
issue will go away sooner or later on its own, as distributions update.

Fedora is still stuck at 9.3 at the time of posting this (even on
Fedora), even though 9.4, 9.5, 9.6 have all already been released by
now.

Example:
        varlinkctl call -j ssh:root@somehost:/run/systemd/io.systemd.Credentials io.systemd.Credentials.Encrypt '{"text":"foobar"}'

varlink: turn off O_NONBLOCK in exec: transport

If we invoke our own varlink implementation we'll turn on O_NONBLOCK
right-away again, hence there is little point in turning it off,
however, I generally think we probably should always path this fd as
blocking, since that is the default after all, and invoked processes
might want to use it like that.

Or to see this differently: I think the varlink fd passed for activation
in many ways is similar to and as fundamental as stdin/stderr/stdout,
hence should probably be synchronous by default.

process-util: turn off O_NONBLOCK on stdio fds when rearranging fds

We often create our fds O_NONBLOCK, but when we want to invoke some
program with them as stdin/stdout/stderr we really should turn it off
again.

env-util: add new setenvf() helper

And convert some pieces of code over.

hexdecoct: make unbase64mem and unhexmem always use SIZE_MAX

tmpfiles: fix memory leak in arg_exclude_prefixes

When using the `--image` or `-E` options, `arg_exclude_prefixes` is extended via
the `exclude_default_prefixes` function, which calls `strv_extend_strv`, adding
values using `strdup` that must be freed on exit.

Also changing `arg_include_prefixes` to use the same model, although there is no
leak here.

bus-polkit: fix memory leak

We need to destroy the hashmap entry keyed by the varlink object in case
this is a varlink request.

Follow-up for: d04c1a1c8e7c95daa483d8d52d5fc4c25fbc67f2

timesync: IPTOS_LOWDELAY --> IPTOS_DSCP_EF

Deprecated IPTOS_LOWDELAY is ignored by most of today's
network equipment that only ever care about DSCP.

Use the DSCP found in other NTP implementations and set the appropiate
TCLASS for IPv6.

virt: fix detection of avx2 and friends

To get the CPUID with EAX=7, we need explicitly set 0 to ECX.

From Intel® Architecture Instruction Set Extensions Programming
Reference and Related Specifications,
===
Leaf 07H output depends on the initial value in ECX.
If ECX contains an invalid sub leaf index, EAX/EBX/ECX/EDX return 0
===

Fixes #30822.

Merge pull request #30827 from poettering/network-generator-creds

network-generator: pick up .netdev/.link/.network configuration via c…

Merge pull request #30787 from poettering/hostnamed-cid

hostnamed: expose AF_VSOCK CID among hostnamed/hostnamectl info

network-generator: pick up .netdev/.link/.network configuration via credentials

To me this is the last major basic functionality that couldn't be
configured via credentials: the network.

We do not invent any new format for this, but simply copy relevant creds
1:1 into /run/systemd/network/ to open up the full functionality of
networkd to VM hosts.

hostnamed: expose local AF_VSOCK CID among other host info

This is a host identifier of major relevance, since it is how you
connect to this system if it is a VM, hence expose this nicely.

socket-util: add helper for querying the local AF_VSOCK CID

Merge pull request #30815 from yuwata/resolve-ixfr

resolve: NSCOUNT of DNS query may not be zero

test: check how systemd-resolved deals with zone transfers

Even though systemd-resolved doesn't support zone transfers (AXFR/IXFR),
it should still just refuse such requests without choking on them.

See: https://github.com/systemd/systemd/pull/30809#issuecomment-1880102804

test: merge config sections

test: zone-check with --force to fail on warnings

resolve: NSCOUNT of DNS query may not be zero

This also separates check for DNS and LLMNR, as the existing comments
are for LLMNR, not DNS. And this moves the comment for mDNS.

Fixes the issue reported at
https://github.com/systemd/systemd/pull/30809#issuecomment-1880102804.

logind: don't use assertion for deserialized_pid

Follow-up for 9d5b6901007e6717c6a37c49eb73bc0260e93893

Otherwise if session_load() went wrong, and we got pidfd
from fdstore, the assertion is triggered.

test: sync the "foobaz" namespace as well

Otherwise we might be too fast, resulting in failed namespace check
later:

[    7.351453] testsuite-44.sh[401]: + journalctl --list-namespaces
[    7.351784] testsuite-44.sh[402]: + grep foobar
[    7.358851] testsuite-44.sh[402]: foobar
[    7.359598] testsuite-44.sh[403]: + journalctl --list-namespaces
[    7.359974] testsuite-44.sh[404]: + grep foobaz
[    7.369882] systemd[1]: testsuite-44.service: Failed with result 'exit-code'.

Follow-up for 68f66a1713.

TEST-24-CRYPTSETUP: depend on OpenSSL for testing PKCS#11 tokens

repart: don't crash when looping over dropped partitions

Properly skip over dropped partitions and make sure they don't affect
the final graphical output (for example by leaving empty "spaces" where
their definition file name would otherwise be).

Resolves: #30742

Merge pull request #30803 from yuwata/network-route-parser-trivial-cleanups

network/route: trivial cleanups for conf parsers

network/link: always join to the main interface when we receive IFLA_MASTER attribute

Otherwise, e.g. when we enumerate a bridge port first, then the bridge
main interface, then the port cannot be managed by the main interface.

Fixes #30682.

test: reinitialize arg_transport before parsing arguments

Since libfuzzer feeds a single fuzzing process with multiple inputs, we
might carry over arg_transport from a previous invocation, tripping over
the assert in acquire_bus():

+----------------------------------------Release Build Stacktrace----------------------------------------+
Assertion 'transport != BUS_TRANSPORT_REMOTE || runtime_scope == RUNTIME_SCOPE_SYSTEM' failed at src/shared/bus-util.c:284, function bus_connect_transport(). Aborting.
AddressSanitizer:DEADLYSIGNAL
=================================================================
==2739==ERROR: AddressSanitizer: ABRT on unknown address 0x00000ab3 (pc 0xf7f52509 bp 0xffdf74cc sp 0xffdf74b0 T0)
SCARINESS: 10 (signal)
    #0 0xf7f52509 in linux-gate.so.1
    #1 0xf703b415 in raise
    #2 0xf70233f6 in abort
    #3 0xf772ac0a in log_assert_failed systemd/src/basic/log.c:968:9
    #4 0xf77300d5 in log_assert_failed_return systemd/src/basic/log.c:987:17
    #5 0xf7432bbf in bus_connect_transport systemd/src/shared/bus-util.c:284:9
    #6 0x818cd17 in acquire_bus systemd/src/systemctl/systemctl-util.c:53:29
    #7 0x815fd3c in help_boot_loader_entry systemd/src/systemctl/systemctl-logind.c:431:13
    #8 0x819ca87 in systemctl_parse_argv systemd/src/systemctl/systemctl.c:863:37
    #9 0x8197632 in systemctl_dispatch_parse_argv systemd/src/systemctl/systemctl.c:1137:16
    #10 0x813328d in LLVMFuzzerTestOneInput systemd/src/systemctl/fuzz-systemctl-parse-argv.c:54:13
    #11 0x81bbe7e in fuzzer::Fuzzer::ExecuteCallback(unsigned char const*, unsigned int) /src/llvm-project/compiler-rt/lib/fuzzer/FuzzerLoop.cpp:611:15
    #12 0x81bb5b8 in fuzzer::Fuzzer::RunOne(unsigned char const*, unsigned int, bool, fuzzer::InputInfo*, bool, bool*) /src/llvm-project/compiler-rt/lib/fuzzer/FuzzerLoop.cpp:514:3
    #13 0x81bd42d in fuzzer::Fuzzer::ReadAndExecuteSeedCorpora(std::__Fuzzer::vector<fuzzer::SizedFile, std::__Fuzzer::allocator<fuzzer::SizedFile> >&) /src/llvm-project/compiler-rt/lib/fuzzer/FuzzerLoop.cpp:826:7
    #14 0x81bd62e in fuzzer::Fuzzer::Loop(std::__Fuzzer::vector<fuzzer::SizedFile, std::__Fuzzer::allocator<fuzzer::SizedFile> >&) /src/llvm-project/compiler-rt/lib/fuzzer/FuzzerLoop.cpp:857:3
    #15 0x81ac84c in fuzzer::FuzzerDriver(int*, char***, int (*)(unsigned char const*, unsigned int)) /src/llvm-project/compiler-rt/lib/fuzzer/FuzzerDriver.cpp:912:6
    #16 0x81d65c7 in main /src/llvm-project/compiler-rt/lib/fuzzer/FuzzerMain.cpp:20:10
    #17 0xf7024ed4 in __libc_start_main
    #18 0x806bdb5 in _start

Resolves: #30802

TODO: drop some implemented entries

network/route-metric: unify error messages

network/route-metric: pass attribute type to conf parsers

The passed attribute type will be used later.

This also
- rename conf parsers,
- sort gperf entries by the attr type.

No functional change, just refactoring and preparation for later commits.

network/route: move several conf parsers to networkd-route-metric.c and networkd-route-nexthop.c

This also split config_parse_route_boolean() into two:
for GatewayOnline= and boolean route metrics.

No functional change, just refactoring and preparation for later commits.

network/route: rename n -> route in conf parsers

network/route: do not invalidate [Route] section when an empty string is assigned to MultiPathRoute=

Merge pull request #30801 from yuwata/test-network-cleanups

test-network: several cleanups

test-network: do not call networkctl if networkd is in failed state

Otherwise, networkd may be restarted by DBus and we may get wrong
results.

test-network: introduce networkctl() and friends

test-network: use read_networkd_log() at one more place

test-network: sync journal before read

Otherwise, test cases that check journal entries, e.g. test_unit_file()
may fail.

nspawn: lock down access to notify socket a bit

On Linux only the "w" access bit is necessary to connect to an AF_UNIX
socket, hence let's only set that and nothing else, to limit exposure.

Just paranoia.

core: escape spaces in paths during serialization

Otherwise we split them incorrectly when deserializing them.

Resolves: #30747

Merge pull request #30794 from poettering/parse-vsock-better

socket-util: add more careful parsers for AF_VSOCK cid/port

udevadm: allow to override the default log level by environment variable

Previously, there was no way to override the log level for test and
test-builtin commands. Let's re-parse environment after setting the log
level to debug. Then, we can control the log level through environment
variable.

Merge pull request #30796 from mrc0mmand/journalctl-namespaces

journalctl: provide shell completion for --namespace=

dev-setup: rework make_inaccessible_nodes() around openat() and friends

Let's operate on fds rather than paths. Make some tweaks to the logic on
top:

1. Mark the resulting dir as read-only after we are done.
2. Use the new inode_type_to_string() calls to determine the inode
   names.
3. If an inode already exists, try to adjust the access mode, just in
   case.
4. Use FOREACH_ARRAY()

Merge pull request #30775 from yuwata/network-nexthop-is-ready

network: introduce nexthop_is_ready() helper function and use it

parse-helpers: allow port 0 for socket bind items

This patch adds a new parameter to parse_ip_port_range, giving callers
the option to allow ranges to have their min be 0 instead of 1.

This is then used by parse_ip_ports_token, intern used by
parse_socket_bind_item to allow port 0 when restricting bind system
calls with SocketBindDeny / SocketBindAllow.

With this, users running server software written using the golang
standard library will be able to effectively sandbox their software,
albeit with a small loss in security protections by allowing the
process to bind on a random port in the
/proc/sys/net/ipv4/ip_local_port_range.

Merge pull request #30791 from poettering/nspawn-restrict-run-host

nspawn: make some files we expose in /run/host/ in nspawn read-only via access mode

nspawn: add new common make_run_host() helper

This new helper creates the /run/host/ top-level dir inside the
container.

socket-util: add more careful parsers for AF_VSOCK cid/port

Let's handle the magic CIDs, and filter out invalid ports.

missing: add a bunch of vsock related defines

Merge pull request #30790 from poettering/null-creds-allow-with-tpm

creds: allow using NULL encryption if explicitly requested even if TPM is available, and add a comprehensive credential encryption/decrpytion test

shell-completion: provide completion for journalctl --namespace=

Resolves: #30381

shell-completion: fix mixed indent

journalctl: implement --list-namespaces

Apart from being useful on its own, this will be used in the following
commit for shell completions.

nspawn: set read-only access mode on two /run/host/ files

The diectory is mounted read-only anyway, hence this doesn't do much,
but let's lock this down on every level we can.

fileio: add new flag WRITE_STRING_FILE_MODE_0444

With this write_string_file() will create the file with 0444 access mode
(i.e. read-only).

test: add credential encryption/decryption test

creds-util: optionally, allow NULL credentials even with TPM

Merge pull request #30754 from poettering/iovecification

tpm2-util: convert various things over to struct iovec rather that data ptr + size

Merge pull request #30784 from poettering/json-dispatch-enum

json: add macro for automatically defining a dispatcher for an enum

Merge pull request #30785 from poettering/json-allow-extensions

json: add flag for allowing extension of json objects when dispatching, without otherwise being permissive

test: wait for verbose-success.service finished

Otherwise, the command 'echo' may not be invoked yet.

Follow-up for 25aa35d465cf4725bc3ebd2a919e7f39ecafb920.

tree-wide: use JSON_ALLOW_EXTENSIONS when disptching at various places

If we want to allow method replies to be extended without this breaking
compat, then we should set this flag. Do so at various method call
replies hence.

Also do it when parsing user/group records, which are expressly
documented to be extensible, as well as the hibernate JSON record.

json: add new dispatch flag JSON_ALLOW_EXTENSIONS

This is a subset of JSON_PERMISSIVE focussed on allowing parsing of
varlink replies that get extended, i.e. gain new fields, without
allowing more than that (i.e. without allowing missing fields, or bad
field types or such).

Merge pull request #29692 from H5117/fix_pkcs11_uri

cryptenroll: change class in provided PKCS#11 URI if necessary

oomd: make use of new JSON_DISPATCH_ENUM_DEFINE() macro

user-record: port over to JSON_DISPATCH_ENUM_DEFINE()

test: add unit test for JSON_DISPATCH_ENUM_DEFINE()

json: add macro for automatically defining a dispatcher for an enum

tpm2-util: more iovec'ification

Let's move more code to using struct iovec for passing around binary
chunks of data.

No real changes in behaviour, just refactoring.

test: add unit tests for the new iovec helpers

iovec-util: add CONST_IOVEC_MAKE_STRING()

iovec-util: add new iovec_memdup() helper

iovec-util: add new iovec_memcmp() helper

iovec-util: add iovec_is_valid() helper

iovec-util: rework IOVEC_MAKE_STRING() to work with compound initialized input

This avoids the ({}) that IOVEC_MAKE_STRING() so far used and might
cause a memory corruption if the parameter passed in is itself allocated
via a compount initialized array or so.

Also, this makes sure both IOVEC_MAKE_STRING() and IOVEC_MAKE() accept
'const' parameters without this causing a compiler warning.

json: add more iovec helpers for serializing/deserializing binary data

update TODO

Merge pull request #30772 from yuwata/test-network-improvements

test-network: add more test cases and several cleanups

test: fix typo

Follow-up for 995bf013a1959d4fb5aed8b135740490888fc196.

man: fix typo

Follow-up for 7d93e4af8088fae7b50eb638c6e297fb8371e307.

vpick: fix typo

Follow-up for 76511c1bd32a262c76d462919083925c47cbd212.

login: noone -> no one

Follow-up for 59afe07c217c73e3c7c19fb06aef2ff7bf609fd2.

core/dbus-manager: fix typo

Follow-up for 84c01612de805d88875d4d91cfcf73cf10f99447.

string-util: fix typo

Follow-up for 63566c6b6ffbb747727db4d6f78c28547430d54f.

TODO: fix typo

Follow-up for 97c493f2140b207ace89e9e028949ceb254fbfc6.

Merge pull request #30728 from polarina/noda

Assign noDA attribute to TPM2 objects not dependant on a PIN

core: Add %D specifier for $XDG_DATA_HOME

We already have specifiers that resolve to $XDG_STATE_HOME, and
$XDG_CONFIG_HOME. $XDG_DATA_HOME is in a similar vein.

It allows units belonging to the user service manager to correctly look
into ~/.local/share. I imagine this would be most useful inside of
condition checks (i.e. only run a service on session startup if some
data is not found in ~/.local/share) or in the inotify monitoring of a
.path unit

cryptenroll: change class in provided PKCS#11 URI if necessary

cryptenroll accepts only PKCS#11 URIs that match both a certificate and a private key in a token.
This patch allows users to provide a PKCS#11 URI that points to a certificate only, and makes possible to use output of some PKCS#11 tools directly.
Internally the patch changes 'type=cert' in the provided PKCS#11 URI to 'type=private' before storing in a LUKS2 header.

Fixes: #23479

network: do not make the implied default have the first priority

Follow-up for b732606950f8726c0280080c7d055a714c2888f5 and
6706ce2fd2a13df0ae5e469b72d688eaf643dac4.

If Network.ignore_carrier_loss_set flag is set, then the timeout value
is always used, hence the logic implemented by
b732606950f8726c0280080c7d055a714c2888f5 never worked.

core/cgroup: use designated initializer more, make dup source const

Merge pull request #30731 from poettering/logind-user-early

logind: rework the special casing we give root's sessions

Use .d path for PCRLOCK_KERNEL_*_PATH

Fix the path for the generated.pcrlock files for the cmdline and initrd
cases.  Without it the tool complains with:

    Failed to parse component file /var/lib/pcrlock.d/720-kernel-initrd.pcrlock, ignoring: Is a directory

Signed-off-by: Alberto Planas <aplanas@suse.com>

Merge pull request #30753 from aafeijoo-suse/special-refactor

tree-wide: use defines from special.h in some missing places