sd-journal: introduce journal_file_pin_object()

Previously, OBJECT_UNUSED was used for 'pinning' the mmap cache for an
object. But, OBJECT_UNUSED is also used for reading object when type
cannot be determined before read, e.g. when reading the tail object.

Let's introduce another category for pinning mmap cache, and use it when
we want to temporary pin an object.

mmap-cache: introduce window_matches_by_addr()

It is similar to window_matches(), but checks the mapped address.
Mostly preparation for later commits.

mmap-cache: introduce enum MMapCacheCategory

Then rename context -> category.

No functional change, just refactoring and modernization.

mmap-cache: drop Context and boolean flags in Window

No functional change, just refactoring.

test: wait for the nvme device to appear

Also, use a /dev/disk/by-id/ symlink to the device, which should be
predictable, unlike the /dev/nvmeX stuff.

Merge pull request #29848 from poettering/base64url-too

hexdecoct: implicitly parse URL-safe base64 format, too

fuzz: limit the interface definition input size to 64K

To avoid timeouts with larger inputs.

Resolves: #29856

Update NEWS

test: add a couple of tests for systemd-bsod

Add some basic tests for systemd-bsod, mainly to have something to build on
for #29056.

Revert "test: don't panic on soft lockups"

Let's put this back in, as it could help with occasional machine lock ups
on overloaded systems (and it didn't help with the original issue
anyway).

This reverts commit 3a89904e45cbbd96fb1c5d0768de5e5fcdaaa508.

Merge pull request #29839 from goenkam/maanya/portabled_support_for_confext

portable: add support for confext

test: add test for the combined base64/base64url decoder

hexdecoct: implicitly parse URL-safe base64 format, too

JSON-I (RFC 7493) suggests to use the URL safe base64 alphabet, rather
than the regular one when encoding binary data in JSON strings. We
generally uses the regular alphabet though.

Let's be tolerant in what we parse however: simply accept both formats
when we parse base64.

This does nothing about base64 generation though, only about parsing.

Merge pull request #29847 from dtardon/udevadm-control-arg-processing

Streamline `udevadm control` arg. handling

cryptsetup: do not print (null) if pkcs11 uri not set

The pkcs11 uri is no set if the smart card is not inserted while using
`pkcs11-uri=auto` with libcryptsetup plugins.

```
> systemd-cryptsetup attach cr_data /dev/sda1 - pkcs11-uri=auto
Set cipher aes, mode xts-plain64, key size 512 bits for device /dev/sda1.
Security token (null) not present for unlocking volume Linux filesystem (cr_data), please plug it in.
```

udev-ctrl: drop the unused maybe_disconnected stuff

udevadm-control: return early if --exit is used

All the following commands would just fail with -ENOANO anyway, hence
there's no point in sending them. And it allows us to shave off some
error handling code.

udevadm-control: parse all args in advance

This is mostly just refactoring to make the code more manageable and
extendable. It doesn't introduce any semantic changes, but it
"optimizes" the communication with udevd a bit:
* If an option is used multiple times, only one command will be sent. If
  the option takes a value, the value of the final appearance of the
  option is used. The only exception is --property, which is additive by
  nature.
* Options --start-exec-queue and --stop-exec-queue are handled together.
  Only one of START_QUEUE/STOP_QUEUE commands will be sent to udevd even
  if both options appear on the command line.

portable: add support for confext

Support confexts for portable services

core: check that extensions have the hierarchies before overlaying

Before confext was added, hierarchies always existed in extensions. Now
they are optional - i.e., a sysext will not contain /etc/. So mixing a
confext and a sysext fails, as we'll try to create an overlay with /etc/
from the base, the confext and the sysext, but the latter doesn't have
the directory.

After the source images are mounted, check that each hierarchy exists in
each source image before creating the overlay, and drop them if they
don't.

Follow-up for 55ea4ef096543

strv: add strv_free_many() to be used with CLEANUP_ARRAY()

NEWS: add entry for vmspawn

NEWS: fix typo and reword meson option entry

update NEWS

namespace: fix whitespace mixup

more additions to NEWS

Merge pull request #28891 from poettering/pcrlock

new pcrlock tool for generating signed PCR policies for PCR 0, 1, 4, …

bsod: restore vt on SIGTERM/SIGINT

Let's install a simple no-op signal handler without SA_RESTART for
SIGINT/SIGTERM, which allows us to interrupt read_one_char() and follow
it up with a proper cleanup, including restoring the vt to the original
state.

Resolves: #29478

virt: also check if PID1 is in chroot

In PID1, running_in_chroot() is called by safety_checks(), but without
this change, the check did nothing.

nspawn: allow disabling os-release check

Introduce a new env variable $SYSTEMD_NSPAWN_CHECK_OS_RELEASE, that can
be used to disable the os-release check for bootable OS trees. Useful
when trying to boot a container with empty /etc/ and bind-mounted /usr/.

Resolves: #29185

Merge pull request #29508 from CodethinkLabs/systemd-vmspawn-pr

systemd-vmspawn implementation that only supports disk images

Merge pull request #29840 from poettering/cryptsetup-tweaks-nore

two cryptsetup bugfixes and some clean-ups

nspawn: fix two failure paths

We need to go to "finish" rather than just return.

All our exit paths got this right, except two.

Merge pull request #29836 from poettering/libiptc-dlopen

make libiptc dep a dlopen() one

update TODO

Merge pull request #29827 from yuwata/network-install-default-configs

network: add meson option to install default configs

update TODO

test: add pcrlock integration test

(Contains various test additions added by @mrc0mmand)

man: document pcrlock

units: add units that put together and install a TPM2 PCR policy at boot

(This is disabled by default, for now)

pcrlock: add pre-defined pcrlock files

These cover well-known measurements done by the UEFI firmware or
systemd.

tree-wide: hook everything up with pcrlock policy

Make sure cryptenroll and repart can enroll TPM2 policies with pcrlock
logic.

Make sure cryptsetup can unlock TPM2 policies with pcrlock in effect.

pcrlock: add new pcrlock tool

tpm2-util: add common array for TPM2 hash algorithms

This is useful to enumerate all hash algorithms we want to predict
measurements for.

tpm2-util: make various marshalling/unmarshalling calls static, as we only use them internally in tpm2-util.c

Note, some of these were just added in this same PR. We only exported
them initially to make sure gcc doesn't complained about unused local
symbols.

tpm2-util: add generic helpers for sealing/unsealing data

These helpers tpm2_seal_data()/tpm2_unseal_data() are useful for
sealing/unsealing data without any further semantics around them. This
is different from the existing tpm2_seal()/tpm2_unseal() which seal with
a specific policy and serialize in a specific way, as we use it for disk
encryption.

These new helpers are more generic, they do not serialize in a specific
way or imply policy, they are just the core of the sealing/unsealing.

(We should look into porting tpm2_seal()/tpm2_unseal() onto these new
helpers, but this isn#t trivial, since the classic serialization we use
uses a merged marshalling of private/public key, which we'd have to
change in one way or another)

tpm2-util: add helper for creating/removing/updating NV index with stored policy

This is the primary core of what pcrlock is supposed to do eventually:
maintain a TPM2 policy hash inside an NV index which we then can
reference via a PolicyAuthorizeNV expression to lock other objects
against it.

tpm2-util: add calls for calculating/submitting PolicyAuthorizeNV + PolicyOR TPM2 policies

tpm2-util: add helper that calculates name of NV index

tpm2-util: add helper for setting TPM2B_AUTH in binary

tpm2-util: add helpers for marshalling NV index public areas

tpm2-util: add helpers for marshalling public/private keys

Note: we export these new symbols for now. A later commit in this PR
will make them static again. The only reason they are exported here is
to make sure gcc doesn't complain about unused static symbols, and I
really wanted to commit them in a separate commit.

tpm2-util: export a couple of functions we'd like to use for pcrlock

tpm2-util: pick up a few new symbols from tpm2-tss

tpm2-util: add helper for returning path to EFI event log blob

tpm2-util: add various uefi event log definitions

efivars: add UEFI 'database' variable uuid

man: mention DHCPv4 Router option is ignored when Classless Static Routes option is received

For #29564.

cryptsetup: pass AskPasswordFlags down into pkcs11 module

The pkcs11 cryptsetup token module is a bit different from the tpm2 +
fido2 ones: it asks for the PIN itself, rather than bubbling up a
request to get a PIN. That's because it might need multiple, and because
we don't want to destroy a the pkcs11 session half-way and thus risk
increasing pin counters.

Hence, we sometimes ask for PINs from our code, rather than let the
libcryptsetup caller do that. So far we didn't pass the AskPasswordFlags
field down into the module though. Fix that.

Fixes: #28665

update TODO

firewall: allow selecting firewall backend via env var

firewall: make sure firewall-util-private.h includes everythin it needs

firewall: make libiptc dependency a dlopen() one

dlfcn-util: add two new macros for making it easier to create "sym_xyz" indirect function call variables

Let's use "typeof" to make it easier to generate "sym_xyz" wrappers of
functions exposed by libraries.

Update NEWS

meson: /etc/systemd/network is also used by udevd

network: add meson option to rename .example files on install

Also this renames 80-ethernet.network.example -> 89-ethernet.network.example,
to make it have lower precedence over other default .network files for
Ethernet interfaces.

Closes #29765.

man: mention that network files should be prefixed with number smaller than 70

network: make generated configs have higher precedence over default configs

We use 80- for default .network files. So, the generated files from the
kernel command line should have smaller prefix.

network: disable IPv6AcceptRA= in several default config

Also,
- drop DHCP=no, as it is the default setting,
- enable IPv6SendRA= for wifi access point,
- enable MulticastDNS= for wifi adhoc mode.

meson: install newly added example .network file

Follow-up for e6ba085398866ab05511fe748b8e9f7cbe85148e.

cryptsetup: disable activation via token plugin if we shall measure the volume key

if we allow cryptsetup to activate a volume via token plugin we never
get access to the volume key, which we'd like to measure. Hence disable
token plugins in that case.

(I tempted to say we probably should disable them entirely, and only use
them if classic cryptsetup is used, but that's a discussion for another
day.)

Fixes: #29790

cryptsetup: honour configured ask password flags also when activating via token

See: #28665 (this is not a fix for that PR though)

cryptsetup: rename usrptr to userdata

Across our codebase we call the generic pointer "userdata", not
"userptr". Do so here too.

varlink: limit the maximum nesting depth

Let's limit the maximum nesting depth for structure definitions to 64 to
avoid stack overflows with very deep definitions.

Resolves: #29589

Merge pull request #29792 from poettering/resolved-monitor-packet

resolved: make sure "resolvectl monitor" can properly deal with stub …

crytsetup: allow overriding the token .so library path via an env var

I tried to get something similar upstream:

https://gitlab.com/cryptsetup/cryptsetup/-/issues/846

But no luck, it was suggested I use ELF interposition instead. Hence,
let's do so (but not via ugly LD_PRELOAD, but simply by overriding the
relevant symbol natively in our own code).

This makes debugging tokens a ton easier.

meson: make sure we never actually link to libxenctrl

We don't make use of any of its symbols, we just want the headers, hence
make sure we never try to link against it.

tree-wide: never link directly against p11kit

We go via dlopen() at most places, but forgot some. Cover the missing
cases too.

Merge pull request #29748 from poettering/tgtmode

Storage target mode, inspired by "target disk mode" á la MacOS, but with NVMe-TCP

test: check that `resolvectl monitor --json` generates valid JSON

Provides coverage for #29580.

vmspawn: created man page

vmspawn: added initial code for vmspawn

vmspawn-settings.c is currently empty but this will be used in future to
house code for parsing settings from a file

string-util: add on_off

nspawn: moved nspawn-creds.[ch] to shared/machine-credential.[ch]

This was done in order to allow sharing of this code between
systemd-nspawn and systemd-vmspawn.

mount-util: call CLEANUP_ARRAY after allocating array

Coverity gets confused if it is called before.

CID#1523757

update TODO

update NEWS

test: add integration test for systemd-storagetm

man: add docs for new storagetm service

storagetm: add new systemd-storagetm component

This implements a "storage target mode", similar to what MacOS provides
since a long time as "Target Disk Mode":

        https://en.wikipedia.org/wiki/Target_Disk_Mode

This implementation is relatively simple:

1. a new generic target "storage-target-mode.target" is added, which
   when booted into defines the target mode.

2. a small tool and service "systemd-storagetm.service" is added which
   exposes a specific device or all devices as NVMe-TCP devices over the
   network.  NVMe-TCP appears to be hot shit right now how to expose
   block devices over the network. And it's really simple to set up via
   configs, hence our code is relatively short and neat.

The idea is that systemd-storagetm.target can be extended sooner or
later, for example to expose block devices also as USB mass storage
devices and similar, in case the system has "dual mode" USB controller
that can also work as device, not just as host. (And people could also
plug in sharing as NBD, iSCSI, whatever they want.)

How to use this? Boot into your system with a kernel cmdline of
"rd.systemd.unit=storage-target-mode.target ip=link-local", and you'll see on
screen the precise "nvme connect" command line to make the relevant
block devices available locally on some other machine. This all requires
that the target mode stuff is included in the initrd of course. And the
system will the stay in the initrd forever.

Why bother? Primarily three use-cases:

1. Debug a broken system: with very few dependencies during boot get
   access to the raw block device of a broken machine.

2. Migrate from system to another system, by dd'ing the old to the new
   directly.

3. Installing an OS remotely on some device (for example via Thunderbolt
   networking)

(And there might be more, for example the ability to boot from a
laptop's disk on another system)

Limitations:

1. There's no authentication/encryption. Hence: use this on local links
   only.

2. NVMe target mode on Linux supports r/w operation only. Ideally, we'd
   have a read-only mode, for security reasons, and default to it.

Future love:

1. We should have another mode, where we simply expose the homed LUKS
   home dirs like that.

2. Some lightweight hookup with plymouth, to display a (shortened)
   version of the info we write to the console.

To test all this, just run:

    mkosi --kernel-command-line-extra="rd.systemd.unit=storage-target-mode.target" qemu

glyph-util: add computer disk + world emoji

sd-netlink: add call to query sd_event object an sd_netlink object is attached to

This mimics a similar call sd_bus_get_event() that already exists for
sd-bus.

blockdev-util: export block_device_get_originating()

udevadm-lock: switch things over to lock_generic_with_timeout()

This replaces the local implementation of a timeout file lock with our
new generic one.

Note that a comment in the old code claimed we couldn't use alarm()-like timeouts,
but htat's not entirely true: we can if we use SIGKILL, and thus know
for sure that the process will be dead in case the timer is hit before
we actually enter the file lock syscall. But we also know it will be
delivered if we hit after.

lock-util: add a new lock_generic_with_timeout() helper

This is just like lock_generic(), but applies the lock with a timeout.
This requires jumping through some hoops by executing things in a child
process, so that we can abort if necessary via a timer. Linux after all
has no native way to take file locks with a timeout.

process-util: add new FORK_DEATHSIG_SIGKILL flag, rename FORK_DEATHSIG → FORK_DEATHSIG_SIGTERM

Sometimes it makes sense to hard kill a client if we die. Let's hence
add a third FORK_DEATHSIG flag for this purpose: FORK_DEATHSIG_SIGKILL.

To make things less confusing this also renames FORK_DEATHSIG to
FORK_DEATHSIG_SIGTERM to make clear it sends SIGTERM. We already had
FORK_DEATHSIG_SIGINT, hence this makes things nicely symmetric.

A bunch of users are switched over for FORK_DEATHSIG_SIGKILL where we
know it's safe to abort things abruptly. This should make some kernel
cases more robust, since we cannot get confused by signal masks or such.

While we are at it, also fix a bunch of bugs where we didn't take
FORK_DEATHSIG_SIGINT into account in safe_fork()

fd-util: add new FORMAT_PROC_PID_FD_PATH() helper

This is just like FORMAT_PROC_FD_PATH() but goes via the PID number
rather than the "self" symlink.

This is useful whenever we want to generate a path that is useful
outside of our local scope.

mkosi: explicitly disable KVM in GHA runs

mkosi detects whether /dev/kvm is available and uses it if it is. But
some GHA hosts have it, but it's broken and not supported, so we need
to explicitly disable it.

NEWS: several updates for networking