nspawn: mask out CAP_NET_ADMIN again if settings file turns off private networking

Fixes: #11755

man: document the various new options nspawn learnt

nspawn: use right constant for shifting for uint64_t caps

nspawn: add support for executing OCI runtime bundles with nspawn

This is a pretty large patch, and adds support for OCI runtime bundles
to nspawn. A new switch --oci-bundle= is added that takes a path to an
OCI bundle. The JSON file included therein is read similar to a .nspawn
settings files, however with a different feature set.

Implementation-wise this mostly extends the pre-existing Settings object
to carry additional properties for OCI. However, OCI supports some
concepts .nspawn files did not support yet, which this patch also adds:

1. Support for "masking" files and directories. This functionatly is now
   also available via the new --inaccesible= cmdline command, and
   Inaccessible= in .nspawn files.

2. Support for mounting arbitrary file systems. (not exposed through
   nspawn cmdline nor .nspawn files, because probably not a good idea)

3. Ability to configure the console settings for a container. This
   functionality is now also available on the nspawn cmdline in the new
   --console= switch (not added to .nspawn for now, as it is something
   specific to the invocation really, not a property of the container)

4. Console width/height configuration. Not exposed through
   .nspawn/cmdline, but this may be controlled through $COLUMNS and
   $LINES like in most other UNIX tools.

5. UID/GID configuration by raw numbers. (not exposed in .nspawn and on
   the cmdline, since containers likely have different user tables, and
   the existing --user= switch appears to be the better option)

6. OCI hook commands (no exposed in .nspawn/cmdline, as very specific to
   OCI)

7. Creation of additional devices nodes in /dev. Most likely not a good
   idea, hence not exposed in .nspawn/cmdline. There's already --bind=
   to achieve the same, which is the better alternative.

8. Explicit syscall filters. This is not a good idea, due to the skewed
   arch support, hence not exposed through .nspawn/cmdline.

9. Configuration of some sysctls on a whitelist. Questionnable, not
   supported in .nspawn/cmdline for now.

10. Configuration of all 5 types of capabilities. Not a useful concept,
    since the kernel will reduce the caps on execve() anyway. Not
    exposed through .nspawn/cmdline as this is not very useful hence.

Note that this only implements the OCI runtime logic itself. It does not
provide a runc-compatible command line tool. This is left for a later
PR. Only with that in place tools such as "buildah" can use the OCI
support in nspawn as drop-in replacement.

Currently still missing is OCI hook support, but it's already parsed and
everything, and should be easy to add. Other than that it's OCI is
implemented pretty comprehensively.

There's a list of incompatibilities in the nspawn-oci.c file. In a later
PR I'd like to convert this into proper markdown and add it to the
documentation directory.

nspawn: (void)ify more stuff

nspawn: refactor setuid code a bit

Let's separate out the raw uid_t/gid_t handling from the username
handling. This is useful later on.

Also, let's use the right gid_t type for group types wherever
appropriate.

capability: let's protect against the kernel eventually doing more than 64 caps

Everyone will be in trouble then (as quite widely caps are store in
64bit fields). But let's protect ourselves at least to the point that we
ignore all higher caps for now.

capability: deal with libcap being older than kernel

capability: add a way to get a uint64_t with all caps set

capability: keep CAP_SETPCAP while dropping bounding caps

The kernel only allows dropping bounding caps as long as we have
CAP_SETPCAP. Hence, let's keep that before dropping the bounding caps,
and afterwards drop them too.

Merge pull request #12012 from keszybz/generator-man-docs

Generator and documentation improvements

man: reorder and add examples to systemd-analyze(1)

The number of verbs supported by systemd-analyze has grown quite a bit, and the
man page has become an unreadable wall of text. Let's put each verb in a
separate subsection, grouping similar verbs together, and add a lot of examples
to guide the user.

man,units: document what user "default.target" is a bit

Merge pull request #11988 from keszybz/test-binaries-installation

Install more requires binaries for tests

Merge pull request #12009 from mrc0mmand/bump-partition-size-for-TEST-02-CRYPTSETUP

test: fix LUKS2 support

Merge pull request #11658 from yuwata/systemd-id128

id128: several cleanups

bash-completion: add systemd-id128 support

sd-id128: split the logic obtaining invocation ID from sd_id128_get_invocation()

id128: no command accepts additional arguments

analyze: reword explanation in critical-chain header

Let's try to make it a bit clearer.

test: use PBKDF2 instead of Argon2 in cryptsetup...

to reduce memory requirements for volume manipulation. Also,
to further improve the test performance, reduce number of PBKDF
iterations to 1000 (allowed minimum).

man: tell generator writers to provide authorship and source information

Our generators always put a comment who generated the file, but we didn't
recommend it to others.

Let's also strengthen the advice to use SourcePath=.

fstab-generator: do not print double header

  $ /run/systemd/generator/dev-mapper-fedora_krowka\x2dswap.swap
  # Automatically generated by systemd-fstab-generator

  # Automatically generated by systemd-fstab-generator

  [Unit]
  ...

test: bump the second partition size to 50MB

10MB is not enough for a LUKS2 partition.

tree-wide: spell "lifecycle" without hyphen everywhere

We had 10 instances of unhyphentated spelling, and 4 of the hyphenated one.
Consistency trumps ispell.

Add accelerometer orientation quirk for the MYRIA MY8307 2-in-1.

Merge pull request #12002 from keszybz/man-headers

Man headers

tests: install /usr/bin/dbus-broker when using dbus-broker

We'd install the service file, and then dbus-broker-launcher because it is
mentioned in ExecStart=, but not the main executable, so nothing would work.
Let's just install dbus-broker executables if found. They are small, so this
doesn't matter much, and is much easier than figuring the exact conditions
under which dbus-broker will be used instead of dbus-daemon.

Merge pull request #11989 from poettering/minimal-portable-image

various documentation updates

Merge pull request #11785 from dvdhrm/implicit-sasl

sd-bus: allow cross-uid-namespace connections

man: say explicitly which settings are not available in --user services

Fixes: #3944

man: document that if the main process exits after SIGTERM we go directly to SIGKILL

Fixes: #8122

networkd: clarify that IPv6 RA uses our own stack, no the kernel's

Fixes: #8906

man: mention O_NOCTTY and it's importance in daemon(7)

Fixes: #9164

docs: adjust the spec a bit with firmware authros in mind

This borrows heavily from Nico Huber's
https://github.com/systemd/systemd/pull/10398, but makes a number of
changes.

Replaces: #10398

man: document the network interface size limits --network-veth= enforces

Fixes: #10721

man: document that Anonymize=yes makes DHCP leases grow in size

Fixes: #11551

docs: comprehensively document what a minimal portable service image needs to include

The docs were incomplete on this. Let's fix that.

Fixes: #11870

Merge pull request #12000 from poettering/split-more-util

split more files in src/basic/

man: use same header for all files

The "include" files had type "book" for some raeason. I don't think this
is meaningful. Let's just use the same everywhere.

$ perl -i -0pe 's^..DOCTYPE (book|refentry) PUBLIC "-//OASIS//DTD DocBook XML V4.[25]//EN"\s+"http^<!DOCTYPE refentry PUBLIC "-//OASIS//DTD DocBook XML V4.5//EN"\n  "http^gms' man/*.xml

man: standarize on one-line license header

No need to waste space, and uniformity is good.

$ perl -i -0pe 's|\n+<!--\s*SPDX-License-Identifier: LGPL-2.1..\s*-->|\n<!-- SPDX-License-Identifier: LGPL-2.1+ -->|gms' man/*.xml

sd-bus: skip sending formatted UIDs via SASL

The dbus external authentication takes as optional argument the UID the
sender wants to authenticate as. This uid is purely optional. The
AF_UNIX socket already conveys the same information through the
auxiliary socket data, so we really don't have to provide that
information.

Unfortunately, there is no way to send empty arguments, since they are
interpreted as "missing argument", which has a different meaning. The
SASL negotiation thus changes from:

    AUTH EXTERNAL <uid>
    NEGOTIATE_UNIX_FD                   (optional)
    BEGIN

to:

    AUTH EXTERNAL
    DATA
    NEGOTIATE_UNIX_FD                   (optional)
    BEGIN

And thus the replies we expect as a client change from:

    OK <server-id>
    AGREE_UNIX_FD                       (optional)

to:

    DATA
    OK <server-id>
    AGREE_UNIX_FD                       (optional)

Since the old sd-bus server implementation used the wrong reply for
"AUTH" requests that do not carry the arguments inlined, we decided to
make sd-bus clients accept this as well. Hence, sd-bus now allows
"OK <server-id>\r\n" replies instead of "DATA\r\n" replies.

Signed-off-by: David Rheinsberg <david.rheinsberg@gmail.com>

sd-bus: fix SASL reply to empty AUTH

The correct way to reply to "AUTH <protocol>" without any payload is to
send "DATA" rather than "OK". The "DATA" reply triggers the client to
respond with the requested payload.

In fact, adding the data as hex-encoded argument like
"AUTH <protocol> <hex-data>" is an optimization that skips the "DATA"
roundtrip. The standard way to perform an authentication is to send the
"DATA" line.

This commit fixes sd-bus to properly send the "DATA" line. Surprisingly
no existing implementation depends on this, as they all pass the data
directly as argument to "AUTH". This will not work if we want to pass
an empty argument, though.

Signed-off-by: David Rheinsberg <david.rheinsberg@gmail.com>

sd-bus: avoid magic number in SASL length calculation

Lets avoid magic numbers and use a constant `strlen()` instead.

Signed-off-by: David Rheinsberg <david.rheinsberg@gmail.com>

main: use _exit() rather than exit() in code potentially caled from signal handler

util: split out nulstr related stuff to nulstr-util.[ch]

util: move some raw memory functions from string-util.h → memory-util.h

util: don't include util.h from def.h

Nothing it defines is used in it.

util: move dbus specific definition into bus-internal.h

It shouldn't be defined globally, since it's pretty much an
implementation detail of DBus.

util: split out kbd related stuff

This stuff is neither generic enough to be in def.h, nor really has much
to do with locale, hence give it its own .c/.h file pair.

util: move display_is_local() to pam_systemd.c, its only user

It's quite specific anyway, hence let's move this where it's used

util: split out errno related stuff

util: split out plymouth related stuff

Merge pull request #11985 from poettering/clean-dir

some rafactoring in systemctl/bus-unit-util

units: update catalog after systemd-tmpfiles runs

`systemd-journal-catalog-update.service` writes to `/var`. However, it's
not explicitly ordered wrt `systemd-tmpfiles-setup.service`, which means
that it may run before or after.

This is an issue for Fedora CoreOS, which uses Ignition. We want to be
able to prepare `/var` on first boot from the initrd, where the SELinux
policy is not loaded yet. This means that the hierarchy under `/var` is
not correctly labeled. We add a `Z /var - - -` tmpfiles entry so that it
gets relabeled once `/var` gets mounted post-switchroot.

So any service that tries to access `/var` before `systemd-tmpfiles`
relabels it is likely to hit `EACCES`.

Fix this by simply ordering `systemd-journal-catalog-update.service`
after `systemd-tmpfiles-setup.service`. This is also clearer since the
tmpfiles entries are the canonical source of how `/var` should be
populated.

For more context on this, see:
https://github.com/coreos/ignition/issues/635#issuecomment-446620297

Merge pull request #11993 from poettering/resolved-stub-edns-size

some resolved stub dns reply fixes

Re-add uaccess tag for /dev/dri/renderD*

Setting an access mode != 0666 is explicitly supported via -Dgroup-render-mode
In such a case, re-add the uaccess tag.

This is basically the same change that was done for /dev/kvm in
commit fa53e24130af3a389573acb9585eadbf7192955f and
ace5e3111c0b8d8bfd84b32f2c689b0a4d92c061
and partially reverts the changes from
4e15a7343cb389e97f3eb4f49699161862d8b8b2

man: provide an example how to plug systemd-mount into udev

Prompted by: #11982

Merge pull request #11971 from keszybz/kernel-install-directory

Make kernel-install create entry directory

Merge pull request #11968 from yuwata/network-l2tp

network: introduce L2TP tunnel

hwdb: Fix airplane mode triggering when resuming HP Spectre x360 13

On these devices the key randomly fires during/after suspend/resume
triggering spurious airplane mode changes. The scancode simply needs to
be ignored.

man: mention that DynamicUser= should not be mixed with ReadWriteDirectory= or AF_UNIX dir fd passing

bootctl: use path_join() to join paths

We would say "/boot/efi//loader/entries"...

man: be even more explicit that RestartPreventExitStatus= does not affect ExecStartPre=

The man page was already pretty clear about this, but apparently not
clear enough, let's hence extend this further.

Fixes: #11868

test-network: add tests for L2TP

network: wait for L2TP tunnel to be created before creating sessions

And if failed to create L2TP tunnel, then do not try to create sessions.

netlink: support NLMSG_ERROR message in genl

This resolves the following log message after L2TP tunnel or session is
created:
```
sd-netlink: ignored message with unknown type: 2
```

network: automatically pick an address on link when L2TP.Local= is not specified

This makes L2TP.Local= support an empty string, 'auto', 'static', and
'dynamic'. When one of the values are specified, a local address is
automatically picked from the local interface of the tunnel.

networkd: Introduce l2tp tunnel

This works allows networkd to configure l2tp tunnel.
See http://man7.org/linux/man-pages/man8/ip-l2tp.8.html

network: introduce new netdev create type NETDEV_CREATE_AFTER_CONFIGURED

It will be used to support L2TP tunnel in later commits.

network: introduce netdev_get_create_type() helper function

network: do not call link_joined() when not all netdevs are configured

If some of stacked netdevs are already configured, then link_joined()
is called before netdevs are fully configured.

resolved: if we can't append EDNS OPT RR, then indicate truncation to stub client

We do so for any other RR we can't add, do this here too.

Fixes: #11625

resolved: don't let EDNS0 OPT dgram size affect TCP

Fixes: #11884

resolved: don't follow cnames if we already noticed truncation

virt: detect WSL environment as a container (id: wsl)

bus-unit-procs: use empty_or_root() where appropriate

bus-unit-util: split out code that shows a unit's process tree

The code is complex enough to deserve its own .c file. Let's split this
out.

shared: split out code to wait for jobs to complet into its own source file

It's complex enough and quite a few functions. Let's hence split this
out.

No code change, just some rearranging of source files.

systemctl: drop unnecessary {}

systemctl: use strv_consume() where appropriate

systemctl: minimize scope of 'p'

execute: use path_join() where appropriate

bus-unit-util: insist on full initialization

bus-unit-util: never call into log_job_error_with_service_result() if we are not a service

The call can't handle non-services, hence don't bother.

bus-unit-util: move explanations array to inner scope

It's specific to service units, hence let's minimize the scope since it
has no validity outside of the log message generation for service units.

bus-unit-util: use structure initialization

bus-unit-util: use free_and_strdup() where we can

systemctl: refactor code to watch unit ActiveState a bit

let's split out one function, to make this reusable

tests: add tests for embedded newlines in /proc/cmdline

Prompted by: #7097

bootspec: don't log in boot_entries_load_config_auto() about no ESP

Let's do it in the caller instead. That way, logind can stay silent
about it.

Fixes: #11950

test: avoid double-fsck'ing of the rootfs on Arch

Since systemd 206 the combination of systemd and mkinitcpio
causes, under certain conditions, the rootfs to be double fsck'd.

Symptoms:
```
:: performing fsck on '/dev/sda1'
systemd: clean, 3523/125488 files, 141738/501760 blocks
********************** WARNING **********************
*                                                   *
*  The root device is not configured to be mounted  *
*  read-write! It may be fsck'd again later.        *
*                                                   *
*****************************************************
<snip>
[  OK  ] Started File System Check on Root Device
```

This occurs when neither 'ro' or 'rw', or only 'ro' is present
on the kernel command line. The solution is to mount the roofs
as read-write on the kernel command line, so systemd knows to not fsck
it again.

man: clarify that sd_journal_seek_head() seeks *before* the first entry

Merge pull request #11986 from poettering/util-split

some splitting up of util.[ch]

tests: install "head" in the image

For #11915.

networkd: Add bridge port capabilities

This PR adds the configuration switches for multicast flooding, neighbor
suppression and learning of a bridge port.

login: mark nomodeset fb devices as master-of-seat

When 'nomodeset' is specified, there's no DRM driver to take over from
efifb. This means no device will be marked as a seat master, so gdm will
never find a sufficiently active seat to start on.

I'm not aware of an especially good way to detect this through a proper
kernel API, so check for the word 'nomodeset' on the command line and
allow fbdev devices to be seat masters if found.

For https://bugzilla.redhat.com/show_bug.cgi?id=1683197.

util: split out sorting related calls to new sort-util.[ch]

util: split out memcmp()/memset() related calls into memory-util.[ch]

Just some source rearranging.

util: split out some stuff into a new file limits-util.[ch]