test: stop caching loopdev

It is more trouble than it is worth. The setup is of a loopback device
is very quick, so it's better to always create it when needed and
immediately drop afterwards.

test: perform partial cleanup after each test is run

This causes the unprivileged-nspawn-root directory to be removed
after running one test. The advantage is that we reduce the maximum
disk-space use quite a bit (47*400 MB → about 18GB).

test: simplify the Makefiles

has-overflow was a temporary hack that was removed in
844da987ef8b8c98f837d3328eeb3ed481f43835 (Oct. 2016). All the makefiles
can be the same, and all the targets can be handled identically.

test: run tests directly from the loopback device

Before, we'd copy the test tree into nspawn-root, and run the tests from there.
This is OK, and doesn't actually take much extra time. But it uses quite a lot
of extra disk space. So let's make things a bit more efficient by running
directly from the image file.

We still run the unprivileged nspawn tests from a copy. Once the kernel
implements fs shift, we can do away with that too.

test: wipe journal files after test

Otherwise they accumulate and create noise.

test: echo a message when the tests fails

Sometimes it is not clear from the preceding output that there was a
failure.

test/TEST-01: allow running w/o -Dinstall-tests=true

This is useful for sanitizer builds under CI, see
https://github.com/systemd/systemd-centos-ci/pull/202#issuecomment-566476592.

test: rework how images are created

Before, we'd create a separate image for each test, in
/var/tmp/systemd-test.XXXXX/rootdisk.img. Most of the images
where very similar, except that each one had some unit files installed
specifically for the test. The installation of those custom unit files
was removed in previous commits (all the unit files are always installed).

The new approach is to only create as few distinct images as possible.
We have:
default.img: the "normal" image suitable for almost all the tests
basic.img: the same as default image but doesn't mask any services
cryptsetup.img: p2 is used for encrypted /var
badid.img: /etc/machine-id is overwritten with stuff
selinux.img: with selinux added for fun and fun
and a few others:

ls -l build/test/*img
lrwxrwxrwx 1 root root 38 Mar 21 21:23 build/test/badid.img -> /var/tmp/systemd-test.PJFFeo/badid.img
lrwxrwxrwx 1 root root 38 Mar 21 21:17 build/test/basic.img -> /var/tmp/systemd-test.na0xOI/basic.img
lrwxrwxrwx 1 root root 43 Mar 21 21:18 build/test/cryptsetup.img -> /var/tmp/systemd-test.Tzjv06/cryptsetup.img
lrwxrwxrwx 1 root root 40 Mar 21 21:19 build/test/default.img -> /var/tmp/systemd-test.EscAsS/default.img
lrwxrwxrwx 1 root root 39 Mar 21 21:22 build/test/nspawn.img -> /var/tmp/systemd-test.HSebKo/nspawn.img
lrwxrwxrwx 1 root root 40 Mar 21 21:20 build/test/selinux.img -> /var/tmp/systemd-test.daBjbx/selinux.img
lrwxrwxrwx 1 root root 39 Mar 21 21:21 build/test/test08.img -> /var/tmp/systemd-test.OgnN8Z/test08.img

I considered trying to use the same image everywhere. It would probably be
possible, but it would be very brittle. By using separate images where it is
necessary we keep various orthogonal modifications independent.

The way that images are cached is complicated by the fact that we still
want to keep them in /var/tmp. Thus, an image is created on first use and
linked to from build/test/ so it can be found by other tests.

Tests cannot be run in parallel. I think that is an acceptable limitation.
Creation of the images was probably taking more resources then the actual
tests, so we should be better off anyway.

semaphoreci: trivial cleanup

test/TEST-28: avoid race in handling of /testok

test: make sure to reset state before starting integration tests

test: mount root rw and drop /etc/fstab

We had an fstab for the sole purpose of remounting "/" rw. Mounting root ro
is a pointless excercise in obsolete approaches. More importantly, the nspawn
image is now the same as the qemu one.

test: drop cargo-cult line

p2 is only used in the cryptsetup test...

test: improve reporting a bit

test: de-duplicate test_setup() functions

Now we will run setup_nspawn_root() in some case where do don't need to.

test: move TEST-47-* to static files

test: move TEST-46-HOMED to static files

test: convert TEST-45 to a normal meson test

On my laptop, it now takes 0.23 s. We don't need the overhead of creating
an image and spawning a machine to mangle a file in /tmp.

test: move TEST-44-* to static files

test: move TEST-43-* setup to static files

Setup of lingering is dropped. I don't think it's necessary for anything,
because the unit is still pulled in from the testsuite service.

test: move TEST-42-EXECSTOPPOST setup to static files

test/TEST-41: use a file in /tmp and reset the contents

If the test was run a second time from the same root, it would fail.

test: move TEST-41-ONESHOT-RESTART setup to static files

test: move TEST-40-EXEC-COMMAND-EX setup to static files

test: move TEST-39-EXECRELOAD setup to static files

test: move TEST-37-RUNTIMEDIRECTORYPRESERVE setup to static files

test/TEST-36: move the config files to /run

This way we always start with a clean slate when running the test
repeatedly.

test: move TEST-36-NUMAPOLICY setup to static files

No need to call setup_nspawn_root() if we plan to only run under qemu.

test: convert TEST-35-NETWORK-GENERATOR into a unit test

test: move TEST-34-DYNAMICUSERMIGRATE setup to static files

test: move TEST-33-CLEAN-UNIT setup to static files

test: move TEST-32-OOMPOLICY setup to static files

test: move TEST-31-DEVICE-ENUMERATION setup to static files

test: move TEST-30-ONCLOCKCHANGE setup to static files

The two timezone files are now installed in the global setup. I am not too
happy about this, but it still seems better than to create a completely
separate image just for this.

test: move TEST-29-UDEV-ID_RENAMING setup to static files

test: move TEST-28-PERCENTJ-WANTEDBY setup to static files

test: move TEST-27-STDOUTFILE setup to static files

test: move TEST-26-SETENV setup to static files

Also run mask_supporting_services() here.

test/TEST-25: remove all images at the end of the test

scratch5 would be left behind, and trying to run the test again on the same
image would fail.

test: move TEST-25-IMPORT setup to static files

Also run mask_supporting_services() here.

test: move TEST-24-UNIT-TESTS setup to static files

I picked the list of zone files to install by grepping through the code. This
is is a bit brittle, but installing all of them takes a while, and more
importantly, writes a lot of lines to the log.

test-fileio: fix bogus error when /proc/cmdline contains newlines

The kernel does not sanitize /proc/cmdline. E.g. when running under qemu, it is
easy to pass a string with newline by mistake. We use read_one_line_file(), so
we would read only the first list of the file, and
write_string_file(WRITE_STRING_FILE_VERIFY_ON_FAILURE) would fail because the
target file is obviously different. Change to a kernel-generated file to avoid
the issue.

v2:
- use /proc/version instead of /proc/uptime for attempted writes, so the test
  test passes even if test_write_string_file_verify() takes more than 10 ms ;]

test: move TEST-23-TYPE-EXEC setup to static files

test: move TEST-22-TMPFILES setup to static files

test: move TEST-20-MAINPIDGAMES setup to static files

test: move TEST-19-DELEGATE setup to static files

test: move TEST-18-FAILUREACTION setup to static files

test: move TEST-17-WANTS setup to static files

test/TEST-16: simplify how variables are set

The amount of lines doesn't change much, but I think it's much more
straightforward this way.

test: move TEST-16-EXTEND-TIMEOUT setup to static files

test/TEST-15: call daemon-reload in two more places

Sometimes the test would fail there, nondeterministically. I'm not sure why,
but relying on PID1 not caching the file is clearly very brittle. Let's instead
call daemon-reload.

test/TEST-15: remove all created unit files

We would miss anything created under a template instance.

test: move TEST-15-DROPIN setup to static files

Unfortunately the services needed to be renamed because of conflicts with other
services that exist in the shared dir.

test: move most of TEST-14-MACHINE-ID setup to static files

test: move most of TEST-13-NSPAWN-SMOKE setup to static files

test: move TEST-12-ISSUE-3171 setup to static files

test: move TEST-11-ISSUE-3166 setup to static files

test: move TEST-10-ISSUE-2467 setup to static files

test: use shell arrays and remove duplicates

The tool lists are obviously not empty, so let's remove the test if they are.

test: move TEST-09-ISSUE-2691 setup to static files

test: move TEST-08-ISSUE-2730 setup to static files and meson scripts

Unfortunately meson does not install symlinks, but copies the symlink
destination instead. So symlinks need to be created by a script.
This commit adds both symlinks in test/testsuite-08.units/ and meson
scriptlet calls. Strictly speaking, the first is not necessary, since nothing
reads stuff directly from the source tree.

test: move TEST-07-ISSUE-1981 setup to static files

test/TEST-06: make autorelabel.service a static file too

test/TEST-06: skip test if no selinux

I put SELINUX=disabled on my laptop, and the test fails with ENOENT when trying
to write to /sys/fs/selinux/enforce. It's a bit of a special case, but let's
avoid the failure.

test: move most of TEST-06-* setup to static files

test: move TEST-05-RLIMITS setup to static files

The test currently fails in the check for LimitNOFILESoft/LimitNOFILE. I see
default values there. This doesn't seem to be related to the changes in the
test suite, but rather to the recent changes to pid1.

test: convert TEST-04-JOURNAL to generic image

test: move TEST-03-JOBS setup to static files

test: move part of TEST-02-CRYPTSETUP setup to static files

Since we create an encrypted partition for this test, let's create a separate image here.

test: move TEST-01-BASIC setup to static files

After this commit, only tests that were converted will work, because the
interface to test_run() changed.

test: allow overriding EFI_MOUNT like other variables

meson: report -Dinstall-tests in summary

meson: use install_subdir() to install files

This gives us slightly less control, but we don't need to update the
file list...

test: replace symlinks with actual unit files

During installation, meson complains:
> Installing /home/zbyszek/src/systemd-work/test/units/sysinit.target to /var/tmp/systemd-test.Q1FSuj/root/usr/lib/systemd/tests/testdata/units
> Warning: trying to copy a symlink that points to a file. This will copy the file,
> but this will be changed in a future version of Meson to copy the symlink as is. Please update your
> build definitions so that it will not break when the change happens.

It *is* convenient to have those files as symlinks, but it is also confusing,
because symlinks create aliases, and it seems that in those cases we actually
don't want aliases (at least in the case of loopy*.service that'd make the test
pointless).

tests: move unit files to units/ subdirectory

We have a bazillion of those unit files, and keeping them all directly in tests/
has become rather unwieldy.

sd-bus: sd_bus_set/get_method_call_timeout docs + cleanups.

networkctl: Add support to display bond

Merge pull request #14749 from msekletar/cpu-aff-numa-v3

core: add support for setting CPUAffinity= to special "numa" value

sd-bus: sd_bus_call/sd_bus_call_async_docs + cleanups.

Merge pull request #15143 from ssahani/networkctl-tunnel-geneve

networkctl: Add support to display geneve tunnel info

networkctl: Add support to display vti and vti6 tunnels

networkctl: add support to display ip6gre, ip6gretap, ip6erspan

docs: Add syntax for templated units to systemd.preset man page

This documents the syntax

     enable template@.service foo bar baz

that was introduced in #9901 to preset templated units.

Merge pull request #15136 from yuwata/network-dhcp4-use-gateway

network: add a flag to ignore gateway provided by DHCP server

Merge pull request #15108 from keszybz/systemctl-set-default-notices

Make systemctl set-default hint about some common issues

networkctl: Add support to display gre gretap and erspan

networkctl: Add support to display geneve tunnel info

hwdb: add support for Lenovo Legion Y9000X2020 (#15127)

po: update Polish translation

Fix volume control keys on Lenovo Yoga S940

With the default config repeated press of fn+VolumeUp or fn+VolumeDown lead to
repeated presses even after release, which leads to volume going to 100% or 0%.

systemctl: print a notice when set-default is not effective

$ sudo ln -svf multi-user.target /run/systemd/generator.early/default.target
'/run/systemd/generator.early/default.target' -> 'multi-user.target'
$ sudo build/systemctl set-default --root=/ sysinit.target
Removed /etc/systemd/system/default.target.
Created symlink /etc/systemd/system/default.target → /usr/lib/systemd/system/sysinit.target.
Note: "multi-user.target" is the default unit (possibly a runtime override).

The output is not super informative, but it should be enough to point the user in
the right direction.

Fixes #3645.

networkctl: Add support to show tunnel (ipip/sit) local and remote address

sd-bus: Add sd_bus_method_call/sd_bus_method_call_async docs + cleanups.

Merge pull request #15138 from ssahani/networkctl-vlan

networkctl: Add support to display vlan ID

Merge pull request #15139 from DaanDeMeyer/sd-bus-remove-unused-cite

sd-bus: Remove unused man cite of `sd_bus_slot_new_signal`.

sd-bus: Remove unused man cite of `sd_bus_slot_new_signal`.

network: do not re-attach sd-event object

Fixes #15126.

network: can: add support for listen-only mode

Closes #15129.

networkctl: Add support to display master device

networkctl: Add support to display vlan ID