sd-bus: sd_bus_call docs improvements

sd-bus: Add sd_bus_get/set_priority docs + fixes

Merge pull request #15229 from ssahani/mud

network: Introduce MUD

Merge pull request #15268 from poettering/sigusr1-sigusr2

Doing manual merge because github thinks there's a conflict.

units: do not pull in home.mount from systemd-homed.service

/home is posibly a remote file system. it makes sense to order homed
after it, so that we can properly enumerate users in it, but we probably
shouldn't pull it in ourselves, and leave that to users to configure
otherwise.

Fixes: #15102

home: fix several typos

user-util: switch order of checks in valid_user_group_name_or_id_full()

When we are supposed to accept numeric UIDs formatted as string, then
let's check that first, before passing things on to
valid_user_group_name_full(), since that might log about, and not the
other way round.

See: #15201
Follow-up for: 93c23c9297e48e594785e0bb9c51504aae5fbe3e

homectl: fix a typo

stroage -> storage

network: DHCPv4 - introduce The Manufacturer Usage Description (MUD)

sd-dhcpv4: introduce The Manufacturer Usage Description (MUD)

Merge pull request #15197 from ssahani/smtp-dhcp

DHCP4: Add support to emit and receive SMTP servers.

Merge pull request #13084 from ddstreet/log_time

log: add support for prefixing console log messages with current timestamp

Merge pull request #15194 from keur/import_pull_etag

import: Only keep RO copy if ETag header is set

Merge pull request #14853 from floppym/issue9806

safe_fork: unblock most signals before waiting for child

Merge pull request #15251 from keszybz/coverity-fixes

A few small fixups for stuff found by coverity

Merge pull request #14338 from keszybz/functional-test-rework

Functional test rework

userwork: fix signal worker sends to manager requesting more workers

That's what you get for changing these signals around, after checking
everything works, not before.

Bad, Lennart, bad!

Fixes: #15085

ci: turn off FuzzBuzz

I don't think anyone uses it.

travis: install ninja with pip

https://mesonbuild.com/Release-notes-for-0-54-0.html#ninja-version-requirement-bumped-to-17
https://github.com/mesonbuild/meson/issues/6867

networkctl: Add support to display DHCP SMTP servers

sd-network: Add support to emit and receive SMTP server information

network: DHCP - add support to emit and receive SMTP server information

Merge pull request #15217 from keszybz/beef-up-sd-path

Export sd-path functions and beef up systemd-path to show more items

sd-bus: Fix pointer alignment

sd-bus: Add sd_bus_slot_get_current_* docs

README.md: add repology badge

Show downstream usage for various versions of systemd.

basic: Fix capability_ambient_set_apply for kernels < 4.3

https://github.com/systemd/systemd/pull/14133 made
capability_ambient_set_apply() acquire capabilities that were explicitly
asked for and drop all others. This change means the function is called
even with an empty capability set, opening up a code path for users
without ambient capabilities to call this function. This function will
error with EINVAL out on kernels < 4.3 because PR_CAP_AMBIENT is not
understood. This turns capability_ambient_set_apply() into a noop for
kernels < 4.3

Fixes https://github.com/systemd/systemd/issues/15225

Merge pull request #15233 from msekletar/device-dbus

device: make sure we don't generate bogus PropertiesChanged signals

device: don't emit PropetiesChanged needlessly

Functions called from device_setup_unit() already make sure that unit is
enqueued in case it is a new unit or properties exported on the bus have
changed.

This should prevent unnecessary DBus wakeups and associated DBus traffic
when device_setup_unit() was called while reparsing /proc/self/mountinfo
due to the mountinfo notifications. Note that we parse
/proc/self/mountinfo quite often on the busy systems (e.g. k8s container
hosts) but majority of the time mounts didn't change, only some mount
got added. Thus we don't need to generate PropertiesChanged for devices
associated with the mounts that didn't change.

Thanks to Renaud Métrich <rmetrich@redhat.com> for debugging the
problem and providing draft version of the patch.

device: make sure we emit PropertiesChanged signal once we set sysfs

nss-systemd: use _cleanup_ for pthread_mutex_{lock,unlock}

v2: separate the declaration from the assignment to appease clang.

basic: add _cleanup_ wrappers for pthread_mutex_{lock,unlock}

I put the helper functions in a separate header file, because they don't fit
anywhere else. pthread_mutex_{lock,unlock} is used in two places: nss-systemd
and hashmap. I don't indent to convert hashmap to use the helpers, because
there it'd make the code more complicated. Is it worth to create a new header
file even if the only use is in nss-systemd.c? I think yes, because it feels
clean and also I think it's likely that pthread_mutex_{lock,unlock} will be
used in other places later.

nss-systemd: add missing jump to unlock mutex

CID#1412415.

test-strv: add missing oom check

CID#1420259.

test: print test of name in output

meson: use find_program() for add-git-hook.sh

On azure systemd.systemd ci, the build would fail with:
meson.build:53:0: ERROR: Program or command '/home/appuser/fuzzer/tools/add-git-hook.sh' not found or not executable

We use find_program() for all helpers, so let's do it for this one too.
This should solve the issue, whatever it exactly is.

test: run unittests with newlines in /proc/cmdline

This should help catch this class of errors.

test: stop caching loopdev

It is more trouble than it is worth. The setup is of a loopback device
is very quick, so it's better to always create it when needed and
immediately drop afterwards.

test: perform partial cleanup after each test is run

This causes the unprivileged-nspawn-root directory to be removed
after running one test. The advantage is that we reduce the maximum
disk-space use quite a bit (47*400 MB → about 18GB).

test: simplify the Makefiles

has-overflow was a temporary hack that was removed in
844da987ef8b8c98f837d3328eeb3ed481f43835 (Oct. 2016). All the makefiles
can be the same, and all the targets can be handled identically.

test: run tests directly from the loopback device

Before, we'd copy the test tree into nspawn-root, and run the tests from there.
This is OK, and doesn't actually take much extra time. But it uses quite a lot
of extra disk space. So let's make things a bit more efficient by running
directly from the image file.

We still run the unprivileged nspawn tests from a copy. Once the kernel
implements fs shift, we can do away with that too.

test: wipe journal files after test

Otherwise they accumulate and create noise.

test: echo a message when the tests fails

Sometimes it is not clear from the preceding output that there was a
failure.

test/TEST-01: allow running w/o -Dinstall-tests=true

This is useful for sanitizer builds under CI, see
https://github.com/systemd/systemd-centos-ci/pull/202#issuecomment-566476592.

test: rework how images are created

Before, we'd create a separate image for each test, in
/var/tmp/systemd-test.XXXXX/rootdisk.img. Most of the images
where very similar, except that each one had some unit files installed
specifically for the test. The installation of those custom unit files
was removed in previous commits (all the unit files are always installed).

The new approach is to only create as few distinct images as possible.
We have:
default.img: the "normal" image suitable for almost all the tests
basic.img: the same as default image but doesn't mask any services
cryptsetup.img: p2 is used for encrypted /var
badid.img: /etc/machine-id is overwritten with stuff
selinux.img: with selinux added for fun and fun
and a few others:

ls -l build/test/*img
lrwxrwxrwx 1 root root 38 Mar 21 21:23 build/test/badid.img -> /var/tmp/systemd-test.PJFFeo/badid.img
lrwxrwxrwx 1 root root 38 Mar 21 21:17 build/test/basic.img -> /var/tmp/systemd-test.na0xOI/basic.img
lrwxrwxrwx 1 root root 43 Mar 21 21:18 build/test/cryptsetup.img -> /var/tmp/systemd-test.Tzjv06/cryptsetup.img
lrwxrwxrwx 1 root root 40 Mar 21 21:19 build/test/default.img -> /var/tmp/systemd-test.EscAsS/default.img
lrwxrwxrwx 1 root root 39 Mar 21 21:22 build/test/nspawn.img -> /var/tmp/systemd-test.HSebKo/nspawn.img
lrwxrwxrwx 1 root root 40 Mar 21 21:20 build/test/selinux.img -> /var/tmp/systemd-test.daBjbx/selinux.img
lrwxrwxrwx 1 root root 39 Mar 21 21:21 build/test/test08.img -> /var/tmp/systemd-test.OgnN8Z/test08.img

I considered trying to use the same image everywhere. It would probably be
possible, but it would be very brittle. By using separate images where it is
necessary we keep various orthogonal modifications independent.

The way that images are cached is complicated by the fact that we still
want to keep them in /var/tmp. Thus, an image is created on first use and
linked to from build/test/ so it can be found by other tests.

Tests cannot be run in parallel. I think that is an acceptable limitation.
Creation of the images was probably taking more resources then the actual
tests, so we should be better off anyway.

semaphoreci: trivial cleanup

test/TEST-28: avoid race in handling of /testok

test: make sure to reset state before starting integration tests

test: mount root rw and drop /etc/fstab

We had an fstab for the sole purpose of remounting "/" rw. Mounting root ro
is a pointless excercise in obsolete approaches. More importantly, the nspawn
image is now the same as the qemu one.

test: drop cargo-cult line

p2 is only used in the cryptsetup test...

test: improve reporting a bit

test: de-duplicate test_setup() functions

Now we will run setup_nspawn_root() in some case where do don't need to.

test: move TEST-47-* to static files

test: move TEST-46-HOMED to static files

test: convert TEST-45 to a normal meson test

On my laptop, it now takes 0.23 s. We don't need the overhead of creating
an image and spawning a machine to mangle a file in /tmp.

test: move TEST-44-* to static files

test: move TEST-43-* setup to static files

Setup of lingering is dropped. I don't think it's necessary for anything,
because the unit is still pulled in from the testsuite service.

test: move TEST-42-EXECSTOPPOST setup to static files

test/TEST-41: use a file in /tmp and reset the contents

If the test was run a second time from the same root, it would fail.

test: move TEST-41-ONESHOT-RESTART setup to static files

test: move TEST-40-EXEC-COMMAND-EX setup to static files

test: move TEST-39-EXECRELOAD setup to static files

test: move TEST-37-RUNTIMEDIRECTORYPRESERVE setup to static files

test/TEST-36: move the config files to /run

This way we always start with a clean slate when running the test
repeatedly.

test: move TEST-36-NUMAPOLICY setup to static files

No need to call setup_nspawn_root() if we plan to only run under qemu.

test: convert TEST-35-NETWORK-GENERATOR into a unit test

test: move TEST-34-DYNAMICUSERMIGRATE setup to static files

test: move TEST-33-CLEAN-UNIT setup to static files

test: move TEST-32-OOMPOLICY setup to static files

test: move TEST-31-DEVICE-ENUMERATION setup to static files

test: move TEST-30-ONCLOCKCHANGE setup to static files

The two timezone files are now installed in the global setup. I am not too
happy about this, but it still seems better than to create a completely
separate image just for this.

test: move TEST-29-UDEV-ID_RENAMING setup to static files

test: move TEST-28-PERCENTJ-WANTEDBY setup to static files

test: move TEST-27-STDOUTFILE setup to static files

test: move TEST-26-SETENV setup to static files

Also run mask_supporting_services() here.

test/TEST-25: remove all images at the end of the test

scratch5 would be left behind, and trying to run the test again on the same
image would fail.

test: move TEST-25-IMPORT setup to static files

Also run mask_supporting_services() here.

test: move TEST-24-UNIT-TESTS setup to static files

I picked the list of zone files to install by grepping through the code. This
is is a bit brittle, but installing all of them takes a while, and more
importantly, writes a lot of lines to the log.

test-fileio: fix bogus error when /proc/cmdline contains newlines

The kernel does not sanitize /proc/cmdline. E.g. when running under qemu, it is
easy to pass a string with newline by mistake. We use read_one_line_file(), so
we would read only the first list of the file, and
write_string_file(WRITE_STRING_FILE_VERIFY_ON_FAILURE) would fail because the
target file is obviously different. Change to a kernel-generated file to avoid
the issue.

v2:
- use /proc/version instead of /proc/uptime for attempted writes, so the test
  test passes even if test_write_string_file_verify() takes more than 10 ms ;]

test: move TEST-23-TYPE-EXEC setup to static files

test: move TEST-22-TMPFILES setup to static files

test: move TEST-20-MAINPIDGAMES setup to static files

test: move TEST-19-DELEGATE setup to static files

test: move TEST-18-FAILUREACTION setup to static files

test: move TEST-17-WANTS setup to static files

test/TEST-16: simplify how variables are set

The amount of lines doesn't change much, but I think it's much more
straightforward this way.

test: move TEST-16-EXTEND-TIMEOUT setup to static files

test/TEST-15: call daemon-reload in two more places

Sometimes the test would fail there, nondeterministically. I'm not sure why,
but relying on PID1 not caching the file is clearly very brittle. Let's instead
call daemon-reload.

test/TEST-15: remove all created unit files

We would miss anything created under a template instance.

test: move TEST-15-DROPIN setup to static files

Unfortunately the services needed to be renamed because of conflicts with other
services that exist in the shared dir.

test: move most of TEST-14-MACHINE-ID setup to static files

test: move most of TEST-13-NSPAWN-SMOKE setup to static files

test: move TEST-12-ISSUE-3171 setup to static files

test: move TEST-11-ISSUE-3166 setup to static files

test: move TEST-10-ISSUE-2467 setup to static files

test: use shell arrays and remove duplicates

The tool lists are obviously not empty, so let's remove the test if they are.

test: move TEST-09-ISSUE-2691 setup to static files

test: move TEST-08-ISSUE-2730 setup to static files and meson scripts

Unfortunately meson does not install symlinks, but copies the symlink
destination instead. So symlinks need to be created by a script.
This commit adds both symlinks in test/testsuite-08.units/ and meson
scriptlet calls. Strictly speaking, the first is not necessary, since nothing
reads stuff directly from the source tree.

test: move TEST-07-ISSUE-1981 setup to static files

test/TEST-06: make autorelabel.service a static file too