tree-wide: make specifier expansion --root= aware

This fixes repart's, systemctl's, sysusers' and tmpfiles' specifier
expansion to honour the root dir specified with --root=. This is
relevant for specifiers such as %m, %o, … which are directly sourced
from files on disk.

This doesn't try to be overly smart: specifiers referring to runtime
concepts (i.e. boot ID, architecture, hostname) rather than files on the
medium are left as is. There's certainly a point to be made that they
should fail in case --root= is specified, but I am not entirely convinced
about that, and it's certainly something we can look into later if
there's reason to.

I wondered for a while how to hook this up best, but given that quite a
large number of specifiers resolve to data from files on disks, and most
of our tools needs this, I ultimately decided to make the root dir a
first class parameter to specifier_printf().

Replaces: #16187
Fixes: #16183

docs: update autofs Kconfig name

docs: EFI separator needs to be backslash-escaped in markdown

test: correctly mask supporting services in tests, take #2

Due to a little misunderstanding the last patch doesn't work as
expected, since test_create_image() is called only for the first image
(usually TEST-01-BASIC), and all subsequent images are then (possibly)
modified with test_append_files().

Follow-up to 179ca4d2b1b5579014773a128462475f99b7a91b.

Merge pull request #20001 from keszybz/test-path-simplify-less

Do not call path_simplify() when not needed

sd-journal: add missing bracket in journal verify log message

Merge pull request #20000 from dtardon/replace-strtoul

replace strtoul by safe_ato*

udev-builtin-keyboard: drop unnecessary {}

udev: replace strtoul by safe_ato*

Merge pull request #20004 from yuwata/readdir-ensure-type

dirent-util: introduce readdir_ensure_type()

openssl-util: include the headers the file actually uses definitions from

Merge pull request #19997 from keszybz/selinux-opt

Drop libselinux dependency from libsystemd

ask-password: add "-n" switch for disabling trailing newline

This is similar to the "-n" switch of the "echo" command.

Merge pull request #20002 from yuwata/sd-dhcp-client-ignore-forcerenew

sd-dhcp-client: ignore FORCERENEW

core: avoid calling path_simplify() unnecessarilly for u.requires_mounts_for keys

We would always call path_simplify() before doing a lookup, which requires the
path key to be duplicated first. But the hashmap lookup doesn't require this…
So let's opportunistically skip the allocation if the key is already present.

Inspired by https://github.com/systemd/systemd/pull/19973.

test-hash-funcs: add new file to test that path set ignores dot components

gitignore: add jekyll cache directory

Follow-up for 2d4efd1dba568e59b149fbb82b51201951e8e178.

shared/selinux-util: rework switching of the getenforce() function

The approach with function pointer was neat, but it gets in the way
when we want to resolve the symbol dynamically: static initialization
is not possible. It also makes the code more complicated than necessary.
In this case, a simple boolean is sufficient.

shared/dlfcn-util: add sentinel helper or for dlsym_many_or_warn()

I didn't do this before to avoid churn in all the users.

shared/tpm2-util: simplify and convert to the new helper

The function would return 0 or 3. I don't think the return code was
used for anything, so let's avoid the explicit calculation and return
0 or 1.

various: convert to the new dlopen_or_warn() helper

dlfcn-util: invert function naming and add helper that does the whole job

We warn when the operation fails, not when it succeeds. Hence this should be
"<do>_or_<handle failure>", not "<do>_and_<handle failure>". We *could* use
whatever convention we want, but rust and perl are rather consistent in using
the logical convention. We don't care about perl that much, but having a naming
convention inverted wrt. rust would be rather confusing.

Also, pretty much every implementation does similar steps, so add a nice
wrapper which combines opening of the library and loading of the symbols.

Also add missing sentinel attribute in dlopen_or_warn().

meson: drop libseccomp and libselinux from libbasic linkage

This means libsystemd.so is without them now. This is important
because countless programs link to libsystemd.so, and do not need
to pull in selinux now. And libselinux.so pulls in libpcre2, so
we trim a nice dependency tree.

I'm not sure why libseccomp was listed there. No code seems to
refer to it.

$ diff -u <(ldd ../systemd/build/libsystemd.so|sed 's/0x.*/0x…/') <(ldd build/libsystemd.so|sed 's/0x.*/0x…/')
@@ -4,11 +4,9 @@
  libzstd.so.1 => /lib64/libzstd.so.1 (0x…
  liblz4.so.1 => /lib64/liblz4.so.1 (0x…
  libcap.so.2 => /lib64/libcap.so.2 (0x…
- libselinux.so.1 => /lib64/libselinux.so.1 (0x…
  libgcrypt.so.20 => /lib64/libgcrypt.so.20 (0x…
  libpthread.so.0 => /lib64/libpthread.so.0 (0x…
  libc.so.6 => /lib64/libc.so.6 (0x…
  /lib64/ld-linux-x86-64.so.2 (0x…
- libpcre2-8.so.0 => /lib64/libpcre2-8.so.0 (0x…
  libdl.so.2 => /lib64/libdl.so.2 (0x…
  libgpg-error.so.0 => /lib64/libgpg-error.so.0 (0x…

$ diff -u <(ldd ../systemd/build/libudev.so|sed 's/0x.*/0x…/') <(ldd build/libudev.so|sed 's/0x.*/0x…/')
@@ -1,8 +1,5 @@
  linux-vdso.so.1 (0x…
  librt.so.1 => /lib64/librt.so.1 (0x…
- libselinux.so.1 => /lib64/libselinux.so.1 (0x…
  libpthread.so.0 => /lib64/libpthread.so.0 (0x…
  libc.so.6 => /lib64/libc.so.6 (0x…
  /lib64/ld-linux-x86-64.so.2 (0x…
- libpcre2-8.so.0 => /lib64/libpcre2-8.so.0 (0x…
- libdl.so.2 => /lib64/libdl.so.2 (0x…

basic,shared: move a bunch of files to src/shared/

The goal is to move everything that requires selinux or smack
away from src/basic/. This means that src/basic/label.[ch] must move,
which implies btrfs-util.[ch], copy.[ch], and a bunch of other files
which form a cluster of internal use.

This is just moving text around, so there should be no functional difference.

test-blockdev-util is new, because path_is_encrypted() is moved to
blockdev-util.c, and so far we didn't have any tests for code there.

basic,shared: move dlopen helpers to shared/

This was added in 88d775b734644f26fb490836769c2bc275498fde,
with the apparent intent of using in shared/ and the rest of our code.
It doesn't matter much for our code, since libdl is part of glibc anyway,
but moving it removes one linkage from libsystemd. (libshared was already
linking to libdl explicitly).

basic: move acquire_data_fd() and fd_duplicate_data_fd() to new data-fd-util.c

fd_duplicate_data_fd() is renamed to copy_data_fd(). This makes
the two functions have nicely similar names.

Now fd-util.[ch] is again about low-level file descriptor manipulations.
copy_data_fd() is a complex function that internally wraps the other
functions in copy.c. I want to move copy.c and the whole cluster of
related code from basic/ to shared/ later on, and this is a preparatory
step for that.

Move hwdb creation code to src/shared/

hwdb_update() is the main entry point, and it is called from
"udevadm hwdb" and "systemd-hwdb", so it belongs in shared/.

basic,shared: move quota-util.[ch] to src/shared/

No need for this to in basic/.

basic: drop one btrfs-related function and move another

This will become useful later, it is the first step to moving btrfs-util.[ch]
out of src/basic/.

sd-dhcp-client: tentatively ignore FORCERENEW command

This makes DHCP client ignore FORCERENEW requests, as unauthenticated
FORCERENEW requests causes a security issue (TALOS-2020-1142, CVE-2020-13529).

Let's re-enable this after RFC3118 (Authentication for DHCP Messages)
and/or RFC6704 (Forcerenew Nonce Authentication) are implemented.

Fixes #16774.

sd-dhcp-client: logs when dhcp client unexpectedly gains a new lease

Previously, such situation is handled silently.

sd-dhcp-client: shorten code a bit

sd-dhcp-client: check error earlier and reduce indentation

docs: add coding style example

Add example of how to structure else-blocks following a multiline block.

dirent-util: use readdir_ensure_type() in readdir_no_dot() and FOREACH_DIRENT()

dirent-util: introduce readdir_ensure_type()

test-path-util: check that dot components are irrelevant for path comparisons

TODO: elide initrd-parse-etc.service if possible

man/50-xdg-data-dirs: add quotes as suggested by shellcheck

basic,shared: move make_mount_point_inode_*() to shared/

Those pull in selinux for labelling, and we should avoid selinux in basic/.

meson: sort file list

At least emacs thinks this is the right way.

Merge pull request #19990 from mrc0mmand/test-tweaks

A couple of stability-related test tweaks

Merge pull request #19991 from bluca/bash_compl_unbound_vars

completion: fix 'unbound variables' errors

completion: fix 'unbound variables' errors

Fixes https://github.com/systemd/systemd/issues/19987

completion/systemd-delta,-resolve: autocomplete with parameters

completion/hostnamectl: do not dereference non-existing OPTS[ARGUNKNOWN]

Merge pull request #19986 from keszybz/test-mount-util-more

Add smoke test for mount_flags_to_string()

networkd: Permit all-zero RoutingPolicyRule prefixes

For example this `From` address range is no longer ignored:

    [RoutingPolicyRule]
    From=0.0.0.0/8

Merge pull request #19969 from bluca/test_02_qemu

test-loop-block: run in qemu

test: correctly mask supporting services in tests

It turns out the "supporting services" were run in _all_ tests if
TEST-01-BASIC was run as the first test (which is usually the case),
since with the original condition in test_create_image() we would skip
the masking and then propagate the change to the default image used by
other tests. This has been causing multiple bogus test timeouts
(especially when the hwdb was being rebuilt in tests with short
timeouts, like TEST-52-HONORFIRSTSHUTDOWN).

Let's "fix" this by making the call to mask_supporting_services()
uncoditional and override the test_create_image() function in
TEST-01-BASIC to avoid the masking in this single case.

po: Translated using Weblate (Korean)

Currently translated at 100.0% (189 of 189 strings)

Co-authored-by: simmon <simmon@nplob.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/ko/
Translation: systemd/main

test: ignore the "freezing" & "thawing" intermediate states

When checking the unit state after `systemctl freeze|thaw` we can be
"too fast" and get the intermediate state (freezing/thawing) which we're
not interested in. Let's wait a bit and try to get the state again in
such cases to avoid unnecessary flakiness.

```
[   29.390203] testsuite-38.sh[218]: + state=thawing
[   29.390203] testsuite-38.sh[218]: + '[' thawing = running ']'
[   29.390203] testsuite-38.sh[218]: + echo 'error: unexpected freezer state, expected: running, actual: thawing'
[   29.390203] testsuite-38.sh[218]: error: unexpected freezer state, expected: running, actual: thawing
[   29.390203] testsuite-38.sh[218]: + exit 1
```

test-mount-util: add output test for mount_flags_to_string()

test-mount-util: add usual print headers

mount-util: add one more assertion

test-loop-block: run in qemu

test-loop-block needs to run in qemu, so we are currently not
testing it in the CI. Run it by itself in a separate job from
TEST-02-UNITTESTS to avoid slowing that suite down.

Fixes https://github.com/systemd/systemd/issues/19966

Disable it in the bionic-* CI for now, as it's affected by
the same uevent ordering issue as TEST-50-DISSECT which makes
it flaky.

test: move custom result checks from TEST-02-UNITTESTS to test-functions

test: allow to call units/testsuite-02.sh from other scripts

test: do not fail TEST-02-UNITTESTS if they are all skipped

The return code is initialized to fail if /testok is not found, but
that also covers the case where all tests are skipped.

test: do not lose logs of late failures in TEST-02-UNITTESTS

Due to set -e, if the wait() fails (eg: because of an assert in the
waited task), report_result() never runs and logs are lost

test: install nls modules, required by vfat

kernel: FAT-fs (loop0p2): codepage cp437 not found
kernel: FAT-fs (loop0p2): IO charset ascii not found

Merge pull request #19977 from yuwata/nspawn-fix-strextend

nspawn: replace strextend_with_separator() -> strextendf_with_separator()

cryptenroll: fix minor typo in --help (#19985)

We use "+" as separator for PCR indexes now, but we forgot to replace
one "," by "+"

mount-util: use EXTRACT_KEEP_QUOTE to handle mount options

Otherwise, the quotes which wrap SELinux options are dropped.

mount-util: reduce scope of variable

test: add test cases for EXTRACT_KEEP_QUOTE and EXTRACT_UNQUOTE

extract-word: introduce EXTRACT_KEEP_QUOTE flag

mount-util: make mount_flags_to_string() show flag name instead of number

This also adds missing MS_NOSYMFOLLOW flag. Moreover, this makes the
function always add unhandled flags in number.

nspawn: replace strextend_with_separator() -> strextendf_with_separator()

Fixes a bug introduced by cfea7618f28562c053a1ee194108feaa502081ff.

Before this commit:
mode=1777,size=10%,nr_inodes=400k,uid=496107520,gid=496107520,context=,sys.id:sys.role:systemd.nspawn.container.fs:s0,
After this commit:
mode=1777,size=10%,nr_inodes=400k,uid=496107520,gid=496107520,context=sys.id:sys.role:systemd.nspawn.container.fs:s0

Fixes #19976.

time-util: coding style fixes

Follow-ups for 45eb4d2261ed0d943fd503a6d79ee3b7b7558c09.

virt: improve log message when we cannot read /sys/firmware/dmi/entries/0-0/raw

As the file is usually readable by only root.

Prompted by https://github.com/systemd/systemd/issues/19978#issuecomment-864561357.

Merge pull request #19981 from gablank/relative-time-unit-singular

time-util: don't use plural units indiscriminately

time-util: don't use plural units indiscriminately

format_timestamp_relative currently returns the plural form of
years and months no matter the quantity, and in many cases (for
durations > 1 week) this is the same with days.

This patch changes this so that the function takes the quantity into account,
returning "1 month 1 week ago" instead of "1 months 1 weeks ago".

hwdb: add rules for Lenovo U41-70 (80JV)

Revert "ci: work around #19442 to make CI happy again"

The fix/workaround from #18851 should, hopefully, make this redundant.

This reverts commit 48a3cf58d5ad9cf2a4a4e6167171070b88c25369.

repart: make No-Auto GPT partition flag configurable too

This is useful for provisioning initially empty secondary A/B root file
systems. We don't want those to ever be considered for automatic
mounting, for example in "systemd-nspawn --image=", hence we should
create them with the No-Auto flag turned on. Once a file system image is
dropped into the partition the flag may be turned off by the updater
tool, so that it is considered from then on.

Thew new option for this is called NoAuto. I dislike negated options
like this, but this is taken from the naming in the spec, which in turn
inherited the name from the same flag for Microsoft Data Partitions. To
minimize confusion, let's stick to the name hence.

path-util: make path_equal() an inline wrapper around path_compare()

The two are completely identical, only the return code is inverted.
let's hence make it easy for the compiler to make it the same function
call even in lowest optimization modes.

test: wait until the unit leaves the 'inactive' state as well

In many CI runs I noticed a race where we check the "active" state a bit
too early where the unit is still in the "inactive" state, causing the
`is-failed` check to fail. Mitigate this by waiting even if the unit is
in the inactive state and introduce a "safe net" which checks whether
the unit is not restarting indefinitely or more than it should (as
described in the original issue #3166).

Example:
```
[    5.757784] testsuite-11.sh[216]: + systemctl --no-block start fail-on-restart.service
[    5.853657] testsuite-11.sh[222]: ++ systemctl show --value --property ActiveState fail-on-restart.service
[    5.946044] testsuite-11.sh[216]: + active_state=inactive
[    5.946044] testsuite-11.sh[216]: + [[ inactive == \a\c\t\i\v\a\t\i\n\g ]]
[    5.946044] testsuite-11.sh[216]: + [[ inactive == \a\c\t\i\v\e ]]
[    5.946044] testsuite-11.sh[216]: + systemctl is-failed fail-on-restart.service
[    5.946816] systemd[1]: fail-on-restart.service: Passing 0 fds to service
[    5.946913] systemd[1]: fail-on-restart.service: About to execute false
[    5.947011] systemd[1]: fail-on-restart.service: Forked false as 228
[    5.947093] systemd[1]: fail-on-restart.service: Changed dead -> start
[    5.947172] systemd[1]: Starting Fail on restart...
[    5.947272] systemd[228]: fail-on-restart.service: Executing: false
[    5.960553] testsuite-11.sh[227]: activating
[    5.965188] testsuite-11.sh[216]: + exit 1
[    6.011838] systemd[1]: Received SIGCHLD from PID 228 (4).
[    6.012510] systemd[1]: fail-on-restart.service: Main process exited, code=exited, status=1/FAILURE
[    6.012638] systemd[1]: fail-on-restart.service: Failed with result 'exit-code'.
[    6.012834] systemd[1]: fail-on-restart.service: Service will restart (restart setting)
[    6.012963] systemd[1]: fail-on-restart.service: Changed running -> failed
[    6.013081] systemd[1]: fail-on-restart.service: Unit entered failed state.
```

Update systemd-resolved.service.8 help

Text currently refers to `/etc/nsswitch.conf` where it should refer to `/etc/resolv.conf`.
This is in the context of defining a nameserver IP and search domains.

test: drop the mawk-incompatible expression

The three-argument match() is a GNU AWK extension, thus breaking the
compatibility with mawk (used on Ubuntu/Debian, for example). Let's
replace it with a (hopefully) more portable sed expression to drop the
inadvertently introduced gawk dependency.

Fixes: #19957

hwdb: Add mic mute key mapping for HP Elite Dragonfly

 * HP confirmed there are two marketing name
   * HP Elite Dragonfly G2 Notebook PC
   * HP Elite Dragonfly Max Notebook PC

update TODO

shell-completion: revert c1072f6473bafa063cbf700c86524083d2857031
fixing https://github.com/systemd/systemd/issues/19689

core: Hide "Deactivated successfully" message

Show message "Deactivated successfully" in debug mode (when manager is
user) rather than in info mode. This message has low information value
for regular users and it might be a bit overwhelming on a system with
a lot of devices.

test: do not run 'meson configure' if NO_BUILD is set

There is no build tree and packages are used, so it cannot work. Unlikely
that static linking has been set for those builds anyway.

Fixes https://github.com/systemd/systemd/issues/19955

NEWS: fix typos

meson: allow "soft-static" allocations for uids and gids in the initrd

The general idea with users and groups created through sysusers is that an
appropriate number is picked when the allocation is made. The number that is
selected will be different on each system based on the order of creation of
users, installed packages, etc. Since system users and groups are not shared
between installations, this generally is not an issue. But it becomes a problem
for initrd: some file systems are shared between the initrd and the host (/run
and /dev are probably the only ones that matter). If the allocations are
different in the host and the initrd, and files survive switch-root, they will
have wrong ownership.

This makes the gids build-time-configurable for all groups and users where
state may survive the switch from initrd to the host.

In particular, all "hardware access" groups are like this: files in /dev will
be owned by them.  Eventually the new udev would change ownership, but there
would be a momemnt where the files were owned by the wrong group. The
allocations are "soft-static" in the language of Fedora packaging guidelines:
the uid/gid will be used if possible, but we'll fall back to a different
one. TTY_GID is the exception, because the number is used directly.

Similarly, the possibility to configure "soft-static" uids is added for daemons
which may usefully run in the initramfs: systemd-network (lease information and
interface state is serialized to /run), systemd-resolve (stub files and
interface state), systemd-timesync (/run/systemd/timesync).

Journal files are owned by the group systemd-journal, and acls are granted
for wheel and adm.

systemd-oom and systemd-coredump are excluded from this patch: I assume that
oomd is not useful in the initrd, and coredump leaves no state (it only creates
a pipe in /run?).

The defaults are not changed: if nothing is configured, dynamic allocation will
be used. I looked at a Debian system, and the numbers are all different than
on Fedora.

For Fedora, see the list of uids and gids at https://pagure.io/setup/blob/master/f/uidgid.
In particular, systemd-network and systemd-resolve got soft-static numbers to
make it easy to transition from a non-host-specific initrd to a host system
already a few years back (https://bugzilla.redhat.com/show_bug.cgi?id=1102002).

I also requested static allocations for sgx, input, render in
https://pagure.io/packaging-committee/issue/1078,
https://pagure.io/setup/pull-request/27.

Merge pull request #19948 from keszybz/set-driver-refactoring

A minor refactoring to sd-device internals

Merge pull request #19947 from yuwata/network-dad-tiny-fixes

network: tiny fixes about IPv4ACD

sd-device: let device_set_driver() accept NULL too

Like previous commit, but for driver not subsystem.

sd-device: let device_set_subsystem() accept NULL

This makes device_shallow_clone() simpler.

Follow-up for 2255e8adee37c490bf8cf2daab791b6f746bb0a0.

network: always enable IPv4 ACD for statically configured IPv4LL address

man: fix RFC number and its title

network: IFA_F_NODAD flag is only for IPv6 addresses

Merge pull request #19942 from wat-ze-hex/socket-bind-ip-proto-2021-06-10

dbus: extend SocktBind{Allow|Deny}= with ip proto

test: add a testcase for issue #19895

Merge pull request #19896 from keszybz/systemd-efi-options-hint

Print hint in bootctl when systemd-efi-options output is out-of-date

Merge pull request #19943 from poettering/v249rc1-rep

prepare v249-rc1

Merge pull request #19945 from yuwata/news

update NEWS

NEWS: fix typo