journal-remote: fix description of option

We use whatever compression is configured, most often not XZ.

(cherry picked from commit 82b2281dd54b2b83c53ccbaf73b6ca9b687e0b94)

capability: don't skip ambient caps setup if we actually have something to set

Follow-up for 7ea4392f1e444388caa706d6bd64fb7b30dc2903

Let's not hide errors needlessly aggressively.

(cherry picked from commit c4b23712634d020184393ba83451bd200a1e785f)

shared/dissect-image: log messages from cryptsetup

Before:
```
write(2, "Device /dev/loop1p1 is too small.\n", 34) = -1 ENOTCONN (Transport
endpoint is not connected)
```

After:
```
$ journalctl -b -e | grep 'too small'
Apr 02 16:53:30 loora systemd[343579]: Device /dev/loop1p1 is too small.
```

(cherry picked from commit 1887032f71b00e51d04bb5ae1860d581da786154)

resolve: reload /etc/hosts on inode change

On certain distributions such as NixOS the mtime of `/etc/hosts` is
locked to a fixed value. In such cases, only checking the last mtime of
`/etc/hosts` is not enough - we also need to check if the st_ino/st_dev
match up. Thus, let's make sure make sure that systemd-resolved also
rereads `/etc/hosts` if the inode or the device containing `/etc/hosts` changes.

Test script:

```bash
hosts="/etc/hosts"
echo "127.0.0.1 testpr" > "hosts_new"
mv "hosts_new" "$hosts"
resolvectl query testpr || exit 1
mtime="$(stat -c %y "$hosts")"
echo "127.0.0.1 newhost" > "hosts_tmp"
touch -d "$mtime" "hosts_tmp"
install -p "hosts_tmp" "$hosts"
sleep 10
resolvectl query newhost || exit 1
rm -f "hosts_tmp"
```

Closes #14456.

(cherry picked from commit aa5408e2e8a66b71f38531f1dcb91252c586a23c)

string-util: make sure we eat even half complete words in split()

split() and FOREACH_WORD really should die, and everything be moved to
extract_first_word() and friends, but let's at least make sure that for
the remaining code using it we can't deadlock by not progressing in the
word iteration.

Fixes: #15305
(cherry picked from commit 29965a2a6e22c9f369e70cffd9ff780d1c1d31a1)

udev: Fix SIGSEGV in AlternativeNamesPolicy handling

The function sd_device_get_property_value has some paths where it exits without
touching the n pointer. In those cases, n remained uninitialized until it was
eventually read inside isempty where it caused the segmentation fault.

Fixes #15078

(cherry picked from commit 61fd7d6720c562c88ab79062ff8d131e5e3c7b1b)

man: mention that stdout logging works the same as stderr logging

Apparently people wondered about that:

https://lists.freedesktop.org/archives/systemd-devel/2020-March/044091.html
(cherry picked from commit 9e76a88fafcba7d5bd7736013b6cb2eb291a006f)

userwork: fix signal worker sends to manager requesting more workers

That's what you get for changing these signals around, after checking
everything works, not before.

Bad, Lennart, bad!

Fixes: #15085
(cherry picked from commit e3028514aeb7feee67b4c4747a3af52d09a3e9fd)

units: do not pull in home.mount from systemd-homed.service

/home is posibly a remote file system. it makes sense to order homed
after it, so that we can properly enumerate users in it, but we probably
shouldn't pull it in ourselves, and leave that to users to configure
otherwise.

Fixes: #15102
(cherry picked from commit 286fe8ee2132b058c98051cd106c468b011f0418)

home: fix several typos

(cherry picked from commit 80ace4f25e08989c84302fdd8d38f000ded2eaee)

homectl: fix a typo

stroage -> storage

(cherry picked from commit 36e4a8f22a766345e433a74cfa3feeed1063e91a)

import: Only keep RO copy if ETag header is set

We fix the case when the webserver servers container images without
setting the ETag header in the response.  When an image is downloaded to
image root, a read only copy is stored alongside it.  The filename has
the following form:
    .raw-<encoded-url-of-image>.\x22<ETAG-header>\22.raw.
This is so, if the same resource is fetched multiple times, importd can
avoid extra downloads by creating the new image using the local read-only copy.

The current code assumes the ETag header is set because, if the server
does not set the ETag header, the file is stored without the ETag value
in the filename. When importd fetches a duplicate image, it will run
rename_noreplace and fail:

  Failed to rename raw file to /var/lib/machines/.raw-http:\x2f\x2flocalhost:8000\x2fwalkthroughd.raw: File exists

This patch makes importd only store a read-only image if the webserver
has set the ETag header.

(cherry picked from commit 50dfca2eaf325835c2bd75565f65bfbe84d3cae5)

nss-systemd: add missing jump to unlock mutex

CID#1412415.

(cherry picked from commit e7e9a9d0dce3fe1a133a42f69a2547749b5bcd46)

basic: Fix capability_ambient_set_apply for kernels < 4.3

https://github.com/systemd/systemd/pull/14133 made
capability_ambient_set_apply() acquire capabilities that were explicitly
asked for and drop all others. This change means the function is called
even with an empty capability set, opening up a code path for users
without ambient capabilities to call this function. This function will
error with EINVAL out on kernels < 4.3 because PR_CAP_AMBIENT is not
understood. This turns capability_ambient_set_apply() into a noop for
kernels < 4.3

Fixes https://github.com/systemd/systemd/issues/15225

(cherry picked from commit 7ea4392f1e444388caa706d6bd64fb7b30dc2903)

sd-journal: remove the dead code and actually fix #14695

journal_file_fstat() returns an error if we call it on already unlinked
journal file and hence we never reach remove_file_real() which is the
entire point.

I must have made some mistake while testing the fix that got me thinking
the issue is gone while opposite was true.

Fixes #14695

(cherry picked from commit 8581b9f9732d4c158bb5f773230a65ce77f2c292)

user-util: switch order of checks in valid_user_group_name_or_id_full()

When we are supposed to accept numeric UIDs formatted as string, then
let's check that first, before passing things on to
valid_user_group_name_full(), since that might log about, and not the
other way round.

See: #15201
Follow-up for: 93c23c9297e48e594785e0bb9c51504aae5fbe3e

(cherry picked from commit a85daa0dfb3eb03be9845760e90e54b9af8fb00e)

user-util: Allow names starting with a digit

In 1a29610f5fa1bcb2eeb37d2c6b79d8d1a6dbb865 the change inadvertedly
disabled names with digit as the first character. This follow-up change
allows a digit as the first character in compat mode.

Fixes: #15141
(cherry picked from commit 93c23c9297e48e594785e0bb9c51504aae5fbe3e)

Remove stale doc about PrivateNetwork and type

(cherry picked from commit 9520a0308d45ad9c885f5413238ecc54c643d972)

Add `shell` to machinectl ZSH completion

(cherry picked from commit 72e1c0b308ac0947d625766a59d07336ee42ec31)

Silence Wstring-plus-int warning when using clangd with GCC.

(cherry picked from commit f455f8633e3d829bca46dae68e0fb5ca10e8e139)

path-lookup: Use default value for XDG_CONFIG_DIRS if environment is not set

If XDG_CONFIG_DIRS is unset, the specification says we should assume
/etc/xdg.

(cherry picked from commit f0d0698f0b7d565e6eade043450f7f5557c8db48)

network: DHCP lease load SIP copy paste error

(cherry picked from commit be1af905852d25e11fdf0cb4f37be2a58567dd94)

davfs is a network file system

(cherry picked from commit 137d4487511b3221d3c9165326bf55f297dcd5a6)

units: Don't mount tracefs in LXC

Mounting tracefs fails in unprivileged LXC containers and latest LXD
(3.23) bind mounts tracefs already.

Fixes https://github.com/lxc/lxd/issues/7059

(cherry picked from commit cdc6c95737d26b1746b446dfe662872d593d23c6)

swap: check p->what for NULL

Commit 61f9cf4e4c introduced swap_get_parameters(s) but only
checked its return for NULL and not its ->what.

Fixes https://github.com/systemd/systemd/issues/15070

(cherry picked from commit d4a3494e65946ab78647b5277adcabed0ec43da3)

login: allow non-console sessions to change vt

When starting a wayland session through a systemd service for a non-root
user, the compositor (based on wlroots) is denied the authorization to
change vt.
Once the user logs in, either through a local console or via ssh, the
compositor can work properly.

This is related to the login polkit policy:
- `allow_inactive` has value `auth_admin_keep`, denying any non-root
  user session the authorization to change vt
- `allow_active` has value `yes`, which explains why the vt change
  becomes possible once the user logs in through another channel

By changing the `allow_inactive` value to `yes`, any user session setup
in a service file can switch vt, allowing wayland sessions for non-root
users.

(cherry picked from commit 19bb87fbfac8df67c0c8ff4714382a88733c61a2)

logind: log a more accurate error when we failed at session creation

We used to log the following error:

  "Start job for unit user-1000.slice failed with 'canceled'"

which can be really misleading if the actual job failed at *stopping* a unit.

Indeed "Start" was hard coded but it was wrong since we can also fail with stop
jobs which are enqueued when a session is stopped.

(cherry picked from commit b39648ed47065202b343d1d4bde3232d81fdfecc)

core: add support for setting CPUAffinity= to special "numa" value

systemd will automatically derive CPU affinity mask from NUMA node
mask.

Fixes #13248

(cherry picked from commit e2b2fb7f566d13a3de61952b5356cd4d2eaee917)

shared: split out NUMA code from cpu-set-util.c to numa-util.c

(cherry picked from commit 1808f76870d8368542f058b99df89cf0a4a2d011)

docs: Add syntax for templated units to systemd.preset man page

This documents the syntax

     enable template@.service foo bar baz

that was introduced in #9901 to preset templated units.

(cherry picked from commit 1f667d8a7cff4355cd23ebebeb4d7179e3498eb8)

man: add a tiny bit of markup

(cherry picked from commit 0b1b0a01ab22c088046634c46c496022e7e60673)

home: fix segfault when parsing arguments in PAM module

(cherry picked from commit f12d19b30447a771ba6dd551ac05a4ba6de2a976)

test: wait a bit after starting the test service

otherwise we might end up being faster than the unit itself, causing
unexpected fails, like:

```
testsuite.sh[297]: + systemctl start issue_14566_test
testsuite.sh[297]: + systemctl status issue_14566_test
testsuite.sh[304]: ● issue_14566_test.service - Issue 14566 Repro
testsuite.sh[304]:      Loaded: loaded (/etc/systemd/system/issue_14566_test.service; static; vendor preset: enabled)
testsuite.sh[304]:      Active: active (running) since Sat 2020-03-14 02:02:23 UTC; 417ms ago
testsuite.sh[304]:    Main PID: 301 ((repro.sh))
testsuite.sh[304]:       Tasks: 1 (limit: 535)
testsuite.sh[304]:      Memory: 180.0K
testsuite.sh[304]:         CPU: 122ms
testsuite.sh[304]:      CGroup: /system.slice/issue_14566_test.service
testsuite.sh[304]:              └─301 [(repro.sh)]
testsuite.sh[307]: ++ cat /leakedtestpid
testsuite.sh[307]: cat: /leakedtestpid: No such file or directory
testsuite.sh[297]: + leaked_pid=
```

(cherry picked from commit 197298ff9fc930de450330095cc5b67d165d0801)

fix journalctl regression (#15099)

This regression was introduced in #14913.

The current_file variable can be NULL, as, for example, with the
following commands:

* journalctl --list-boots
* journalctl -b -1 --no-pager

Since current_file is only checked for pointer equality with f, removing
the assertion is safe here.

(cherry picked from commit 8d0726fcd7b72f2a6f75dd731cbf7c8d4df107ef)

NEWS: add late note about job trimming issue

Closes #15091.

(cherry picked from commit 2ca17c7801b82bff793f4280cc8fa50cf9e0fc7c)

systemctl: hide the 'glyph' column when --no-legend is requested

Fixes: #15077
(cherry picked from commit d171e679e7d4f380dceff39611a125b096babf00)

format-table: allow hiding a specific column

without having to specify the whole display map

(cherry picked from commit 0080964cc87e8e2c9904816bf67198b9119ed473)

core: transition to FINAL_SIGTERM state after ExecStopPost=

Fixes #14566

(cherry picked from commit c1566ef0d22ed786b9ecf4c476e53b8a91e67578)

journalctl: show duplicate entries if they are from the same file (#14898)

When having a service which intentionally outputs multiple equal lines,
all these messages might be inserted with the same timestamp.

journalctl has a mechanism to avoid duplicate lines, which might be in
different journal files.

This patch allows duplicate lines, if they are from the same file.

(cherry picked from commit b6849042d610da90d5821a03967d648d424f7864)

namespace: ignore prefix chars when comparing paths

Other callers of path_strv_contains() or PATH_IN_SET() don't seem to handle
paths prefixed with -+.

(cherry picked from commit de46b2be07538b55df0ba5e312a89eebb87c710a)

udev: fix SECLABEL{selinux} issue (#15064)

Add SECLABEL{selinux}="some value" cause udevadm crash
systemd-udevd[x]: Worker [x] terminated by signal 11 (SEGV)

It happens since 25de7aa7b90 (Yu Watanabe 2019-04-25 01:21:11 +0200)
when udev rules processing changed to token model. Yu forgot store
attr to SECLABEL token so fix it.

(cherry picked from commit 0335d110afc08baf47d76b7011ce02510dfdd524)

dissect-image: avoid scanning partitions

In case the dissected image has a filesystem, don't scan for partitions. This
avoids problems with services using a `RootImage=` in early boot when udevd is
not yet started.

(cherry picked from commit 0108c42f59dd5848f6b561f260dc6ff3e19d651b)

test: ignore IAB capabilities in `test-execute`

libcap v2.33 introduces a new capability set called IAB[0] which is shown
in the output of `capsh --print` and interferes with the test checks. Let's
drop the IAB set from the output, for now, to mitigate this.

This could be (and probably should be) replaced in the future by the
newly introduced testing options[1][2] in libcap v2.32, namely:
    --has-p=xxx
    --has-i=xxx
    --has-a=xxx

but this needs to wait until the respective libcap version gets a wider
adoption. Until then, let's stick with the relatively ugly sed.

Fixes: #15046

[0] https://git.kernel.org/pub/scm/libs/libcap/libcap.git/commit/?id=943b011b5e53624eb9cab4e96c1985326e077cdd
[1] https://git.kernel.org/pub/scm/libs/libcap/libcap.git/commit/?id=588d0439cb6495b03f0ab9f213f0b6b339e7d4b7
[2] https://git.kernel.org/pub/scm/libs/libcap/libcap.git/commit/?id=e7709bbc1c4712f2ddfc6e6f42892928a8a03782

(cherry picked from commit e9cdcbed77971da3cb0b98b3eb91081142c91eb7)

test: add a test case for migrating DynamicUser=yes to no

(cherry picked from commit abaaa79b22f48dac0b45737fcef730fc3471384c)

execute: Fix migration from DynamicUser=yes to no

Closes #12131.

(cherry picked from commit 578dc69f2a60d6282acc2d06ce8a3bf8a9d8ada0)

homed: replace "home directory" with "home area" in a few places

(cherry picked from commit b5947b5b100f694c93857a82018fb0656d08be34)

shared/ask-password-api: do not show hint on echo

Giving --echo to systemd-ask-password allows to echo the user input instead
of masking it. This is useful when querying for usernames or similar.

Showing "(press TAB for no echo)" does not make sense there, so do not.
Note that pressing TAB or ESC still disables echo.

(cherry picked from commit ddee0e815ed5500722019bcb807957ea6846212d)

analyze: fix table time output

(cherry picked from commit 47cc458e97a3825d57462bad2ee854903364512e)

Support compiling with clang and gnu11 standard

Signed-off-by: Denis Pronin <dannftk@yandex.ru>
(cherry picked from commit 36e0d89a88c51ba879a2d7e2f90ea9b38333e2c0)

Typo fix

(cherry picked from commit 1cee1c52833fb6e3829e510109404852a17e5bdd)

Update Croatian translation (#15042)

(cherry picked from commit 51915ca447027249b6decb8a3333ed388fdfcca7)

boot: Ensure ARM UEFI binary does not contain FP/SIMD instructions

ARM toolchains will sometimes optimize otherwise floating-point-free
code with floating point and SIMD instructions.  This was happening with
systemd-bootarm.efi and it was causing U-Boot to crash and reset the
CPU.  U-Boot does not support the ARM VFP floating point coprocessor,
which is an optional piece of hardware anyway [1].

Ensure the compiler does not generate FP/SIMD instructions by supplying
the `-mgeneral-regs-only` option when building for ARM [2].

The other option you often see to solve these problems is
`-msoft-float`, but that changes the ABI and prevents linking with
libgnuefi.

[1] https://lists.denx.de/pipermail/u-boot/2011-February/087736.html
[2] https://gcc.gnu.org/onlinedocs/gcc/ARM-Options.html#index-mgeneral-regs-only-1

(cherry picked from commit 1ad6056239b70ce69ea70108cf4e49a05a9c2a1d)

core: Fix resolution of nested DM devices for cgroups

When using the cgroups IO controller, the device that is controlled
should always be the toplevel block device. This did not get resolved
correctly for an LVM volume inside a LUKS device, because the code would
only resolve one level of indirection.

Fix this by recursively looking up the originating block device for DM
devices.

Resolves: #15008

Fix typo on initrd-root-device.target

Merge pull request #15034 from keszybz/hwdb-update

NEWS: final contributor update for v245

Merge pull request #15022 from keszybz/make-units-remain-after-exit

Make units remain after exit

hwdb: update for v245

units: skip modprobe@.service if the unit appears to be already loaded

Possible alternative to #14819.

For me, setting RemainAfterExit=yes would be OK, but if people think that it
might cause issues, then this could be a reasonable alternative that still
let's us skip the invocation of the separate binary.

treewide: more portable bash shebangs

As in 2a5fcfae024ffc370bb780572279f45a1da3f946
and in 3e67e5c9928f8b1e1c5a63def88d53ed1fed12eb
using /usr/bin/env allows bash to be looked up in PATH
rather than being hard-coded.

As with the previous changes the same arguments apply
- distributions have scripts to rewrite shebangs on installation and
  they know what locations to rely on.
- For tests/compilation we should rather rely on the user to have setup
  there PATH correctly.

In particular this makes testing from git easier on NixOS where do not provide
/bin/bash to improve compose-ability.

Use Finished instead of Started for Type=oneshot services (#14851)

UnitStatusMessageFormats.finished_job, if present,
will be called with the same arguments as
job_get_done_status_message_format() to provide a format string
appropriate for the context

This commit replaces "Started" with "Finished" for started oneshot
units, as mentioned in the referenced issue

Closes #2458.

units: make systemd-network-generator.service stay around

Once done, its done, and shouldn't be run again.

Merge pull request #15013 from systemd/systemctl-list-dependencies

systemctl list-dependencies: fix duplicate output and take multiple arguments

Merge pull request #15023 from keszybz/network-generator-man

Man page for systemd-network-generator

systemctl: make list-dependencies take multiple arguments

Other similar commands do, no reason not to do this here too.

man: mention networkctl in the networkd man page

man: add systemd-network-generator.service(8)

It's a bit bare-bones, but it should be enough to point the reader in the right
direction.

units: restore RemainAfterExit=yes in systemd-vconsole-setup.service

This reverts the second part of 8125e8d38e3aa099c7dce8b0161997b8842aebdc.
The first part was reverted in 750e550eba362096d56a35104c6a32631aa67b8e.
The problem starts when s-v-s.s is pulled in by something that is then pulled
in by sysinit.target. Every time a unit is started, systemd recursively checks
all dependencies, and since sysinit.target is pull in by almost anything, we'll
start s-v-s.s over and over. In particular, plymouth-start.service currently
has Wants=s-v-s.s and After=s-v-s.s.

pid1: remove unnecessary terminator

We specify the number of items as the first argument already.

man: update list of supported controllers

units: do not ignore return value from systemd --user

This minus has been there since the unit was added in
d42d27ead91e470cb12986d928441e56c0f543ca. I think the idea was not cause things
to fail if the user instance doesn't work. But ignoring the return value
doesn't seem to be the right way to approach the problem. In particular, if
the program fails to run, we'll get a bogus fail state, see
https://bugzilla.redhat.com/show_bug.cgi?id=1727895#c1:

with the minus:
$ systemctl start user@1002
Job for user@1002.service failed because the service did not take the steps required by its unit configuration.
See "systemctl status user@1002.service" and "journalctl -xe" for details.

without the minus:
$ systemctl start user@1002
Job for user@1002.service failed because the control process exited with error code.
See "systemctl status user@1002.service" and "journalctl -xe" for details.

pid1, nspawn: voidify loopback_setup()

timesync, meson: allow statically linked build

Build option "link-timesyncd-shared" to build a statically linked
systemd-timesyncd by using

  -Dlink-udev-shared=false -Dlink-timesyncd-shared=false

on systems with full systemd stack except systemd-timesyncd, such
as RHEL/CentOS 8.

systemctl: do not print items twice in list-dependencies

Fixes https://bugzilla.redhat.com/show_bug.cgi?id=1807485.

make namespace_flags_to_string() not return empty string

This improves the following debug log.

Before:
systemd[1162]: Restricting namespace to: .

After:
systemd[1162]: Restricting namespace to: n/a.

Merge pull request #15009 from keszybz/version-and-doc-updates

Version and doc updates

Merge pull request #15002 from keszybz/sysusers-no-proc

Make systemd-sysusers work if /proc is unavailable

lgtm: drop the TMPDIR/meson workaround

The underlying issue seems to be fixed, so let's drop the now obsolete
workarounds.

Introduced in 65be7042a876ffe186a42ced04cde60ed81d3136

man: document that .link/.network/.netdev files have the usual ini syntax

Fixes #1266.

docs: add .link/.network/.netdev files to interface stability chart

Fixes #9850.

man: document the default value for IPv6AcceptRA=

Fixes #14121.

man: specify that Domains= is a space-separated list

Fixes #14998.

hwdb: add corrections for Olimex Teres-I to keyboard hwdb

The firmware of the Olimex Teres-I (a DIY laptop kit) seems to have wrong
scancodes.

Fixes #15003.

tree-wide: fix spelling of lookup and setup verbs

"set up" and "look up" are the verbs, "setup" and "lookup" are the nouns.

tree-wide: drop printk.devkmsg=on setting in various places

Since 6123dfaa72 this should not be necessary anymore.

man,mkosi: use glibc-minimal-langpack for Fedora

This saves ~24MB of space, see
https://fedoraproject.org/wiki/Changes/Remove_glibc-langpacks-all_from_buildroot.

man: bump fedora versions

Merge pull request #14874 from bluca/portable_detach_now_block

portablectl: block when stopping a unit on detach (--now)

hwdb: 60-sensor.hwdb: Add proximity sensor udev property (#14845)

Devices with proximity sensors can specify a near level that
indicates when an object is considered close to the device.

selinux: check return value of string_to_security_class()

This should never happen, but better safe than sorry.

drop unused translations

update Russian translation

sysusers: do not require /proc to be mounted

We're operating on known paths in root-owned directories here, so the detour
through toctou-safe methods that require /proc to be mounted is not necessary.
Should fix https://bugzilla.redhat.com/show_bug.cgi?id=1807768.

NEWS: Use correct tense in v245 entry

basic/fs-util: add a version of chmod_and_chown that doesn not use  /proc

sysusers: many different errnos to express one condition

See https://bugzilla.redhat.com/show_bug.cgi?id=1807768. It turns
out that sysusers cannot query if the group exists:
Failed to check if group dnsmasq already exists: No such process
...
Failed to check if group systemd-timesync already exists: No such process

When the same command is executed later, the issue does not occur. Not sure why
the behaviour in the initial transaction is different. But let's accept all
errors that the man pages list. We check if the user/group exists before creating
anyway, so this seems pretty safe.

NEWS: two minor entries

NEWS: update contributors list

hwdb: update for v245-rc2

network: Move config_parse_ip_service_type to networkd-dhcp4.c and
rename