journal/compress: remove loop in decompress_startswith_zstd()

This should be more efficient with no downsides. Same considerations as in the
previous commit hold.

journal/compress: fix zstd decompression with capped output size

decompress_blob_zstd() would allocate ever bigger buffers in a loop trying to
get a buffer big enough to decompress the input data. This is wasteful, since
we can just query the size of the decompressed data from the compressed header.
Worse, it doesn't work when the output size is capped, i.e. when dst_max != 0.
If the decompressed blob happened to be bigger than dst_max, decompression
would fail with -ENOBUFS. We need to use "stream decompression" instead, and
only get min(uncompressed size, dst_max) bytes of output.

Fixes https://bugzilla.redhat.com/show_bug.cgi?id=1856037 in a second way.

journal: use -EPROTONOSUPPORT for unknown compression

We might add more compression types in the future, and we should treat that
as unsupported, and not a format error.

sd-journal: when enumerating, continue even after an inaccessible field

SD_JOURNAL_FOREACH_DATA() and SD_JOURNAL_FOREACH_UNIQUE() would immediately
terminate when a field couldn't be accessed. This can happen for example when a
field is compressed with an unavailable compression format. But it's likely
that this is the wrong thing to do: the caller for example might want to
iterate over the fields but isn't interested in all of them. coredumpctl is
like this: it uses SD_JOURNAL_FOREACH_DATA() but only uses a subset of the
fields.

Add two new functions sd_journal_enumerate_good_data() and
sd_journal_enumerate_good_unique() that retry sd_journal_enumerate_data() and
sd_journal_enumerate_unique() if the return value is something that applies to
a single field: ENOBUS, E2BIG, EOPNOTSUPP.

Fixes https://bugzilla.redhat.com/show_bug.cgi?id=1856037.

An alternative would be to make the macros themselves smarter instead of adding
new symbols, and do the looping internally in the macro. I don't like that
approach for two reasons. First, it would embed the logic in the macro, so
recompilation would be required if we decide to update the logic. With the
current version of the patch, recompilation is required to use the new symbols,
but after that, library upgrades are enough. So the current approach is safer
in case further updates are needed. Second, our headers use primitive C, and it
is hard to do the macros without using newer features.

Merge pull request #16490 from yuwata/network-radv-ndisc-cleanups

network: cleanups for radv and ndisc

Merge pull request #16491 from keszybz/udev-logging

Improvements to udev logging and related code

tree-wide: use SYNTHETIC_ERRNO with log_device_* in more places

sd-device: use LOG_PRI() in log_device_full()

We use LOG_PRI() in all log_*() functions, so let's do that here too for
consistency. Effectively this doesn't change anything since we only use
LOG_{INFO,DEBUG,...} as the argument.

analyze: CAP_RAWIO -> CAP_SYS_RAWIO

Fixes #16489

udev: don't complain when udev_watch_end() is called without udev_watch_init()

E.g. udevadm test prints "Invalid inotify descriptor." which is
meaningless without any context. I think it should be OK to call udev_watch_end()
from a cleanup path without any warning (even at debug level).

basic/string-table: reduce variable scope

udevadm: use STR_IN_SET(), add comment

sd-device: use strjoin instead of asprintf

strjoin should be faster for string concatenation.
Also drop "_"-prefix from function prototypes.

udev: tweak debug logs for udev rules

We shouldn't say "ignoring" when running a program because the result is used for
the match/nomatch result of the rule.

man: add more details for IMPORT, PROGRAM and RUN keys

967de8faceaa83c11a1215515cb135d7a8c0c32c added a note that I found very hard
to understand. Reword it, and also describe how IMPORT and PROGRAM are different
from RUN.

Minor markup adjustements too.

udev: accept OPTIONS+= without any fuss

There is no reason to consider this wrong. In fact one could argue that +=
is more appropriate, because we always add to options, and not replace previous
assignments. If we output a debug message, we implicitly ask people to "fix" this,
and we shouldn't.

Also, all our rules use += right now.

udev: accept IMPORT{}= without any fuss

Udev logs are full of messages about wrong operator type:
...
Reading rules file: /usr/lib/udev/rules.d/60-persistent-storage.rules
/usr/lib/udev/rules.d/60-persistent-storage.rules:30 IMPORT key takes '==' or '!=' operator, assuming '=='.
/usr/lib/udev/rules.d/60-persistent-storage.rules:30 IMPORT key takes '==' or '!=' operator, assuming '=='.
/usr/lib/udev/rules.d/60-persistent-storage.rules:30 IMPORT key takes '==' or '!=' operator, assuming '=='.
/usr/lib/udev/rules.d/60-persistent-storage.rules:30 IMPORT key takes '==' or '!=' operator, assuming '=='.
/usr/lib/udev/rules.d/60-persistent-storage.rules:30 IMPORT key takes '==' or '!=' operator, assuming '=='.
/usr/lib/udev/rules.d/60-persistent-storage.rules:30 IMPORT key takes '==' or '!=' operator, assuming '=='.
/usr/lib/udev/rules.d/60-persistent-storage.rules:54 IMPORT key takes '==' or '!=' operator, assuming '=='.
/usr/lib/udev/rules.d/60-persistent-storage.rules:57 IMPORT key takes '==' or '!=' operator, assuming '=='.
/usr/lib/udev/rules.d/60-persistent-storage.rules:60 IMPORT key takes '==' or '!=' operator, assuming '=='.
/usr/lib/udev/rules.d/60-persistent-storage.rules:63 IMPORT key takes '==' or '!=' operator, assuming '=='.
/usr/lib/udev/rules.d/60-persistent-storage.rules:66 IMPORT key takes '==' or '!=' operator, assuming '=='.
/usr/lib/udev/rules.d/60-persistent-storage.rules:67 IMPORT key takes '==' or '!=' operator, assuming '=='.
/usr/lib/udev/rules.d/60-persistent-storage.rules:93 IMPORT key takes '==' or '!=' operator, assuming '=='.
/usr/lib/udev/rules.d/60-persistent-storage.rules:107 IMPORT key takes '==' or '!=' operator, assuming '=='.
/usr/lib/udev/rules.d/60-persistent-storage.rules:110 IMPORT key takes '==' or '!=' operator, assuming '=='.
/usr/lib/udev/rules.d/60-persistent-storage.rules:113 IMPORT key takes '==' or '!=' operator, assuming '=='.
Reading rules file: /usr/lib/udev/rules.d/60-persistent-v4l.rules
/usr/lib/udev/rules.d/60-persistent-v4l.rules:7 IMPORT key takes '==' or '!=' operator, assuming '=='.
/usr/lib/udev/rules.d/60-persistent-v4l.rules:9 IMPORT key takes '==' or '!=' operator, assuming '=='.
/usr/lib/udev/rules.d/60-persistent-v4l.rules:16 IMPORT key takes '==' or '!=' operator, assuming '=='.
...

The warning was downgraded in f0beb6f816035e438d684cc52ae76fc4a44fc197, but I
think it should be removed altogether. IMPORT{program}="asdf" seems like an
obvious way to write this, and people don't expect to have to write "==".
So let's just allow any operator.

network: ndisc: any failures in processing event make the link in failed state

Also adjust log levels.

network: radv: clean up conf parsers

network: downgrade log level in conf parsers

Merge pull request #16485 from bluca/nspawn_os_release_mounts

Follow-up for comments on #15891

Merge pull request #16482 from poettering/coverity-246

two coverity fixes

nspawn: mount os-release in two steps to make it read-only

The kernel interface requires setting up read-only bind-mounts in
two steps, the bind first and then a read-only remount.
Fix nspawn-mount, and cover this case in the integration test.

Fixes #16484

nspawn: use access/F_OK instead of stat to check for file existence

shared/os-util: fix comment style to follow guidelines

basic/mkdir: use uid_is_valid instead of manual check

Merge pull request #16483 from poettering/man-env-d-no-session

man: three minor fixes to environment.d/ man page

Merge pull request #16480 from yuwata/network-fix-dhcp4-races

network: fix two minor races in DHCP4 handling

man: configuration files contain assignments, no directories

man: GNOME is usually capitalized

man: don't claim environment.d/ was about sessions

This only sets the environment for user *services*, it has no effect on
sessions, as those get an env block set up by whatever program sets them
up and not systemd.

Revert "selinux: cache enforced status and treat retrieve failure as enforced mode"

This reverts commit 257188f80ce1a083e3a88b679b898a73fecab53b.

machine: fix if check

Fixes: coverity 1430462

execute: fix if check

Fixes: coverity 1430459

dhcp4: only renewing lease when the client already has a lease

Follow-up for ceaec54a3c8366e81863a7d0d9c1f1d9f09960e1.

Hopefully fixes #16299.

load-fragment: downgrade log messages we ignore to LOG_WARNING

We typically don't log above LOG_WARNING about issues we then go on to
ignore. Do so here, too

mountpoint-util: fix error handling

network: dhcp4: add two warnings

network: dhcp4: fix another race with SendDecline=yes

If the SD_IPV4ACD_EVENT_BIND event happens before all routes are
assigned, then the link stuck in configuring state.

network: dhcp4: also release old lease in dhcp_lease_lost()

The lease lost may happen during renewing address. If it happens,
assertion hits in dhcp4_release_old_lease().

core: fix invalid assertion

We miscounted here, and would hit an assert once too early.

network: fix typo

update TODO

Merge pull request #16396 from yuwata/network-configured-flag

network: about xxx_configured flags

Merge pull request #16468 from keszybz/two-unrelated-patches

Two unrelated patches

network: drop doubled white space

network: free address when it is removed

network: dhcp4: do not assign new address before old one is not removed

If DHCP4 client lost a lease, and then soon acquire new lease, then
the removal of the old address may not be completed. If that happens,
and the new and old addresses are the same, then the new address will be
considered as a foreign address. Such a situation can occur when the
DHCP4 server is restarted.

This makes networkd wait for the removal of the old address when a new
lease is acquired.

This also makes the link in configuring state when renewing address.

network: do not call link_check_ready() in link_request_set_routing_policy_rule()

It will be called in link_request_set_nexthop() or serveral handlers().

network: make link_request_set_nexthop() called from link_request_set_routes() or route_handler()

Then we can drop static_routes_ready() flag.

network: do not make link in configured state when no address is assigned

When DHCP6 and RA are enabled, and RA does not provide any addresses,
then link may become configured state even if no address is assigned,
due to the time-lag between RA completion and DHCP reply.
This makes if DHCP is explicitly enabled, then link must have at least
one valid address to be in the configured state.

network: ndisc: split ndisc_configured flag into for addresses and routes

network: ndisc: do not ignore remaining addresses

Follow-up for c24c83dc67a63c88b0a537f4fa7f605b1fcbac39.

test-network: wait for addresses are not in tentative state

network: add debugging log why link is not in configured state yet

test-network: check assigned address is not tentative state

test-network: set IPv6AcceptRA=no if no dynamic addresses are not required

network: make link_request_set_nexthop() static

network: add a debugging log

network: include error code in the log message

network: set dhcp6_xxx_configured flag after routes/addresses are assigned

logs: when embedding catalog info in log output use a dash of color and unicode

let's separate things out a bit, to make it easier to discern log output
and catalog data.

catalog data is now colored green (which is a color we don't use for log
data currently), and prefixed with a block shade.

Merge pull request #16398 from poettering/machined-varlink

machined: move UID/GID resolution logic to userdb, i.e. from nss-mymachines to nss-systemd

timer: Adjust calendar timers based on monotonic timer instead of realtime

When the RTC time at boot is off in the future by a few days, OnCalendar=
timers will be scheduled based on the time at boot. But if the time has been
adjusted since boot, the timers will end up scheduled way in the future, which
may cause them not to fire as shortly or often as expected.

Update the logic so that the time will be adjusted based on monotonic time.
We do that by calculating the adjusted manager startup realtime from the
monotonic time stored at that time, by comparing that time with the realtime
and monotonic time of the current time.

Added a test case to validate this works as expected. The test case creates a
QEMU virtual machine with the clock 3 days in the future. Then we adjust the
clock back 3 days, and test creating a timer with an OnCalendar= for every 15
minutes. We also check the manager startup timestamp from both `systemd-analyze
dump` and from D-Bus.

Test output without the corresponding code changes that fix the issue:

  Timer elapse outside of the expected 20 minute window.
    next_elapsed=1594686119
    now=1594426921
    time_delta=259198

With the code changes in, the test passes as expected.

Revert "ci: turn off the "upstream-systemd-ci" ppa"

This reverts commit d4ff79bbe1f33fb17e7add3bd520c08f405a79b1.

test: Add "finish" rule to .PHONY

Merge pull request #16462 from keszybz/rpm-macro-warnings

Emit better errors for rpm macro misuse

test-fs-util: use log_info instead of printf

The test is failing in koji, and the line from printf() does not end up
in the logs for some reason. log_info() works fine, so let's just use
that here too.

ci: turn off the "upstream-systemd-ci" ppa

Judging by https://launchpad.net/~upstream-systemd-ci/+archive/ubuntu/systemd-ci/+packages,
it got updated about 15 hours ago and the "build check" action has been
failing with
```
The following packages have unmet dependencies:
 kbd : Depends: console-setup but it is not going to be installed or
E: Unable to correct problems, you have held broken packages.
                console-setup-mini but it is not going to be installed
```
since then

Merge pull request #16340 from keszybz/var-tmp-readonly

Create ro private /var/tmp dir when /var/tmp is read-only

pid1: create ro private tmp dirs when /tmp or /var/tmp is read-only

Read-only /var/tmp is more likely, because it's backed by a real device. /tmp
is (by default) backed by tmpfs, but it doesn't have to be. In both cases the
same consideration applies.

If we boot with read-only /var/tmp, any unit with PrivateTmp=yes would fail
because we cannot create the subdir under /var/tmp to mount the private directory.
But many services actually don't require /var/tmp (either because they only use
it occasionally, or because they only use /tmp, or even because they don't use the
temporary directories at all, and PrivateTmp=yes is used to isolate them from
the rest of the system).

To handle both cases let's create a read-only directory under /run/systemd and
mount it as the private /tmp or /var/tmp. (Read-only to not fool the service into
dumping too much data in /run.)

$ sudo systemd-run -t -p PrivateTmp=yes bash
Running as unit: run-u14.service
Press ^] three times within 1s to disconnect TTY.
[root@workstation /]# ls -l /tmp/
total 0
[root@workstation /]# ls -l /var/tmp/
total 0
[root@workstation /]# touch /tmp/f
[root@workstation /]# touch /var/tmp/f
touch: cannot touch '/var/tmp/f': Read-only file system

This commit has more changes than I like to put in one commit, but it's touching all
the same paths so it's hard to split.
exec_runtime_make() was using the wrong cleanup function, so the directory would be
left behind on error.

man: document F1 in sd-boot too

As suggested in https://github.com/systemd/systemd/issues/15125#issuecomment-658114524.

rpm: include macro name in errors for two args macros too

rpm: adjust various macros to print macro name in the error message

Based on initial patch by Jan Engelhardt <jengelh@inai.de>.

Fixes https://bugzilla.redhat.com/show_bug.cgi?id=1856122.

Merge pull request #16430 from mikhailnov/fix-rpm-create-package-macros

Fix RPM *_create_package macros

update TODO

nss-mymachines: drop support for UID/GID resolving

Now that we make the user/group name resolving available via userdb and
thus nss-systemd, we do not need the UID/GID resolving support in
nss-mymachines anymore. Let's drop it hence.

We keep the module around, since besides UID/GID resolving it also does
hostname resolving, which we care about. (One of those days we should
replace that by some Varlink logic between
nss-resolve/systemd-resolved.service too)

The hooks are kept in the NSS module, but they do not resolve anything
anymore, in order to keep compat at a maximum.

man: document new varlink service

machined: implement user/group lookup varlink API in machined too

Let's natively support our own API in machined too.

This allows us to remove half of nss-mymachines in a later commit.

machined: refactor UID/GID machine translation

Let's move the heavy lifting out of the bus call implemntations, and
into generic code.

This allows us to expose them easily via Varlink too in a later commit.

process-util: make sure procfs_file_alloca() works for non-literal field names too

docs: permit user/group services that do not support enumeration

sssd people don't like enumeration and for some other cases it's not
nice to support either, in particular when synthesizing records for
container/userns UID/GID ranges.

Hence, let's make enumeration optional.

update TODO

analyze: make testing ConditionPathExistsGlob= work

Fixes: #16439
Alternative-To: #16440

update TODO

udevadm: beef up deprecation log warning

Let's add a catalog entry explaining further details.

Most importantly though: talk to PID 1 directly, via the private D-Bus
socket, so that this actually works correctly during early boot, where
D-Bus is not around.

meson: do not install testdata when -Dinstall-tests=false

Fixes #16447.

Update .clang-format

Make the instructions slightly easier to read

Merge pull request #16437 from systemd/coverity-gcc-10

coverity: switch back to Fedora 31

coverity: install systemd

Apparently systemd is no longer installed in fedora containers
by default

```
docker: Error response from daemon: OCI runtime create failed: container_linux.go:348:
starting container process caused "exec: \"/sbin/init\": stat /sbin/init: no such file or directory": unknown.
The command "$CI_MANAGERS/fedora.sh SETUP" failed and exited with 127 during .
```

coverity: switch back to Fedora 31

Apparently 6 days ago fedora:latest started to point to fedora:32,
which comes with gcc-10. Coverity doesn't support it yet.

repart: include more relevant information in the warning message, fix test

The test would always fail with a long uname. In F33 this is right
now "5.8.0-0.rc2.20200622git625d3449788f.1.fc33.x86_64" which caused the
test to always fail.

Merge pull request #16435 from gaoyi1988/master

fix multi matches when use "||"

NEWS: mention source mode for MACVLAN or MACVTAP

Merge pull request #16432 from cgzones/selinux_err_fix

SELlinux followup error/logging fixes

test: add test case for multi matches when use "||"

Signed-off-by: gaoyi <ymuemc@163.com>

udev: specify the end of value

NULSTR_FOREACH may read the illegal match

Signed-off-by: gaoyi <ymuemc@163.com>

bus: use bus_log_parse_error to print message

namespace: unify logging in mount_tmpfs

Fixes: abad72be4df9d5a13ceecd5b4d073adb370882b7
Follow up: #16426