network: set dhcp6_xxx_configured flag after routes/addresses are assigned

logs: when embedding catalog info in log output use a dash of color and unicode

let's separate things out a bit, to make it easier to discern log output
and catalog data.

catalog data is now colored green (which is a color we don't use for log
data currently), and prefixed with a block shade.

Merge pull request #16398 from poettering/machined-varlink

machined: move UID/GID resolution logic to userdb, i.e. from nss-mymachines to nss-systemd

timer: Adjust calendar timers based on monotonic timer instead of realtime

When the RTC time at boot is off in the future by a few days, OnCalendar=
timers will be scheduled based on the time at boot. But if the time has been
adjusted since boot, the timers will end up scheduled way in the future, which
may cause them not to fire as shortly or often as expected.

Update the logic so that the time will be adjusted based on monotonic time.
We do that by calculating the adjusted manager startup realtime from the
monotonic time stored at that time, by comparing that time with the realtime
and monotonic time of the current time.

Added a test case to validate this works as expected. The test case creates a
QEMU virtual machine with the clock 3 days in the future. Then we adjust the
clock back 3 days, and test creating a timer with an OnCalendar= for every 15
minutes. We also check the manager startup timestamp from both `systemd-analyze
dump` and from D-Bus.

Test output without the corresponding code changes that fix the issue:

  Timer elapse outside of the expected 20 minute window.
    next_elapsed=1594686119
    now=1594426921
    time_delta=259198

With the code changes in, the test passes as expected.

Revert "ci: turn off the "upstream-systemd-ci" ppa"

This reverts commit d4ff79bbe1f33fb17e7add3bd520c08f405a79b1.

test: Add "finish" rule to .PHONY

Merge pull request #16462 from keszybz/rpm-macro-warnings

Emit better errors for rpm macro misuse

ci: turn off the "upstream-systemd-ci" ppa

Judging by https://launchpad.net/~upstream-systemd-ci/+archive/ubuntu/systemd-ci/+packages,
it got updated about 15 hours ago and the "build check" action has been
failing with
```
The following packages have unmet dependencies:
 kbd : Depends: console-setup but it is not going to be installed or
E: Unable to correct problems, you have held broken packages.
                console-setup-mini but it is not going to be installed
```
since then

Merge pull request #16340 from keszybz/var-tmp-readonly

Create ro private /var/tmp dir when /var/tmp is read-only

pid1: create ro private tmp dirs when /tmp or /var/tmp is read-only

Read-only /var/tmp is more likely, because it's backed by a real device. /tmp
is (by default) backed by tmpfs, but it doesn't have to be. In both cases the
same consideration applies.

If we boot with read-only /var/tmp, any unit with PrivateTmp=yes would fail
because we cannot create the subdir under /var/tmp to mount the private directory.
But many services actually don't require /var/tmp (either because they only use
it occasionally, or because they only use /tmp, or even because they don't use the
temporary directories at all, and PrivateTmp=yes is used to isolate them from
the rest of the system).

To handle both cases let's create a read-only directory under /run/systemd and
mount it as the private /tmp or /var/tmp. (Read-only to not fool the service into
dumping too much data in /run.)

$ sudo systemd-run -t -p PrivateTmp=yes bash
Running as unit: run-u14.service
Press ^] three times within 1s to disconnect TTY.
[root@workstation /]# ls -l /tmp/
total 0
[root@workstation /]# ls -l /var/tmp/
total 0
[root@workstation /]# touch /tmp/f
[root@workstation /]# touch /var/tmp/f
touch: cannot touch '/var/tmp/f': Read-only file system

This commit has more changes than I like to put in one commit, but it's touching all
the same paths so it's hard to split.
exec_runtime_make() was using the wrong cleanup function, so the directory would be
left behind on error.

rpm: include macro name in errors for two args macros too

rpm: adjust various macros to print macro name in the error message

Based on initial patch by Jan Engelhardt <jengelh@inai.de>.

Fixes https://bugzilla.redhat.com/show_bug.cgi?id=1856122.

Merge pull request #16430 from mikhailnov/fix-rpm-create-package-macros

Fix RPM *_create_package macros

update TODO

nss-mymachines: drop support for UID/GID resolving

Now that we make the user/group name resolving available via userdb and
thus nss-systemd, we do not need the UID/GID resolving support in
nss-mymachines anymore. Let's drop it hence.

We keep the module around, since besides UID/GID resolving it also does
hostname resolving, which we care about. (One of those days we should
replace that by some Varlink logic between
nss-resolve/systemd-resolved.service too)

The hooks are kept in the NSS module, but they do not resolve anything
anymore, in order to keep compat at a maximum.

man: document new varlink service

machined: implement user/group lookup varlink API in machined too

Let's natively support our own API in machined too.

This allows us to remove half of nss-mymachines in a later commit.

machined: refactor UID/GID machine translation

Let's move the heavy lifting out of the bus call implemntations, and
into generic code.

This allows us to expose them easily via Varlink too in a later commit.

process-util: make sure procfs_file_alloca() works for non-literal field names too

docs: permit user/group services that do not support enumeration

sssd people don't like enumeration and for some other cases it's not
nice to support either, in particular when synthesizing records for
container/userns UID/GID ranges.

Hence, let's make enumeration optional.

update TODO

analyze: make testing ConditionPathExistsGlob= work

Fixes: #16439
Alternative-To: #16440

update TODO

udevadm: beef up deprecation log warning

Let's add a catalog entry explaining further details.

Most importantly though: talk to PID 1 directly, via the private D-Bus
socket, so that this actually works correctly during early boot, where
D-Bus is not around.

meson: do not install testdata when -Dinstall-tests=false

Fixes #16447.

Update .clang-format

Make the instructions slightly easier to read

Merge pull request #16437 from systemd/coverity-gcc-10

coverity: switch back to Fedora 31

coverity: install systemd

Apparently systemd is no longer installed in fedora containers
by default

```
docker: Error response from daemon: OCI runtime create failed: container_linux.go:348:
starting container process caused "exec: \"/sbin/init\": stat /sbin/init: no such file or directory": unknown.
The command "$CI_MANAGERS/fedora.sh SETUP" failed and exited with 127 during .
```

coverity: switch back to Fedora 31

Apparently 6 days ago fedora:latest started to point to fedora:32,
which comes with gcc-10. Coverity doesn't support it yet.

repart: include more relevant information in the warning message, fix test

The test would always fail with a long uname. In F33 this is right
now "5.8.0-0.rc2.20200622git625d3449788f.1.fc33.x86_64" which caused the
test to always fail.

Merge pull request #16435 from gaoyi1988/master

fix multi matches when use "||"

NEWS: mention source mode for MACVLAN or MACVTAP

Merge pull request #16432 from cgzones/selinux_err_fix

SELlinux followup error/logging fixes

test: add test case for multi matches when use "||"

Signed-off-by: gaoyi <ymuemc@163.com>

udev: specify the end of value

NULSTR_FOREACH may read the illegal match

Signed-off-by: gaoyi <ymuemc@163.com>

bus: use bus_log_parse_error to print message

namespace: unify logging in mount_tmpfs

Fixes: abad72be4df9d5a13ceecd5b4d073adb370882b7
Follow up: #16426

shared: fix error handling in make_inaccessible_nodes

_label wrappers return -errno on failure instead of returning -1 and
setting global errno.

Fixes: 8d9cbd809db492df9d94c0c664bd0d2e53416531
Follow up: #16426

rpm: avoid hiding errors and output in *_create_package macros

Commit b0ca726585 "rpm: avoid hiding errors from systemd commands" remove hiding errors and output
for other macros, but did not do that for %sysusers_create_package and %tmpfiles_create_package.

This change syncs their behaviour with %sysusers_create and %tmpfiles_create

Signed-off-by: Mikhail Novosyolov <m.novosyolov@rosalinux.ru>

rpm: avoid odd symbols in EOF indicator

The last line in this macros was actually "SYSTEMD_INLINE_EOF " with a space at the end,
but the shell was instructed to look for a line without space.

Macros %sysusers_create_inline and %tmpfiles_create_inline did not have this mistake.

An example:
[root@rosa-2019 bind-server]# cat /etc/passwd | grep named
[root@rosa-2019 bind-server]# cat /tmp/bs
systemd-sysusers --replace=/usr/lib/sysusers.d/named.conf - <<SYSTEMD_INLINE_EOF >/dev/null 2>&1 || :
u named - "BIND DNS Server" /var/lib/named
g named - -
m named named
SYSTEMD_INLINE_EOF
[root@rosa-2019 bind-server]# sh /tmp/bs
/tmp/bs: line 5: warning: here-document at line 1 delimited by end-of-file (wanted `SYSTEMD_INLINE_EOF')
[root@rosa-2019 bind-server]# bash /tmp/bs
/tmp/bs: line 5: warning: here-document at line 1 delimited by end-of-file (wanted `SYSTEMD_INLINE_EOF')
[root@rosa-2019 bind-server]# bash --version
GNU bash, version 5.0.17(1)-release (x86_64-openmandriva-linux-gnu)

The user and group named were NOT created!

Now I remove the trailing space after "SYSTEMD_INLINE_EOF" and rerun:
[root@rosa-2019 bind-server]# sh /tmp/bs
[root@rosa-2019 bind-server]# tail -n 1 /etc/group
named:x:485:named
[root@rosa-2019 bind-server]#

The user and group have been created correctly.

Signed-off-by: Mikhail Novosyolov <m.novosyolov@rosalinux.ru>

Merge pull request #16424 from keszybz/cap-bpf-compat

Handle new capabilities gracefully

Merge pull request #16426 from cgzones/run_user_label

selinux: create standard user-runtime nodes with default context

man: fix some manvolnum

namespace: fix MAC labels of TemporaryFileSystem=

Reproducible with:
  systemd-run -p TemporaryFileSystem=/root -t /bin/bash
    ls -dZ /root

Prior:
  root:object_r:tmpfs_t:s0 /root
Past:
  root:object_r:user_home_dir_t:s0 /root

selinux: create standard user-runtime nodes with default context

Currently systemd-user-runtime-dir does not create the files in
/run/user/$UID/systemd/inaccessible with the default SELinux label.
The user and role part of these labels should be based on the user
related to $UID and not based on the process context of
systemd-user-runtime-dir.

Since v246-rc1 (9664be199af6) /run/user/$UID/systemd is also created by
systemd-user-runtime-dir and should also be created with the default
SELinux context.

basic: add helper function mknod_label()

NEWS: grammar improvements (#16413)

Added MSI Prestige15 A10SC specific keycodes

This commit enables the microphone mute button and the screen rotate button, even if the latter is improperly linked. I have documented how to achieve this in https://wiki.archlinux.org/index.php/MSI_P15#Fn_Keys .

Add support for HP Elitebook x360 1040 G6 micmute button

Explain how to determine hierarchy type from shell

This makes it easier for people than just recommending the syscall.

basic/cap-list: reduce scope of variables

basic/capability-util: let cap_last_cap() return unsigned integer

We never return anything higher than 63, so using "long unsigned"
as the type only confused the reader. (We can still use "long unsigned"
and safe_atolu() to parse the kernel file.)

basic/cap-list: parse/print numerical capabilities

We would refuse to print capabilities which were didn't have a name
for. The kernel adds new capabilities from time to time, most recently
cap_bpf. 'systmectl show -p CapabilityBoundingSet ...' would fail with
"Failed to parse bus message: Invalid argument" because
capability_set_to_string_alloc() would fail with -EINVAL. So let's
print such capabilities in hexadecimal:

CapabilityBoundingSet=cap_chown cap_dac_override cap_dac_read_search
  cap_fowner cap_fsetid cap_kill cap_setgid cap_setuid cap_setpcap
  cap_linux_immutable cap_net_bind_service cap_net_broadcast cap_net_admin
  cap_net_raw cap_ipc_lock cap_ipc_owner 0x10 0x11 0x12 0x13 0x14 0x15 0x16
  0x17 0x18 0x19 0x1a ...

For symmetry, also allow capabilities that we don't know to be specified.

Fixes https://bugzilla.redhat.com/show_bug.cgi?id=1853736.

install: fix wrong data type

NEWS: drop duplicate entry, add --image= entry

NEWS: add date

userdb: fix dlopen call

The call would always fail with:
systemd-userwork[780]: Failed to dlopen(libnss_systemd.so.2), ignoring: /usr/lib64libnss_systemd.so.2: cannot open shared object file: No such file or directory

Merge pull request #16411 from ddstreet/bridge_without_carrier_fails

Bridge without carrier fails

NEWS: add blurb about os-release and $container_host_*

Merge pull request #15891 from bluca/host_os_release

Container Interface: expose the host's os-release metadata to nspawn and portable guests

test-netowrk: in test_bridge_configure_without_carrier, avoid strange test failures

For some reason the wait-online is failing intermittently; it's unclear
exactly why, but this hopefully avoids the failure for unrelated PR.

This is a workaround (not fix) for #16105

Merge pull request #16405 from sipraga/master

Merge pull request #15955 from anitazha/nullorempty

core: check null_or_empty_path for masked units instead of /dev/null

test-network: don't print networkctl output for passing subtests

This just clutters up the logs.

Merge pull request #16404 from keszybz/release-246-prep

Prepare v246-rc1

test: bump the TEST-47 sleeps once again

Several recent failed runs show that the test is still racy in two ways:

1) Sometimes it takes a while before the PID file is created, leading
   to:

```
[   10.950540] testsuite-47.sh[308]: ++ cat /leakedtestpid
[   10.959712] testsuite-47.sh[308]: cat: /leakedtestpid: No such file or directory
[   10.959824] testsuite-47.sh[298]: + leaked_pid=
```

2) Again, sometimes we check the leaked PID before the unit is actually
   stopped, leading to a false negative:

```
[   18.099599] testsuite-47.sh[346]: ++ cat /leakedtestpid
[   18.116462] testsuite-47.sh[333]: + leaked_pid=342
[   18.117101] testsuite-47.sh[333]: + systemctl stop testsuite-47-repro
...
[   20.033907] testsuite-47.sh[333]: + ps -p 342
[   20.080050] testsuite-47.sh[351]:     PID TTY          TIME CMD
[   20.080050] testsuite-47.sh[351]:     342 ?        00:00:00 sleep
[   20.082040] testsuite-47.sh[333]: + exit 42
```

network: add support for MACVLAN source mode

Add support for creating a MACVLAN interface in "source" mode by
specifying Mode=source in the [MACVLAN] section of a .netdev file.

A list of allowed MAC addresses for the corresponding MACVLAN can also
be specified with the SourceMACAddress= option of the [MACVLAN] section.

An example .netdev file:

    [NetDev]
    Name=macvlan0
    Kind=macvlan
    MACAddress=02:DE:AD:BE:EF:00

    [MACVLAN]
    Mode=source
    SourceMACAddress=02:AB:AB:AB:AB:01 02:CD:CD:CD:CD:01
    SourceMACAddress=02:EF:EF:EF:EF:01

The same keys can also be specified in [MACVTAP] for MACVTAP kinds of
interfaces, with the same semantics.

meson: bump version numbers for v246

NEWS: update contributors list for v246-rc

git-contrib: simplify implementation a bit

core: wrap some long lines and other formatting changes

Merge pull request #16385 from JackFangXN/master

table add table_log_xx_error()

sd-device: use log_device_debug_errno()

table use table_log_print_error() instead of table_log_show_error

table add table_log_sort_error()

table add table_log_show_error()

Merge pull request #16379 from yuwata/network-dhcp6-delegated-prefix-address-handler

network: fix assertion in assigning dhcp6 delegated prefix

docs: update information where to file bugs against RHEL/CentOS versions of systemd

Merge pull request #16143 from fbuihuu/fstab-generator-fix

fstab-generator: make sure explicit deps configured via mount options apply to .mount, not .automount unit

add error message when bind mount src missing

network: make address_handler() static

network: introduce own address handler for dhcp6 delegated prefix

Fixes #16365.

Merge pull request #16301 from poettering/firstboot-image

Add --image= switch to firstboot, similar to --root= but with support for operating on disk image

Merge pull request #16388 from keszybz/xdg-desktop-fuzz-case

xdg-desktop fuzz case

Merge pull request #16390 from keszybz/coverity-and-typos

One coverity-inspired fix and spelling

xdg-autostart: ignore all empty entries in multi-string entries

The desktop file specification allows entries like ";;;;;;", full of empty strings.
But looking at the actual list of supported keys [1], empty entries are meaningless
(unless we would allow e.g. the desktop name to be the empty string. But that doesn't
seem very useful either). So let's just simplify our life and skip any empty substrings
entirely.

This would also resolve the fuzzer case:
$ valgrind build/fuzz-xdg-desktop test/fuzz/fuzz-xdg-desktop/oss-fuzz-22812
test/fuzz/fuzz-xdg-desktop/oss-fuzz-22812... ok
==2899241== HEAP SUMMARY:
==2899241==     in use at exit: 0 bytes in 0 blocks
==2899241==   total heap usage: 484,385 allocs, 484,385 frees, 12,411,330 bytes allocated
↓
==2899650== HEAP SUMMARY:
==2899650==     in use at exit: 0 bytes in 0 blocks
==2899650==   total heap usage: 1,325 allocs, 1,325 frees, 1,463,602 bytes allocated

man: match parentheses

Files found with:
for f in *; do \
    l=`tr -d '[^(]' < $f | wc -c`; \
    r=`tr -d '[^)]' < $f | wc -c`; \
    if [ $l -ne $r ]; then \
       echo $f $l $r; \
    fi; \
done

xdg-autostart: avoid quadratic behaviour in strv parsing

The fuzzer test case has a giant line with ";;;;;;;;;;;..." which is turned into
a strv of empty strings. Unfortunately, when pushing each string, strv_push() needs
to walk the whole array, which leads to quadratic behaviour. So let's use
greedy_allocation here and also keep location in the string to avoid iterating.

build/fuzz-xdg-desktop test/fuzz/fuzz-xdg-desktop/oss-fuzz-22812  51.10s user 0.01s system 99% cpu 51.295 total
↓
build/fuzz-xdg-desktop test/fuzz/fuzz-xdg-desktop/oss-fuzz-22812  0.07s user 0.01s system 96% cpu 0.083 total

Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=22812.

Other minor changes:
- say "was already defined" instead of "defined multiple times" to make it
  clear that we're ignoring this second definition, and not all definitions
  of the key
- unescaping needs to be done also for the last entry

journald: minor wording tweak in message

For a user "from the kernel" might be rather unclear.

tree-wide: more repeated words

networkd: use capitalized "IP" and "TOS" in messages

journal/compress: drop "future" code in zstd compression

We generally don't include stuff that is not used. This can be
easily ressurected if ever needed.

Fixes CID#1430210.

all: fix minor typos

[thaller@redhat.com: original patch by Yuri, extracted from [1]]

[1] https://gitlab.freedesktop.org/NetworkManager/NetworkManager/-/merge_requests/565

update NEWS

update TODO

TODO

firstboot: add option to turn off welcome text display

man: document the new --image= switch of systemd-firstboot

firstboot: add --image= switch

This is like --root=, but takes an image file path or device node path
and dissects the image directly, mounting it internally.