Merge pull request #16532 from yuwata/network-sync-state-file

network: sync link state file on dbus call, and ndisc cleanups

man: do not say that isolate is like switching runlevels

We need to do better here, but for now let's at least not trick
users into nuking their graphical environment. Inspired by #16548.

Merge pull request #16557 from keszybz/two-ci-fixes

Two ci fixes

meson: do not choke on time epoch when there are no git tags

github ci was failing with:

meson.build:685:16: ERROR: String '' cannot be converted to int

semaphore: pull in tree explicitly

semaphoreci was failing with:
Can't exec "tree": No such file or directory at /tmp/autopkgtest-lxc.v9oand4g/downtmp/build.TIm/src/test/udev-test.pl line 1752.

https://semaphoreci.com/systemd/systemd/branches/pull-request-16551/builds/1

update NEWS

Merge pull request #16496 from DaanDeMeyer/firstboot-shell

firstboot: Add --root-shell option and tighten up passwd/shadow handling

Get SOURCE_EPOCH from the latest git tag instead of NEWS

Currently, each change to NEWS triggers a meson reconfigure that
changes SOURCE_EPOCH which causes a full rebuild. Since NEWS changes
relatively often, we have a full rebuild each time we pull from
master even if we pull semi-regularly. This is further compounded
when using branches since NEWS has a relatively high chance to
differ between branches which causes git to update the modification
time, leading to a full rebuild when switching between branches.

We fix this by using the creation time of the latest git tag instead.

Merge pull request #16542 from keszybz/make-targets-fail-again

Make targets fail again

execute: take ownership of more fields in ExecParameters

Let's simplify things a bit, and take ownership of more fields in
ExecParameters, so that they are automatically freed when the structure
is released.

firstboot: Add --root-shell option

firstboot: Tighten up passwd/shadow handling

There are a lot of edge cases that the current implementation
doesn't handle, especially in cases where one of passwd/shadow
exists and the other doesn't exist. For example, if
--root-password is specified, we will write /etc/shadow but
won't add a root entry to /etc/passwd if there is none.

To fix some of these issues, we constrain systemd-firstboot to
only modify /etc/passwd and /etc/shadow if both do not exist
already (or --force) is specified. On top of that, we calculate
all necessary information for both passwd and shadow upfront so
we can take it all into account when writing the actual files.

If no root password options are given --force is specified or both
files do not exist, we lock the root account for security purposes.

pid1: target units can fail through dependencies

Fixes #16401.

c80a9a33d04fb4381327a69ce929c94a9f1d0e6c introduced the .can_fail field,
but didn't set it on .targets. Targets can fail through dependencies.
This leaves .slice and .device units as the types that cannot fail.

$ systemctl cat bad.service bad.target bad-fallback.service
[Service]
Type=oneshot
ExecStart=false

[Unit]
OnFailure=bad-fallback.service

[Service]
Type=oneshot
ExecStart=echo Fixing everythign!

$ sudo systemctl start bad.target
systemd[1]: Starting bad.service...
systemd[1]: bad.service: Main process exited, code=exited, status=1/FAILURE
systemd[1]: bad.service: Failed with result 'exit-code'.
systemd[1]: Failed to start bad.service.
systemd[1]: Dependency failed for bad.target.
systemd[1]: bad.target: Job bad.target/start failed with result 'dependency'.
systemd[1]: bad.target: Triggering OnFailure= dependencies.
systemd[1]: Starting bad-fallback.service...
echo[46901]: Fixing everythign!
systemd[1]: bad-fallback.service: Succeeded.
systemd[1]: Finished bad-fallback.service.

Revert "units: drop OnFailure= from .target units"

This reverts commit c7220ca8025e8dbded36131b23a502d975c45754.

The removal was done as a reaction to the messages from systemd:
initrd-root-fs.target: Requested dependency OnFailure=emergency.target ignored (target units cannot fail).
initrd.target: Requested dependency OnFailure=emergency.target ignored (target units cannot fail).
initrd-root-device.target: Requested dependency OnFailure=emergency.target ignored (target units cannot fail).
initrd-fs.target: Requested dependency OnFailure=emergency.target ignored (target units cannot fail).
local-fs.target: Requested dependency OnFailure=emergency.target ignored (target units cannot fail).
...
But it seems that the messages themselves are wrong, and the units were OK.

core/job: adjust whitespace and comment

test-network: add test for duplicated IPv6Token=

network: ndisc: ignore duplicated IPv6Token=

network: ndisc: do not store duplicated data in Set

The Address objects in the set generated by ndisc_router_generate_addresses()
have the equivalent prefixlen, flags, prefered lifetime.
This commit makes ndisc_router_generate_addresses() return Set of
in6_addr.

Merge pull request #16536 from poettering/time-clock-map-fixes

time-util: clock mapping improvements

util: use IN6_ARE_ADDR_EQUAL() macro

test-network: drop unnecessary sleep() in NetworkdStateFileTests.test_state_file

network: make bus methods sync link state file

network: introduce link_save_and_clean()

tree-wide: use siphash24_compress_string() where it is applicable

util: introduce siphash24_compress_string()

util: make siphash24_compress_boolean() inline

This also changes the stored type from int to uint8_t in order to make
hash value endianness independent.

test-path: decrease variable scope

test: increase timeout for test-path

The CI occasionally fail in test-path with a timeout. test-path loads
units from the filesystem, and this conceivably might take more than
the default limit of 3 s. Increase the timeout substantially to see if
this helps.

Merge pull request #16530 from yuwata/udev-fix-race-in-renaming-network-interface

udev: fix race in renaming network interface

Merge pull request #16407 from bluca/verity_reuse

verity: re-use already open devices if the hashes match

Revert "man: add note about systemd-vconsole-setup.service and tty as input/output"

This reverts commit 0b578036301d7c3f2dab8df1f31f0121552a4e10.

From https://github.com/systemd/systemd/pull/16503#issuecomment-660212813:
systemd-vconsole-setup (the binary) is supposed to run asynchronously by udev
therefore ordering early interactive services after systemd-vconsole-setup.service
has basically no effect.

Let's remove this paragraph. It's better to say nothing than to give pointless
advice.

test: adapt test-functions for SUSE

Merge pull request #16514 from keszybz/zstd-decompress-fix

Fix coredumpctl operation with zstd-compressed journals

Merge pull request #16540 from poettering/acl-fix

two ACL handling fixes

verity: re-use already open devices if the hashes match

Opening a verity device is an expensive operation. The kernelspace operations
are mostly sequential with a global lock held regardless of which device
is being opened. In userspace jumps in and out of multiple libraries are
required. When signatures are used, there's the additional cryptographic
checks.

We know when two devices are identical: they have the same root hash.
If libcrypsetup returns EEXIST, double check that the hashes are really
the same, and that either both or none have a signature, and if everything
matches simply remount the already open device. The kernel will do
reference counting for us.

In order to quickly and reliably discover if a device is already open,
change the node naming scheme from '/dev/mapper/major:minor-verity' to
'/dev/mapper/$roothash-verity'.

Unfortunately libdevmapper is not 100% reliable, so in some case it
will say that the device already exists and it is active, but in
reality it is not usable. Fallback to an individually-activated
unique device name in those cases for robustness.

dm-util: use CRYPT_DEACTIVATE_DEFERRED instead of ioctl

coredump: port to use common add_acls_for_user()

It's line-by-line the same logic, hence use the common implementation.

acl-util: fix error handling in add_acls_for_user()

offline-passwd: use chase_symlinks()

In case the passwd/group file is symlinked, follow things correctly.

Follow-up for: #16512
Addresses: https://github.com/systemd/systemd/pull/16512#discussion_r458073677

update TODO

man: update docs with the new functions and other enhancements

homectl: fix warning about unused function

../src/home/homectl-pkcs11.c:19:13: warning: ‘pkcs11_callback_data_release’ defined but not used [-Wunused-function]
   19 | static void pkcs11_callback_data_release(struct pkcs11_callback_data *data) {
      |             ^~~~~~~~~~~~~~~~~~~~~~~~~~~~

TODO: add entry for XZ

The docs for XZ don't seem to answer this at first blush, or maybe
I'm looking in the wrong place... This might make XZ less terribly slow,
but on the other hand, almost nobody uses it, so it doesn't matter that
much.

journal/compress: remove loop in decompress_startswith_zstd()

This should be more efficient with no downsides. Same considerations as in the
previous commit hold.

journal/compress: fix zstd decompression with capped output size

decompress_blob_zstd() would allocate ever bigger buffers in a loop trying to
get a buffer big enough to decompress the input data. This is wasteful, since
we can just query the size of the decompressed data from the compressed header.
Worse, it doesn't work when the output size is capped, i.e. when dst_max != 0.
If the decompressed blob happened to be bigger than dst_max, decompression
would fail with -ENOBUFS. We need to use "stream decompression" instead, and
only get min(uncompressed size, dst_max) bytes of output.

Fixes https://bugzilla.redhat.com/show_bug.cgi?id=1856037 in a second way.

journal: use -EPROTONOSUPPORT for unknown compression

We might add more compression types in the future, and we should treat that
as unsupported, and not a format error.

sd-journal: when enumerating, continue even after an inaccessible field

SD_JOURNAL_FOREACH_DATA() and SD_JOURNAL_FOREACH_UNIQUE() would immediately
terminate when a field couldn't be accessed. This can happen for example when a
field is compressed with an unavailable compression format. But it's likely
that this is the wrong thing to do: the caller for example might want to
iterate over the fields but isn't interested in all of them. coredumpctl is
like this: it uses SD_JOURNAL_FOREACH_DATA() but only uses a subset of the
fields.

Add two new functions sd_journal_enumerate_good_data() and
sd_journal_enumerate_good_unique() that retry sd_journal_enumerate_data() and
sd_journal_enumerate_unique() if the return value is something that applies to
a single field: ENOBUS, E2BIG, EOPNOTSUPP.

Fixes https://bugzilla.redhat.com/show_bug.cgi?id=1856037.

An alternative would be to make the macros themselves smarter instead of adding
new symbols, and do the looping internally in the macro. I don't like that
approach for two reasons. First, it would embed the logic in the macro, so
recompilation would be required if we decide to update the logic. With the
current version of the patch, recompilation is required to use the new symbols,
but after that, library upgrades are enough. So the current approach is safer
in case further updates are needed. Second, our headers use primitive C, and it
is hard to do the macros without using newer features.

user-util: indentation fix

core: don't acquire dual timestamp needlessly if we don't need it in .timer handling

Follow-up for: 26698337f3842842af51cd007485f1dcd7c43cf2

test: add basic test for clock mapping

time-util: rework clock conversion logic

Let's split this out into its own helper function we can reuse at
various places.

Also, let's avoid signed values where we can so that we can cover more
of the available time range.

update NEWS

Merge pull request #16504 from poettering/read-file-ipc

fileio: teach read_full_file() the ability to read data from AF_UNIX stream socket

import: always prefer GNU tar, to avoid cmdline incompatibilities

Fixes: #16506

fileio: add brief explanations for flags

tree-wide: use READ_FULL_FILE_CONNECT_SOCKET at various places

Let's use the new flag wherever we read key material/passphrases/hashes
off disk, so that people can plug in their own IPC service as backend if
they like, easily.

(My main goal was actually to support this for crypttab key files — i.e.
that you can specify AF_UNIX sockets as third column in crypttab — but
that's harder to implement, since the keys are read via libcryptsetup's
API, not ours.)

fileio: allow to read base64/hex data as strings

There's really no reason to prohibit this, hence don't.

fileio: add support for read_full_file() on AF_UNIX stream sockets

Optionally, teach read_full_file() the ability to connect to an AF_UNIX
socket if the specified path points to one.

fileio: add explicit flag for generating world executable warning when reading file

Merge pull request #16519 from yuwata/networkctl-altnames

networkctl: tiny cleanups about alternative names

Merge pull request #16353 from yuwata/network-dns-sni

resolve, network: more SNI and port number support

udev: drop unnecessary checks

Also, drop one unnecessary sd_device_unref(), as dev_db_clone will be
unref()ed in udev_event_free().

udev: save ID_RENAMING= property to database before renaming network interface

network: update one log message

test: run systemd-dissect and systemd-run with log level debug in TEST-50-DISSECT

logind: Fix org.freedesktop.login1.set-reboot-to-boot-loader-menu saving to the wrong file in the non EFI case

According to the docs, and to the
org.freedesktop.login1.get-reboot-to-boot-loader-menu code, the
(oneshot) boot-loader-menu timeout should be stored in
/run/systemd/reboot-to-boot-loader-menu, but the set method was storing it
in /run/systemd/reboot-to-loader-menu.

This commit fixes this. Note that the fixed name also is a better match
for the dbus call names and matches the related
/run/systemd/reboot-to-boot-loader-entry structure, so fixing the set code,
rather then the get code + docs seems like the right thing to do here.

bus: use bus_log_connect_error to print error message

man: update explanation about the format to specify DNS servers

resolvectl: use bus_message_read_in_addr_auto()

network, resolve: use bus_message_read_ifindex() or friends

util: introduce bus_message_read_ifindex()

util: introduce bus_mesage_read_dns_servers()

util: introduce helper functions to read in_addr from bus message

util: drop duplicated inclusion of sd-bus.h

test-network: add tests for DNS= with port number and SNI

resolvectl: show DNS servers with port and SNI

resolvectl: make DNS servers can be specified with port number and SNI

resolve: add DBus properties which support DNS SNI and port number

resolve: add DBus method to set DNS server with port number and SNI

network: add DBus method to set DNS server with port number and SNI

network: save DNS servers specified by DBus interface

Also, filter out DNS servers which do not match link ifindex.

network: do not save DNS= entries not match link ifindex

network: support port number and SNI in [Network] DNS=

resolve: read/save port number and SNI from/into link state file

resolve: compare port and SNI in dns_server_hash_ops

resolve: also compare port and SNI in dns_server_find()

resolve: support port specifier in DNS= setting

resolve: ignore empty server name

Just for safety.

util: introduce 'struct in_addr_full' and its helper functions

util: introduce in_addr_port_ifindex_name_from_string_auto() and in_addr_port_ifindex_name_to_string()

resolve: propagate error in link_load_user()

Most error path in link_load_user() are ENOMEM. Hence, it is critical.

Merge pull request #16518 from yuwata/network-fix-failure-in-updating-mac-address

network: fix failures in updating MAC address

travis: compile with -O1 with clang

libc in the Debian container got updated to 2.31, which in combination
with clang-9 triggers systemd/systemd#14865.

This has been fixed by https://reviews.llvm.org/D74712 which is (to my
knowledge) included in clang-10. To mitigate this without upgrading to
clang-10 we can compile with -O1 which works around it as well, see
https://bugzilla.redhat.com/show_bug.cgi?id=1803203.

docs: Document xdg-autostart parameter X-systemd-skip

Merge pull request #16478 from bluca/dissect_tests

Expand TEST-50-DISSECT to cover dm-verity features

docs: Update section about XDG autostart generator

The generator is already merged. So update the corresponding section to
describe the current status.

Merge pull request #16497 from DaanDeMeyer/mkosi

mkosi: Keep mkosi.default out of the repository

Merge pull request #16501 from yuwata/udev-fix-renaming

udev: fix issues in renaming interface vs alternative names

network: stop already running engines before updating MAC address

In NetworkdBridgeTests.test_bridge_configure_without_carrier of
systemd-networkd-tests.py

```
bridge99: MAC address: 2e:3a:ec:4d:d3:62
Assertion 'sd_ipv4ll_is_running(ll) == 0' failed at src/libsystemd-network/sd-ipv4ll.c:110, function int sd_ipv4ll_set_mac(sd_ipv4ll *, const struct ether_addr *)(). Ignoring.
bridge99: Could not update MAC address in IPv4LL client: Device or resource busy
```

radv: introduce sd_radv_is_running()