journalctl: never fail at flushing when the flushed flag is set

Even if journald was not running, flushing the volatile journal used to work if
the journal was already flushed (ie the flushed flag
/run/systemd/journald/flushed was created).

However since commit 4f413af2a0a, this behavior changed and now '--flush' fails
because it tries to contact journald without checking the presence of the
flushed flag anymore.

This patch restores the previous behavior since there's no reason to fail when
journalctl can figure out that the flush is not necessary.

test: document autopkgtest CI infrastructure

Merge pull request #20729 from yuwata/ethtool-features-set

ethtool-util: support more offloading feature settings

Merge pull request #20728 from yuwata/network-introduce-source-and-state-neighbor-rule-and-nexthops

network: introduce NetworkConfigSource/State

Merge pull request #20742 from pdmorrow/startup_cpus

add StartupAllowedCPUs= and StartupAllowedMemoryNodes= directives

meson: add missing include directory when using xkbcommon

Otherwise the build fails:

FAILED: systemd-localed.p/src_locale_localed.c.o
cc -Isystemd-localed.p -I. -I.. -Isrc/basic -I../src/basic -Isrc/fundamental -I../src/fundamental -Isrc/systemd -I../src/systemd -I../src/libsystemd/sd-bus -I../src/libsystemd/sd-device -I../src/libsystemd/sd-event -I../src/libsystemd/sd-hwdb -I../src/libsystemd/sd-id128 -I../src/libsystemd/sd-journal -I../src/libsystemd/sd-netlink -I../src/libsystemd/sd-network -I../src/libsystemd/sd-resolve -Isrc/shared -I../src/shared -fdiagnostics-color=always -D_FILE_OFFSET_BITS=64 -Wall -Winvalid-pch -Wextra -std=gnu99 -g -Wno-format-signedness -Wno-missing-field-initializers -Wno-unused-parameter -Wdate-time -Wendif-labels -Werror=format=2 -Werror=implicit-function-declaration -Werror=incompatible-pointer-types -Werror=overflow -Werror=return-type -Werror=shift-count-overflow -Werror=shift-overflow=2 -Werror=undef -Werror=unused-function -Wfloat-equal -Wimplicit-fallthrough=5 -Winit-self -Wlogical-op -Wmissing-include-dirs -Wmissing-noreturn -Wnested-externs -Wold-style-definition -Wpointer-arith -Wredundant-decls -Wshadow -Wstrict-aliasing=2 -Wstrict-prototypes -Wsuggest-attribute=noreturn -Wwrite-strings -Wno-unused-result -Werror=missing-declarations -Werror=missing-prototypes -fdiagnostics-show-option -ffast-math -fno-common -fno-strict-aliasing -fstack-protector -fstack-protector-strong -fvisibility=hidden --param=ssp-buffer-size=4 -Werror=shadow -include config.h -MD -MQ systemd-localed.p/src_locale_localed.c.o -MF systemd-localed.p/src_locale_localed.c.o.d -o systemd-localed.p/src_locale_localed.c.o -c ../src/locale/localed.c
../src/locale/localed.c:9:10: fatal error: xkbcommon/xkbcommon.h: No such file or directory
    9 | #include <xkbcommon/xkbcommon.h>
      |          ^~~~~~~~~~~~~~~~~~~~~~~
compilation terminated.

fuzz: add StartupAllowedCPUs and StartupAllowedMemoryNodes to directives

Signed-off-by: Peter Morrow <pemorrow@linux.microsoft.com>

docs: update docs with StartupAllowedCPUs and StartupAllowedMemoryNodes details

Signed-off-by: Peter Morrow <pemorrow@linux.microsoft.com>

cgroup: add support for StartupAllowedCPUs and StartupAllowedMemoryNodes

Add new settings which can be used to control cpuset based cpu affinity
during the startup phase only.

Signed-off-by: Peter Morrow <pemorrow@linux.microsoft.com>

network: use NetworkConfigSource/State to manage nexthops

This also changes the logic when Id= is not specified.
Previously, kernel picks the lowest unused ID, but now networkd picks
the lowest unused ID.

network: use NetworkConfigSource/State to manage routing policy rules

This also changes the logic when Priority= is not specified.
Previously, we request without FRA_PRIORITY attribute and kernel picks
the highest unused priority for the rule.
This makes networkd picks the highest unused priority and always request
FRA_PRIORITY attribute.

network: use NetworkConfigSource/State to manage neighbors

network: introduce NetworkConfigSource and NetworkConfigState

These will be used in later commits.

Respect install_sysconfdir

This was lost e11a25cadbe and c900d89faa0 while adding jinja2
templating. Breaks builds on NixOS.

sd-journal: Don't compare hashes from different journal files

In sd_journal_enumerate_fields(), we check if we've already handled
a field by checking if we can find it in any of the already processed
journal files. We do this by calling
journal_file_find_field_object_with_hash(), which compares the size,
payload and hash of the given field against all fields in a journal file,
trying to find a match. However, since we now use per file hash functions,
hashes for the same fields will differ between different journal files,
meaning we'll never find an actual match.

To fix the issue(), let's use journal_file_find_field_object() when one
or more of the files we're comparing is using per file keyed hashes.
journal_file_find_field_object() only takes the field payload and size
as arguments and calculates the hash itself using the hash function from
the journal file we're searching in.

Fix error building repart with no libcryptsetup (#20739)

po: Translated using Weblate (Finnish)

Currently translated at 100.0% (189 of 189 strings)

Co-authored-by: Jan Kuparinen <copper_fin@hotmail.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/fi/
Translation: systemd/main

ethtool-util: add more network device features

Then, we can easily add new settings to configure features in .link
file.

ethtool-util: apply tx-checksum-* features at last

NET_DEV_FEAT_TX matches multiple features. In the next commit, all
features whose strings start with "tx-checksum-" will be added.
To make them take precedence over NET_DEV_FEAT_TX, it will be applied
only when each explicit feature is not applied.

ethtool: do not set unavailable or never_changed bits

ethtool-util: shorten code a bit

Also fixes a error code in debugging log.

ethtool-util: use sizeof()

man: extend documentation about TPM2 PCRs

This is an effort to compile a somewhat complete list how PCRs are
actually used on Linux systems these days. It contains data from: the
UEFI PC spec, the shim, the IMA, grub documentation.

I validated these PCRs to some level in the sources.

The grub specific stuff I only added in comments, since I was too lazy
too validate it (also, meh, grub).

It also gives people a hint on which PCR to bind to (and maybe kind of
an explanation of our default choice).

Merge pull request #20697 from yuwata/in-addr-prefix

core: rewrite IPAddressAllow/Deny= parser

docs: generic info about adding directives in ARCHITECTURE.md

network: replace config_parse_address_filter() with config_parse_in_addr_prefixes()

core: replace IPAddressAccessItem with struct in_addr_prefix

Previously, if a unit file which contains n IPAddressAllow/Deny= lines,
then the computational order of parsing the file was O(n^3), as
ip_address_access_reduce(), whose order is O(n^2), is called for each line.

By replacing in_addr_prefix related functions, now the computational
order is O(n log n).

Fixes #20680.

core/cgroup: set bitfield to reduce struct size

test: add tests for in-addr-prefix-util.c

test: slightly modernize test-in-addr-util.c

in-addr-prefix-util: introduce several utilities for address prefix

Merge pull request #20700 from yuwata/network-dhcp-cleanups

network: several DHCP related cleanups

network: do not use RouteTable= in [DHCPv4] section for DHCPv6 routes

We forgot to add RouteTable= in [DHCPv6] section when we split [DHCP]
into two.

Add additional Dell models that require ACCEL_LOCATION=base

This is a related commit to the bug reported in Ubuntu:
  https://bugs.launchpad.net/ubuntu/+source/systemd/+bug/1938259

This adds additional 4 models that without this param, the screen rotates
when the clamshell laptop rotates, which is an unwanted behavior.

This commit also merges entries that needs the same param.

Signed-off-by: Yao Wei (魏銘廷) <yao.wei@canonical.com>

Merge pull request #20713 from yuwata/udev-watch-retry

udev-watch: retry to save watch handle on error

network: use ltype to distinguish DHCPv4 and DHCPv6

network: dhcp4: use free_and_strdup_warn()

network: dhcp4: log server address

network: dhcp4: return earlier on failure

network: move common route settings to {dhcp4,ndisc}_request_route()

test-network: kernel treats the lowest IP address as unicast since 5.14

See kernel's 94c821c74bf5fe0c25e09df5334a16f98608db90.

escape: improve logging when escaping paths that are slightly non-conforming

Fixes: #20663

virt: Improve detection of EC2 metal instances

The current detection code relies on /sys/firmware/dmi/entries/0-0/raw
to disambiguate Amazon EC2 virtualized from metal instances.

Unfortunately this file is root only. Thus on a c6g.metal instance
(aarch64), we observe something like this:

$ systemd-detect-virt
amazon
$ sudo systemd-detect-virt
none

Only the latter is correct.

The right long term fix is to extend the kernel to expose the SMBIOS BIOS
Characteristics properly via /sys/class/dmi, but until this happens (and
for backwards compatibility when it does), we need a plan B.

This change implements such a workaround by falling back to using the
instance type from DMI and looking at the ".metal" string present on
metal instances.

Signed-off-by: Benjamin Herrenschmidt <benh@kernel.crashing.org>

Merge pull request #20716 from poettering/tpm2-primary-rsa

tpm2: be smarter when picking primary key algorithm and PCR bank

update TODO

tpm2: log about invalid PCRs on each unsealing

Let's log every time we use uninitialized PCRs when unsealing a secret
via TPM2. This indicates a firmware issue usually, and is something we
shouldn't just show when enrolling but also show every time we unseal,
so that the fact that the selected PCR policy is pretty much pointless
is repeatedly shown.

tpm2: check if PCR values make sense before using them

Fixes: #20684

tpm2: support RSA primary keys as fallback if TPM2 devices don't support ECC

Previously, we hardcoded use of ECC as primary keys, since they are much
faster (i.e. saving multiple seconds) to do TPM2 operations with. Alas,
not all TPM2 chips appear to support ECC. Bummer.

Let's hence add a fallback logic: if we can't create an ECC primary key,
use an RSA key, and store that fact away.

AFIU the security guarantees should be roughly the same, it's just that
RSA primary keys is so much slower to work with than ECC.

The primary key algorithm is used is stored in the JSON header of LUKS
disks, in a new field. If the field is absent we assume to use ECC, to
provide full compatibility with old systemd versions.

The primary key algorithm is stored in a new field in the credentials
file format (in fact, a previously unused zero space is used), too.

Hopefully, this should ensure that TPM2 support will "just work" on more
systems.

Fixes: #20361

memory-util: replace memeqzero() by a more generic memeqbyte()

The new helper can check for any byte, no just zeroes. The old name is
then converted into a macro that wraps our new version of the helper.

Merge pull request #20701 from yuwata/network-address-cleanups

network: several address_update() related cleanups

udev-watch: retry to save watch handle with random delay

Also, remove the watch handle if we cannot save it.

sd-device: do not recreate the same symlinks which store watch handle

Merge pull request #20715 from yuwata/udev-node-follow-ups

udev-node: several follow-ups

Merge pull request #20672 from mrc0mmand/more-storage-tests

test: more storage-related tests

test: coverage for #19946

test: make sure all symlinks under /dev/disk/ are valid

test: add a basic multipath test + failover

test: add a multipath helper

test: use one call to install necessary modules

Merge pull request #20705 from yuwata/test-oomd-util

test: skip oomd test on a unified container on a hybrid host

test: tweak parameters for TEST-55-OOMD

Pressure remains > 1% after a kill for some time and could cause
testchill to get killed. Bumping the limit from 1% to 20% should help
with this.

Fixes #20118

udev-node: do not ignore unexpected errors on removing symlink in stack directory

Only acceptable error here is -ENOENT.

udev-node: simplify the example of race

unit: systemd-oomd.service requires cgroup memory controller

test-oomd-util: skip tests if cgroup memory controller is not available

Fixes #20593 and #20655.

oomd: refuse to start if cgroup memory controller is not available

sd-boot: Fix assertion fail

The UEFI Platform Initialization Specification says that both
parameters may be NULL.

cgroup-util: use string_hash_ops_free

cgroup-util: use _cleanup_free_ attribute

tpm-util: fix TPM parameter handling

cryptenroll allows to specify a custom TPM driver separated from
parameters with colon e.g. `systemd-cryptenroll --tpm2-device=swtpm:`
tells to load swtpm tss driver and use it as a device.

Unfortunately it does not work, swtpm driver init() fails with

```
debug:tcti:src/tss2-tcti/tcti-swtpm.c:570:Tss2_Tcti_Swtpm_Init() Dup'd conf string to: 0x562f91cbc000
debug:tcti:src/util/key-value-parse.c:85:parse_key_value_string() parsing key/value: swtpm:
WARNING:tcti:src/util/key-value-parse.c:50:parse_key_value() key / value string is invalid
Failed to initialize TCTI context: tcti:A parameter has a bad value
```

It turns out that cryptenroll suppose to use the driver name internally
and strip it before passing the rest of parameters to init() function.
Without doing it swtpm receives incorrect key-value property and gets
confused.

Fix it by passing the correct parameter (without driver name) to the
init() function.

Fixes #20708

network: do not drop IPv6LL address in link_drop_addresses()

network: always call address ready callback if address is ready

The address ready callback is used for cleaning up old addresses or
routes acquired by e.g. DHCP. However, the callback was called only
when the address was previously not ready. So, maybe, unnecessary
addresses or routes may not be cleared.

Also, this makes the callback is called slightly earlier. As it may
remove several addresses or routes, and possibly changes the link state.

network: define Address earlier

As the type is used in defining address_ready_callback_t.

network: store IPv6LL address even if link is in failed state

Otherwise, if IPv6LL is received when the link is in failed state,
we may fail to reconfigure the link.

network: enable IP masquerade when address is assigned

Previously, IP masquerade is enabled when configuring the address. But,
the request of assigning the address may be refused by kernel.

network: simplify code a bit

Merge pull request #20699 from yuwata/network-drop-foreign

network: do not drop foreign configs when carrier of unmanaged interface is lost

Merge pull request #20702 from yuwata/network-trivial-cleanups

network: several trivial cleanups

network: fix handling of network interface renaming

Fixes #20657.

Merge pull request #20703 from poettering/gpt-dissect-tweaks

dissect: various small tweaks/tougher checks/refactoring of GPT dissection code

core: Parse log environment settings again after applying manager environment

Currently, SYSTEMD_LOG_LEVEL set in the ManagerEnvironment property in system.conf
or user.conf doesn't affect the manager's logging level. Parsing the logging environment
variables again after pushing the manager environment into the process environment
block makes sure any new environment changes also get taken into account for logging.

dissect-image: replace redundant if check by assert()

We know that the designator can only be USR or ROOT (or negative), hence
let's test that with an assert here, instead of doing an if check.

dissect-image: insist that if a verity partition designator is specified the partition exists

Let's tighten our checks further.

dissect-image: tighten checks on root + /usr/ combinations

Our code logic doesn't support images with two verity partitions at the
moment, hence refuse this early (with ENOTUNIQ)

Also, go even further and refuse any combinations of verity enabled root
with verity-less /usr, simplify because that is unsafe and defeats the
point of verity. (i.e. we want to give the guarantee that for
auto-discovered verity magic we guarantee that the data afterwards
available in /usr is safe).

dissect-image: drop redundant check

We already check whether we discovered a /usr verity partition without a
/usr partition when initially mangling the partitions, a bunch of lines
further up, no need to repeat this here.

dissect-image: don't do generic root partition fallback if verity is requested for /usr

dissect-image: insist that the architecture matches if both root and /usr partitions are found

dissect-image: mangle discovered /usr/ partition data, even if we found a root partition

Previously, we'd clean up discovered /usr/ partition data only if we did
not find a root partition. Given that we allow combinations of root and
/usr partitions clean things up in both cases however.

dissect-image: refuse external verity data in partitioned mode

Our code doesn't support setting up verity with an external verity data
file unless we operate in non-partitioned mode. Let's refuse this
clearly and early if attempted anyway.

dissect-image: also derive read-only mode from fstype in non-partitioned mode

For the GPT partitioned logic we also consult the fstype to determine whether
a partition is read-only (i.e. squashfs is already read-only). For the
non-partitioned mode we didn't do that so far. Fix that.

dissect-image: tighten assertion checks on verity data

dissect-image: rename dissected_image_has_verity()/_can_do_verity()

Let's also pick more precise names for these helpers that are used for
the tabular output: one checks whether a partition is candidate for
verity at all, and the other checks if it is ready to be used for it.
Let's make this clearer in the name.

dissect-image: rename verity flag booleans

Let's make the booleans indicating verity state a bit more descriptive.

Let's rename:

    can_verity → has_verity: because that's really what this about
    whether verity data is included in the image. Whether we actually
    can use it is a different story.

    verity → verity_ready: this one should tell us if we have everything
    need to actually set it up, hence explicitly say "ready to use" in
    the name.

No change in behaviour. Just a bit of renaming.

id128: clarify that the "well-known" IDs are about GPT partition types

At least for now they are all GPT partition types, and we should mention
that.

network: drop unused "after_configure" feature for nexthops, neighbors, and routing policy rules

network: do not try to drop addresses or routes of unmanaged interfaces on carrier lost

Currently, link_stop_engines(), link_drop_config(), and link_drop_foreign_config()
do nothing when the interface is unmanaged. So this does not change anything.
But returning earlier should be clear and safer for protecting configs
on unmanaged interfaces.

network: introduce route_by_kernel() helper function

And drop "FIXME" from comment, as there is nothing we need to fix.

network: introduce ipv4acd_set_ifname()

network: use sd_netlink_message_read_string_strdup()

sd-boot: Support installing new devicetree

The Bootloader Specification says "devicetree refers to the binary
device tree to use when executing the kernel..", but systemd-boot
didn't actually do anything when encountering this stanza until now.

Add support for loading, applying fixups if relevant, and installing the
new device tree before executing the kernel.