Merge pull request #21051 from poettering/nspawn-no-sync

nspawn: add --suppress-sync=yes mode for turning sync() and friends i…

Merge pull request #21055 from yuwata/network-dhcp6-pd-route-lifetime-metric

network: dhcp6pd: set lifetime and route metric

Merge pull request #21061 from poettering/direct-io-loopback-tweaks

tweaks to O_DIRECT loop work

Typos found by codespell

nspawn: add --suppress-sync=yes mode for turning sync() and friends into NOPs via seccomp

This is supposed to be used by package/image builders such as mkosi to
speed up building, since it allows us to suppress sync() inside a
container.

This does what Debian's eatmydata tool does, but for a container, and
via seccomp (instead of LD_PRELOAD).

loop-util: call loop_device_make_internal() at the right place

The whole reason loop_device_make_internal() exists (as opposed to just
loop_device_make()) is to avoid mangling the loop flags value/call
getenv twice. Hence let's actually call it when we already mangled the
flags value.

loop-util: add debug logging about O_RDWR vs. O_RDONLY + O_DIRECT mode

Once we managed to open the file let's log what we wanted and what we
got.

loop-util: minor coding style updates

As suggested here: https://github.com/systemd/systemd/pull/21044#pullrequestreview-783530343

Merge pull request #21041 from yuwata/network-bpf-neighbor

network: introduce BPF to reject netlink messages about non-static neighbor

Merge pull request #21056 from yuwata/test-network-cleanups

test-network: several cleanups related to dnsmasq

test-network: cleanup dnsmasq related file on setup

Just for safety.

test-network: drop pid_file argument from stop_dnsmasq()

test-network: use constant variables in dnsmasq command

network: dhcp6pd: set default metric 256 for delegated prefix

When Assign= in [DHCPv6PrefixDelegation] is enabled, then the kernel
will create the prefix route for the assigned address with metric 256.
When Assign= is disabled, then the kernel will create the route with
metric 1024.

For the default value, we should choose a smaller value (higher priority)
than 1024, as the unreachable routes for delegated prefix will be
configured with 1024.

network: dhcp6: explicitly specify metric for unreachable route

For static IPv6 routes without metric is specified, then we use 1024.
But such an adjustment is not performed to dynamic routes. So, let's
specify the metric explicitly.
Otherwise, configured routes will be handled as foreign.

network: dhcp6pd: set lifetime to routes for assigned prefixes

Note that the kernel (at least 5.14.11) seems not to support lifetime
for IPv6 unreachable routes. The lifetime for routes of the type will be
handled by sd-event's timer event source.
So, we cannot confirm the lifetime with 'ip route' command.

sd-dhcp6-client: introduce sd_dhcp6_lease_get_timestamp()

Merge pull request #21035 from yuwata/network-route-fix-lifetime

network: route: drop kernel version check

Merge pull request #21044 from poettering/loopback-direct-io

loop-util: enable LO_FLAGS_DIRECT_IO by default on loopback devices

CI: disable opensuse mkosi CI

Until https://github.com/systemd/systemd/issues/21019 is fixed,
there's no point in running the opensuse CI job so let's disable
it for now.

loop-util: work around cache invalidation bug in older kernels

Inspired by the discussions in #21003.

Inspired in particular by what Android apexd does:

https://android.googlesource.com/platform/system/apex/+/refs/heads/master/apexd/apexd_loop.cpp

loop-util: enable LO_FLAGS_DIRECT_IO by default on loopback devices

Fixes: #21003

network: introduce BPF to reject netlink messages about non-static neighbor

Fixes #21031.

sd-netlink: introduce sd_netlink_attach_filter()

network: route: drop kernel version check for route expiration

Even in newer kernel version, it seems that some route type does not
support expiration, e.g. IPv4 route or unreachable route. Let's use
timer event source for such routes.

Merge pull request #20905 from medhefgo/boot-cleanup

sd-boot: Code cleanups

Merge pull request #20988 from DaanDeMeyer/rotate-reason

journal: Improve rotation logging

Merge pull request #21037 from yuwata/network-dhcp6-pd-simplify-distribute

network: dhcp6-pd: simplify dhcp6_pd_prefix_distribute()

Merge pull request #21036 from yuwata/network-dhcp6-pd-manage-prefix-with-hashmap

network: dhcp6-pd: manage prefix with hashmap

utmp: remove /dev from line

utmp(5) says `ut_line` is the device name minus the leading "/dev/". Therefore,
remove it. Without that, when using UtmpMode=user, we get `/dev/tty` in the
output of `last`/`w`.

Merge pull request #21038 from yuwata/network-dhcp6-pd-fix-address-check

network: dhcp6-pd: fix address check

network: neighbor: fix log message

meson: use partial_dependency() to get include directory

Getting the variable directly from pkg-config (without
adding the sysroot prefix) is prone to host contamination
when building in sysroots as the compiler starts looking for the
headers on the host in addition to the sysroot.

Signed-off-by: Alexander Kanavin <alex@linutronix.de>

tree-wide: use AF_NETLINK instead of PF_NETLINK

Merge pull request #21034 from poettering/homed-password-cache-tweaks

homed: minor tweaks to the PasswordCache logic

Merge pull request #21028 from poettering/watchdog-fixlets

pid1: various small watchdog tweaks and fixes

homework: move allocation/destruction into outer/generic scope

Previously in most cases we'd allocate the HomeSetup context object
in generic code in homework.c. But for some cases we allocated them
instead inside the specific code in homework-{cifs,directory,luks}.c
Let's clean that up, and systematically allocate it in the outer
"entrypoint" calls in homework.c instead of the inner ones.

This doesn't change much in behaviour (i.e. it just means when something
fails we'll now clean it up one stack frame further up). But it will
allow is to more easily work with the context objects, since we'll have
them around in all stack frames.

homework: unify code that opens the backing image file in open_image_file()

Also, reuse an already opened image file if we have one.

network: route: fix possible overflow in conversion usec_t -> uint32_t

network: dhcp6: use IPv6 specific functions

network: dhcp6: manage assigned downstream prefixes by using Hashmap

When a system has thousands of downstream interfaces, previously the
total cost of finding free subnet ID was O(n^2), where n is the number
of downstream interfaces.

This makes assigned prefixes are managed by Manager with Hashmap. So,
the cost becomes O(n log n).

network: dhcp6: shorten code a bit

network: dhcp6: always assign prefix through dhcp6_pd_assign_prefix()

For uplink interface, we request Assign= is enabled in the above.
So, we can always use dhcp6_pd_assign_prefix().

Just a minor simplification for later commits.

network: dhcp6pd: check if address is ready only when Assign=yes

network: add missing DHCPv6PD address check

journal: Expand rotate log messages in journald

Make sure we always log when we rotate journals and always do so at
least at INFO log level. Doing so we make sure there's always a clear
reason available explaining why we rotated a journal.

journal: Add two more log messages to journal_file_rotate_suggested()

This ensures every reason for rotation has an associated log message.

docs: Fix value for "processId" in HACKING doc

This needs to be pickRemoteProcess to make sure the UI shows
the PIDs of processes in the mkosi container instead of processes
on the host system.

homework: mae sure PasswordCache is really optional

It was supposed to be optional (i.e. there's a reason why we never
assert()ed on it), and in many codepaths it is, let's make sure it is
everywhere.

homework: make PasswordCache const wherever we can

journal: Add log level argument to journal_file_rotate_suggested()

When journald is rotating a file, we'd like to log the reason at
LOG_INFO or higher instead of LOG_DEBUG. For journalctl --header,
logging the reason at a level higher than LOG_DEBUG doesn't really
make sense. To accomodate both use cases, make the log level used
by journal_file_rotate_suggested() configurable.

Merge pull request #21026 from keszybz/licensing-info-for-generated-files

Licensing info for generated files

watchdog: fix fd validity check

watchdog: drop unnecessary variable

watchdog: always prefer /dev/watchdog0 over /dev/watchdog

watchdog: fix error code handling

docs: mark spdx headers with the default license to website files

Those were added in b41a3f66c97e3d861faed04b727daf929383b827 without
an explicit license, so they are under the default license. Some files
already got a header previously, so this only touches the remaining.

The same should be done for docs/_data/extra_pages.json, but it's json, and
json doesn't allow comments.

licensing: add a license file for the fonts we carry

fuzz-fido-id-desc: drop unused case file

It wasn't picked up automatically because it's not in
test/fuzz/fuzz-fido-id-desc/. But looking at the contents, it doesn't seem to
be in the expected input format either.

TEST-06-SELINUX: add the usual spdx license header to policy files

gitattributes: introduce and use "generated" attribute

I want to mark some files to be ignored for licensing purposes,
e.g. output from fuzzers and other samples. By using the gitattribute
machinery for this we don't need to design a custom protocol:

$ git check-attr generated test/test-sysusers/unhappy-*
test/test-sysusers/unhappy-1.expected-err: generated: set
test/test-sysusers/unhappy-1.input: generated: unspecified
test/test-sysusers/unhappy-2.expected-err: generated: set
test/test-sysusers/unhappy-2.input: generated: unspecified
test/test-sysusers/unhappy-3.expected-err: generated: set
test/test-sysusers/unhappy-3.input: generated: unspecified

gitattributes: mark more files as "binary"

This way we know that we shouldn't look for a spdx header in them.

tests: use !/usr/bin/env bash consistently

This adjustment was last done in f96bc66901ecbcf7ecb280d9442fd0cc92e67186,
but it seems some files were missed and some were added later.

tests: add spdx headers to scripts and Makefiles

tests: add spdx license header to test unit/link/network/conf files

Those are all consumed by our parser, so they all support comments.
I was considering whether they should have a license header at all,
but in the end I decided to add it because those files are often created
by copying parts of real unit files. And if the real ones have a license,
then those might as well. It's easier to add it than to make an exception.

bpf: fix SPDX short identifier for LGPL-2.1-or-later

licensing: add two missing spdx headers

Both files were developed in our tree, so they are under the default license.

gitattributes: mark fuzz inputs that are pure binary as such

We also have a bunch of files that have some bytes and a lot
of text, like the journal export format. For those, it is still quite
useful when the tools try to diff them, so let's not mark those.

homed: replace "already_activated" boolean parameter by a flags value

This is mostly preparation for further defined flags to be added in
later PRs/commits.

No change in behaviour just the flagsification.

macro: Move ALIGN_TO to macro-fundamental.h and introduce CONST_ALIGN_TO

sd-boot: Require gnu-efi 3.0.5

This version is from 2017 and should be stale enough to not cause
an outrage. All the relevant distros have it or a newer version.

We also already depend on some symbols defined in 3.0.5 anyway,
so let's take the opportunity to reduce our missing_efi.h
baggage.

sd-boot: Get rid of uefi_call_wrapper

The uefi_call_wrapper exists to convert to the right calling convention
and presumably predates compilers that can do so natively. The only
architecture where this is even needed is x86_64.
But because we are building with GNU_EFI_USE_MS_ABI defined, the
EFIAPI macro tells the compiler to use the right calling convention
for EFI functions. Our shim callback (which is called by EFI itself)
already relies on this.

This also adds a safety check to make se we are compiling with
GNU_EFI_USE_MS_ABI defined and also adds it to the compiler args
unconditionally. It is only used with x86_64 anyways, so it should
be fine to do so. EFI_FUNCTION_WRAPPER is unused in gnu-efi, so
it is dropped.

sd-boot: Convert VOID -> void

We are already using void in several places and having a screaming
typedef for void feels pointless. There are also CONST, IN, OUT
and OPTIONAL which we aren't using either.

This leaves missing_efi.h to keep it in line with how they are
defined in gnu-efi and/or the specs.

sd-boot: Rework print_status()

A little helper function and some unusual formatting makes this
whole thing a lot easier on the eyes. Also, right-aligning the
properties for better readability at runtime.

sd-boot: Rearm the watchdog in console_key_read

Let's not disable the watchdog at all and instead rearm it inside
of console_key_read(). This way, we are covered by the watchdog everywhere.

sd-boot: Check for OOM in some places

Merge pull request #21013 from mxre/feature/stub-dtb

[sd-stub] add support for embedding devicetree

Merge pull request #21023 from poettering/home-prepare-rename

homed: rename some functions

homed: rename home_setup_undo() → home_setup_done()

This function is a destructor, hence it should be named like one.

(We usually use xyz_free() for a destructor that frees the object passed
itself. xyz_unref() we typically use for destructors that are similar,
but ref counted. xyz_done() usually is used for destructors which free
the members of an object, but not the object itself – to allow stack
allocation of objects. We don't strictly follow this, but it's good to
stick to rules wherever we can.)

No actual code change, just renaming.

homed: rename home_prepare*() → home_setup*()

These set of functions are constructors for an object called HomeSetup,
which has a destructor home_setup_undo(), hence to be reasonably
symmetric, let's call it home_setup*() too, instead of using a new verb
"prepare" for its name.

No actual code changes, just some renaming.

po: add a false positive to POTFILES.skip

[st-stub] documenting the .dtb section

homework: reuse home_validate_update_luks() at one more place

We have the same code at two places, let's reuse it. Given the more
generic scope let's rename the function home_get_state() since it
retrieve the current setup state of the LUKS logic.

homework: remove duplicate error logging when doing ext4 resizes

homework: let's simply some code via erase_and_free()

homed,shutdown: call valgrind magic after LOOP_GET_STATUS64

valgrind doesn't understand LOOP_GET_STATUS64. We already work around
this in various placed, via VALGRIND_MAKE_MEM_DEFINE(), but we forgot
three places. Let's fix that.

userdb: fix type to pass to connect()

Fixes https://github.com/systemd/systemd/pull/20613#issuecomment-944621275.

[sd-stub] add support for embedding devicetree

Merge pull request #20902 from tasleson/integritysetup-generator

Add stand-alone dm integrity support

homework: only do image locks for regular image files

If an image file is actually a block device taking a lock on it doesn't
really make sense for us: it will interfere with udev's block device
probing logic, and it's not going to propagated across the network
anyway (which is what we are after here). Hence simply don't do it.

Follow-up for 2aaf565a2da8eb0ea9adf84028c9d0ab7a90e53e

homework: don't bother with BLKRRPART on images that aren't block devices

We currently call this ioctl even if we are backed by a regular file,
which is actually the common case. While this doesn't really hurt, it
does result in very confusing logs.

Add stand-alone dm-integrity support

This adds support for dm integrity targets and an associated
/etc/integritytab file which is required as the dm integrity device
super block doesn't include all of the required metadata to bring up
the device correctly.  See integritytab man page for details.

Merge pull request #20983 from mxre/feature/aarch64

[sd-stub] Add support for aarch64 booting via pe-entry point

Merge pull request #20980 from bluca/compat_readme

docs: add guidelines w.r.t. compatibility to docs/CONTRIBUTING.md

Merge pull request #20996 from yuwata/udevadm-trigger-debug

test: show debug and verbose message

unit: networkd does not require AF_ALG anymore

As khash is retired.

dm-verity: Remove usage of integrity

There is a difference between dm-verity and dm-integrity.  Remove
usage of integrity from verity documentation in man pages and
target files.

Merge pull request #21001 from poettering/alloca-safe

honour ALLOCA_MAX limit on all alloca() allocations, not just some

homework: fix incorrect error variable use

Merge pull request #21006 from DaanDeMeyer/mkosi-ordering

mkosi: Add number prefixes to per-distro files for easier overriding