NEWS: finalize for v256~rc1

Merge pull request #32488 from bluca/chores

Chores for 256~rc1

sd-radv: remove unnecessary check

in6_addr_prefix_intersect() returns a bool, so the check < 0 is
dead code. Flagged by codeql.

Follow-up for c7c56724a5d7cc2b6b0d9d5f95b1055811014843

meson: update version numbers for 256~rc1

Update hwdb

NEWS: update contributors list

varlink: make errors returned by verify_unix_socket() systematic

Previously, if we encountered a non-socket fd we'd return ENOTSOCK the
first time, but the subsequent times we'd return ENOMEDIUM, due to
caching. Let's make sure we return the same errors all the the time.

Merge pull request #32445 from DaanDeMeyer/mkosi-images

mkosi: Build minimal images and enable related integration tests

sd-daemon: Set SO_LINGER on AF_VSOCK notify socket fds

We're still seeing problems in mkosi CI where we lose notify messages
sent over vsock from virtual machines because the virtual machine shuts
down before the socket buffers are flushed.

Let's try setting SO_LINGER on vsock sockets so that the kernel waits
until the buffers are flushed when we close the file descriptor.

To make sure it works, let's get rid of our previous workaround that
sends EXIT_STATUS earlier to reduce the chance of it not arriving.
This way, if it doesn't work, we'll notice it immediately due to CI
failures.

Merge pull request #32484 from DaanDeMeyer/mkosi-ci

Two mkosi CI improvements

mkosi: Build minimal images and enable related integration tests

This commit adds definitions to build the minimal_0 and minimal_1
images with mkosi and includes them into the system image. We also
move the building of the various app-xxx and similar images that are
extremely minimal into the tests itself by moving the related logic
from install_verity_minimal() into a new function
install_extension_images() in util.sh. Because the mkosi /usr is
read-only, we now place the extension images in /tmp instead of
/usr/share.

Co-authored-by: Richard Maw <richard.maw@codethink.co.uk>
Co-authored-by: sam-leonard-ct <sam.leonard@codethink.co.uk>

mkosi: Only keep failed test journals and other logs for 7 days

The default retention of 90 days seems a bit long, so drop it to 7
days.

mkosi: Only archive outputs in systemd and systemd-stable repositories

Private forks would very quickly reach their quota or spend lots of
money trying to archive all these artifacts, so let's make sure it
only happens on our own repositories.

TEST-50-DISSECT: Make sure logging sockets are mounted into images

Otherwise we lose valuable logging from systemd-executor when things
go wrong since it can only log to the journal and not to the console
in these cases.

Merge pull request #32475 from bluca/skip

test: skip testsuite-50.mountnfsd if kernel/polkit are too old

Fix _do_log conditions in log_exec_* macros

The expression for calculation of the _do_log values in the log_exec_*
macros need to be the same as the unit_log_level_test() function, used
to calculate _do_log in unit.h. The only difference between execute.h
and unit.h is the lack of the Unit structure.

Fixes: b646fc324a ("core: ensure execute/spawn functions can work without Unit object")
Fixes: 210ca71cb5 ("core/execute: clean up log_exec_full_errno and friends")
Signed-off-by: Łukasz Stelmach <l.stelmach@samsung.com>

Merge pull request #32477 from DaanDeMeyer/fixes

Various fixes

Merge pull request #32474 from poettering/varlink-no-pidfd

varlink: tweak fallback for SO_PEERPIDFD on old kernels

Merge pull request #32467 from yuwata/network-radv-cleanup

undefined

build(deps): bump pkg/debian from `733ac7c` to `4b1f868`

Bumps pkg/debian from `733ac7c` to `4b1f868`.

---
updated-dependencies:
- dependency-name: pkg/debian
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

cryptsetup-tokens: fix pin asserts

If a user only presses ENTER when the PIN is requested (without actually typing
the PIN), an assertion is reached and no other unlock method is requested.

```
sh-5.2# systemctl status systemd-cryptsetup@cr_root
× systemd-cryptsetup@cr_root.service - Cryptography Setup for cr_root
     Loaded: loaded (/etc/crypttab; generated)
    Drop-In: /etc/systemd/system/systemd-cryptsetup@.service.d
             └─pcr-signature.conf
     Active: failed (Result: core-dump) since Thu 2024-04-25 08:44:30 UTC; 10min ago
       Docs: man:crypttab(5)
             man:systemd-cryptsetup-generator(8)
             man:systemd-cryptsetup@.service(8)
    Process: 559 ExecStartPre=/usr/bin/pcr-signature.sh (code=exited, status=0/SUCCESS)
    Process: 604 ExecStart=/usr/bin/systemd-cryptsetup attach cr_root /dev/disk/by-uuid/a8cbd937-6975-4e61-9120-ce5c03138700 none x-initrd.attach,tpm2-device=auto (code=dumped, signal=ABRT)
   Main PID: 604 (code=dumped, signal=ABRT)
        CPU: 19ms

Apr 25 08:44:29 localhost systemd[1]: Starting Cryptography Setup for cr_root...
Apr 25 08:44:30 localhost systemd-cryptsetup[604]: Assertion '!pin || pin_size > 0' failed at src/cryptsetup/cryptsetup-tokens/cryptsetup-token-systemd-tpm2.c:60, function cryptsetup_token_open_pin(). Aborting.
Apr 25 08:44:30 localhost systemd[1]: systemd-cryptsetup@cr_root.service: Main process exited, code=dumped, status=6/ABRT
Apr 25 08:44:30 localhost systemd[1]: systemd-cryptsetup@cr_root.service: Failed with result 'core-dump'.
Apr 25 08:44:30 localhost systemd[1]: Failed to start Cryptography Setup for cr_root.
```

In this case, `cryptsetup_token_open_pin()` receives an empty (non-NULL) `pin`
with `pin_size` equals to 0.

```
🔐 Please enter LUKS2 token PIN:

Breakpoint 3, cryptsetup_token_open_pin (cd=0x5555555744c0, token=0, pin=0x5555555b3cc0 "", pin_size=0, ret_password=0x7fffffffd380,
    ret_password_len=0x7fffffffd378, usrptr=0x0) at ../src/cryptsetup/cryptsetup-tokens/cryptsetup-token-systemd-tpm2.c:42
42                 void *usrptr /* plugin defined parameter passed to crypt_activate_by_token*() API */) {
(gdb) continue
Assertion '!pin || pin_size > 0' failed at src/cryptsetup/cryptsetup-tokens/cryptsetup-token-systemd-tpm2.c:60, function cryptsetup_token_open_pin(). Aborting.
```

tree-wide: Use log_setup() everywhere

Otherwise the default log target is the console and we won't use
the journal socket even if it is available.

mkosi: Make sure systemd-resolved is started on boot

portable: Don't fail if /etc/resolv.conf doesn't exist

The portable profiles assume /etc/resolv.conf exists, which isn't
always the case. Let's mark the mounts as optional so we don't fail
to start the unit if /etc/resolv.conf doesn't exist.

test: Skip meson integration tests if SYSTEMD_INTEGRATION_TESTS != 1

We cannot mark a test suite as excluded by default in meson. Instead,
let's require that SYSTEMD_INTEGRATION_TESTS=1 and skip any integration
test if it's not set. This is effectively the same as excluding it by
default. If the integration-test option is enabled, we'll set the
environment variable by default, just like we do with SYSTEMD_SLOW_TESTS
and the slow-tests meson option.

meson: Properly check dependencies of mkosi target

Let's insist on mkosi being found if the integration-tests option
is enabled and let's only add dependencies on systemd-journal-remote
and systemd-measure if they're being built. Drop ukify from the list
as its part of public_programs.

mkosi: Add squashfs-tools

Required for various integration tests.

Merge pull request #32441 from poettering/rework-handoff-timestamp

pid1: rework handoff timestamp

update NEWS

Merge pull request #32476 from CodethinkLabs/meson-logs-ci

ci: Add the meson logs to failure log artifacts

test: skip testsuite-50.mountnfsd if kernel/polkit are too old

Need full support of pidfd to work, so skip the test if it's not
available

test: use sd-analyze for kernel version check in TEST-62

ci: Add the meson logs to failure log artifacts

It is not a lot of use to add --debug to tests without it
since only the last 100 lines are printed to console.

ci: Update mkosi version

The change to add microcode support had a bug in ukify handling
that broke when it should have been picked up from ExtraSearchPaths.

update TODO

execute: make ExecStatus dump more useful by showing passed time

Let's show the runtimes of our commands and preparations for them. It's
actually quite interesting, we sometimes are irritatingly slow with our
handoffs.

swap: hook up with handoff timestamps

mount: hook up with handoff timestamps

socket: hookup handoff timestamps with processes forked off by socket units

manager: switch service unit type over to using new handoff timestamping logic

Also: rename Handover → Handoff. I think it makes it clearer that this
is not really about handing over any resources, but that the executor is
out off the game from that point on.

execute: send handoff timestamps from executor to service manager

This changes the executor to systematically send handoff timestamps to
the service manager if a socket for that is supplied. This drops the
code that did this via Type=exec messages, and reverts that part to the
old behaviour before 93cb78aee2cff8109a5a70128287732f03d7a062.

Benefits of this approach:

1. We can collect the handoff for any command we fork off, regardless
   if it's ExecStart= something else, regardless whether it's Type=exec,
   Type=simple or some any other service type, regardless of the unit
   type.

2. We collect both CLOCK_REALTIME and CLOCK_MONOTONIC, as we do for the
   other process timestamps.

3. It's entirely backwards compatible, as this doesn't change the
   protocol between service manager and executor, but just extends it.

manager: add socket for receiving handoff timestamps from forked children

This adds an AF_UNIX socket pair to the manager that we can collect
handoff timestamp messages on.

The idea is that forked off children send a datagram with a timestamp
and we use its sender PID to match it against the right forked off
process.

This part only implements the receiving side: a socket is created, and
listened on. Received datagrams are parsed, verified and then dispatched
to the interested units.

core: fix assertions in manager_dispatch_user_lookup_fd()

assert_se() should not be used here, these checks are paranoia only and
have no side-effect after all.

hence fix this to use assert(), or in fact ASSERT_PTR()

varlink: fix varlink_get_peer_pidref() fallback

let's properly handle old kernels that have no pidfd, and use regular
pids in that case, as intended originally.

errno-util: consider ENOPROTOOPT another "not supported"

It's generated by not supported getsocktopt()/setsockopt() options, and
it's just another way for saying "not supported", hence treat it as
such.

run/run: fix invocation ID handling

Fixes a regression introduced by 8157cc0e3e33c97b406cc088cf001ca524154f64.

network/radv: use sd_ndisc_prefix and friends to manage prefixes and so on

No functional change, just refactoring.

network/radv: rename pref64Prefix -> Prefix64

Also this made several coding style cleanups.

network/route: use our definitions of route preference

Including linux/icmpv6.h easily trigger conflicts when another header
includes netinet/icmp6.h. Let's drop the dependency and use our
definition of the same values.

Merge pull request #32464 from YHNdnzj/journal-object-invocation-id

journal: small fixes for OBJECT_SYSTEMD_INVOCATION_ID

systemctl: list-jobs: interchange 'waiting for' and 'blocking' in output

The current output of 'systemctl list-jobs' with the --after and/or --before
switches seems backwards. With artificial units

# check-oil.service
[Unit]
Description=Check the oil level
Before=engine-ready.target

# fill-gas.service
[Unit]
Description=Fill the tank with gasoline
Before=engine-ready.target

# engine-ready.target
[Unit]
Description=The engine is ready

[Unit]
Description=Start the engine!
After=engine-ready.target
Wants=engine-ready.target

running 'systemctl list-jobs --before --after' produces

JOB UNIT                                              TYPE  STATE
93  check-oil.service                                 start running
└─      waiting for job 94 (engine-ready.target/start)   -     -
102 fill-gas.service                                  start running
└─      waiting for job 94 (engine-ready.target/start)   -     -
94  engine-ready.target                               start waiting
└─      waiting for job 111 (start-engine.service/start) -     -
└─      blocking job 93 (check-oil.service/start)        -     -
└─      blocking job 102 (fill-gas.service/start)        -     -
111 start-engine.service                              start waiting
└─      waiting for job 1 (multi-user.target/start)      -     -
└─      blocking job 94 (engine-ready.target/start)      -     -

Obviously, job 93 is not waiting for job 94, but rather blocking it.

Merge pull request #32458 from poettering/manager_get_units_for_pidref

core: split out manager_get_units_for_pidref() and use it at multiple places

mount,swap: include ExecStatus output in dump

socket and service units output there ExecCommand/ExecStatus definitions
already, but this was missing in mount/swap. Fix that.

Merge pull request #32465 from CodethinkLabs/mkosi-debug

mkosi: Build images and run mkosi tests with --debug to aid debugging in CI

Merge pull request #32461 from DaanDeMeyer/test-fixes

Various integration test fixes

TEST-50-DISSECT: Skip mutable sysext tests on virtiofs

virtiofs cannot be used as the upper fs for overlayfs, so skip all
the sysext mutable tests that would try to use virtiofs as the
upper fs.

test: Add --debug when running mkosi through integration-test-wrapper

man/systemd.journal-fields: add missing OBJECT_SYSTEMD_INVOCATION_ID

journald-server: drop spuriously doubled '=' for OBJECT_SYSTEMD_INVOCATION_ID

mkosi: Build images with --debug to aid debugging in CI

manager: also port manager_dispatch_sigchld() to manager_get_units_for_pidref()

We have pretty much the same code here, let's reuse the common
implementation.

manager: split out helper that gets Unit objects with interest in given PidRef

This is both easier to read and allows us to reuse the helper later.

Merge pull request #32447 from keszybz/test-taint

core: drop unused param, move taint calculation to separate file

ci: remove packages.microsoft.com

It is not needed, it publishes things like dotnet, and it is often
broken, so just remove the sources

manager: port user lookup fd serialization to serialize_fd_many()

manager: comprehensively mark manager_dispatch_user_lookup_fd() as static

The prototype was static, but the implementation was not. Make both
static, this is otherwise too confusing. (This doesn't actually change
anything, since the prototype decides about this anyway, but it makes
things easier to read.)

capability-util: avoid thread_local

While stracing PID1's forking off of children I noticed that every
single forked off child reads cap_last_cap from procfs. That value is a
kernel constant, hence we can save a lot of work if we'd cache it.

Thing is, we actually do cache it, in a thread_local cache field. This
means that the forked off processes (which are considered new threads)
will have to re-query it, even though we already know the result.

Hence, let's get rid of the thread_local stuff (given that the value is
going to be the same for all threads anyway, and we pretty much have a
single thread only anyway). Use an C11 atomic_int instead, which ensures
the value is either initialized or not initialized, but we don't need to
be concerned of partial initialization.

This makes the cap_last_cap reading go away in the children, as strace
shows (since cap_last_cap() is already called by PID 1 before
fork()ing, anyway).

cryptenroll: fix typo (close parenthesis out of nowhere)

Follow-up for 8518f4a814426e7a92342298353a4cd9508cb33b

manager: use startswith() return value

manager: use proper unicode arrow in dump

TEST-50-DISSECT: Use --apparent-size when calling du

Otherwise if the file is full of holes we get the wrong size and
we'll fail later on.

TEST-50-DISSECT: Skip mountfsd test if the user namespace interface is not supported

core/taint: make short_uid_range() not take a path

As requested in review.

core: drop unused param, move taint calculation to separate file

Follow-up for 2b28dfe6e632f47a9058d9378fb88a0c99b34a91.

I also considered moving the function to src/basic, but since it's only used by
the manager, it doesn't seem useful.

exec-invoke: correct dont_close[] size

THis needs 15 entries as far as I can count, not just 14.

Follow-up for: 5686391b006ee82d8a4559067ad9818e3e631247

Sniff.

Merge pull request #32449 from DaanDeMeyer/mkosi

Various mkosi fixes

mkosi: Add attr

Required for messing around with xattrs in integration tests.

mkosi: Add nvme-cli

The nvme command is needed for TEST-84-STORAGETM.

mkosi: Add psmisc to opensuse for killall

mkosi: Add psmisc to debian-ubuntu for killall

mkosi: Add psmisc to arch for killall

test: Shut down tests on crash

If an assert in systemd fails it can't shut down normally.

By default it freezes. For interactive runs we want the crash shell
to enable further debugging, but during test runs we want it to exit
without having to wait for the test timeout.

By deactivating the crash shell, enabling reboot, and configuring qemu
so that it shuts down instead of rebooting we can shut down instead.

Because by default UEFI will enroll keys and then reboot
we also have to set --qemu-firmware-variables=custom
so it doesn't need to auto-enroll.

Because mkosi has to handle not receiving an EXIT_STATUS notification
it falls back to the exit code of qemu, which in the case of reboot
would be 0, we also override the success exit status to 123
and check that we got that as an exit code from mkosi.

test: document when writable /usr overlays may be needed

mkosi: Update to latest

Merge pull request #32424 from yuwata/network-radv-cleanups

network/radv: further cleanups

Merge pull request #32443 from weblate/weblate-systemd-main

Translations update from Fedora Weblate

man: document service types that record ExecMainHandoverTimestamp

Follow-up for 93cb78aee2cff8109a5a70128287732f03d7a062

po: Translated using Weblate (Georgian)

Currently translated at 100.0% (233 of 233 strings)

Co-authored-by: Temuri Doghonadze <temuri.doghonadze@gmail.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/ka/
Translation: systemd/main

po: Translated using Weblate (Ukrainian)

Currently translated at 100.0% (233 of 233 strings)

Co-authored-by: Yuri Chornoivan <yurchor@ukr.net>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/uk/
Translation: systemd/main

po: Translated using Weblate (Turkish)

Currently translated at 100.0% (233 of 233 strings)

Co-authored-by: Oğuz Ersen <oguz@ersen.moe>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/tr/
Translation: systemd/main

po: Translated using Weblate (Swedish)

Currently translated at 100.0% (233 of 233 strings)

Co-authored-by: Luna Jernberg <bittin@reimu.nl>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/sv/
Translation: systemd/main

network/radv: merge two boolean flags for prefix into one

sd-radv: use in6_addr_prefix_intersect()

in-addr-util: introduce in{4,6}_addr_prefix_intersect()

sd-radv: allow to send multiple routes or prefix64 that have intersection with others

I cannot find any RFC that states we should not send multiple route
prefix or pref64 options that have intersection with others.
Moreover, each route prefix option has preference field, thus, user may
want to send e.g. a prefix with the normal preference, and another sub
prefix with the high preference. Previously, such configuration was
prohibited. Let's allow that now.

sd-radv: send RA on update in caller side

As the caller may want to update multiple prefixes and friends.
Let's not automatically announce on update in library side.

Currently, only prefix is updated during running. Hence, this does not
change any effective behavior.

Merge pull request #32438 from YHNdnzj/taint-cleanup

core/manager: clean up taint strings

core/manager: add unmerged-bin taint

core/manager: rearrange taint tags

core/manager: drop obsolete cgroup taint string

Wwe can't boot on systems without cgroup anyway
(even cgroup v1 will be gone pretty soon).