ci: Add the meson logs to failure log artifacts

It is not a lot of use to add --debug to tests without it
since only the last 100 lines are printed to console.

ci: Update mkosi version

The change to add microcode support had a bug in ukify handling
that broke when it should have been picked up from ExtraSearchPaths.

run/run: fix invocation ID handling

Fixes a regression introduced by 8157cc0e3e33c97b406cc088cf001ca524154f64.

Merge pull request #32464 from YHNdnzj/journal-object-invocation-id

journal: small fixes for OBJECT_SYSTEMD_INVOCATION_ID

systemctl: list-jobs: interchange 'waiting for' and 'blocking' in output

The current output of 'systemctl list-jobs' with the --after and/or --before
switches seems backwards. With artificial units

# check-oil.service
[Unit]
Description=Check the oil level
Before=engine-ready.target

# fill-gas.service
[Unit]
Description=Fill the tank with gasoline
Before=engine-ready.target

# engine-ready.target
[Unit]
Description=The engine is ready

[Unit]
Description=Start the engine!
After=engine-ready.target
Wants=engine-ready.target

running 'systemctl list-jobs --before --after' produces

JOB UNIT                                              TYPE  STATE
93  check-oil.service                                 start running
└─      waiting for job 94 (engine-ready.target/start)   -     -
102 fill-gas.service                                  start running
└─      waiting for job 94 (engine-ready.target/start)   -     -
94  engine-ready.target                               start waiting
└─      waiting for job 111 (start-engine.service/start) -     -
└─      blocking job 93 (check-oil.service/start)        -     -
└─      blocking job 102 (fill-gas.service/start)        -     -
111 start-engine.service                              start waiting
└─      waiting for job 1 (multi-user.target/start)      -     -
└─      blocking job 94 (engine-ready.target/start)      -     -

Obviously, job 93 is not waiting for job 94, but rather blocking it.

Merge pull request #32458 from poettering/manager_get_units_for_pidref

core: split out manager_get_units_for_pidref() and use it at multiple places

mount,swap: include ExecStatus output in dump

socket and service units output there ExecCommand/ExecStatus definitions
already, but this was missing in mount/swap. Fix that.

Merge pull request #32465 from CodethinkLabs/mkosi-debug

mkosi: Build images and run mkosi tests with --debug to aid debugging in CI

Merge pull request #32461 from DaanDeMeyer/test-fixes

Various integration test fixes

TEST-50-DISSECT: Skip mutable sysext tests on virtiofs

virtiofs cannot be used as the upper fs for overlayfs, so skip all
the sysext mutable tests that would try to use virtiofs as the
upper fs.

test: Add --debug when running mkosi through integration-test-wrapper

man/systemd.journal-fields: add missing OBJECT_SYSTEMD_INVOCATION_ID

journald-server: drop spuriously doubled '=' for OBJECT_SYSTEMD_INVOCATION_ID

mkosi: Build images with --debug to aid debugging in CI

manager: also port manager_dispatch_sigchld() to manager_get_units_for_pidref()

We have pretty much the same code here, let's reuse the common
implementation.

manager: split out helper that gets Unit objects with interest in given PidRef

This is both easier to read and allows us to reuse the helper later.

Merge pull request #32447 from keszybz/test-taint

core: drop unused param, move taint calculation to separate file

ci: remove packages.microsoft.com

It is not needed, it publishes things like dotnet, and it is often
broken, so just remove the sources

manager: port user lookup fd serialization to serialize_fd_many()

manager: comprehensively mark manager_dispatch_user_lookup_fd() as static

The prototype was static, but the implementation was not. Make both
static, this is otherwise too confusing. (This doesn't actually change
anything, since the prototype decides about this anyway, but it makes
things easier to read.)

capability-util: avoid thread_local

While stracing PID1's forking off of children I noticed that every
single forked off child reads cap_last_cap from procfs. That value is a
kernel constant, hence we can save a lot of work if we'd cache it.

Thing is, we actually do cache it, in a thread_local cache field. This
means that the forked off processes (which are considered new threads)
will have to re-query it, even though we already know the result.

Hence, let's get rid of the thread_local stuff (given that the value is
going to be the same for all threads anyway, and we pretty much have a
single thread only anyway). Use an C11 atomic_int instead, which ensures
the value is either initialized or not initialized, but we don't need to
be concerned of partial initialization.

This makes the cap_last_cap reading go away in the children, as strace
shows (since cap_last_cap() is already called by PID 1 before
fork()ing, anyway).

cryptenroll: fix typo (close parenthesis out of nowhere)

Follow-up for 8518f4a814426e7a92342298353a4cd9508cb33b

manager: use startswith() return value

manager: use proper unicode arrow in dump

TEST-50-DISSECT: Use --apparent-size when calling du

Otherwise if the file is full of holes we get the wrong size and
we'll fail later on.

TEST-50-DISSECT: Skip mountfsd test if the user namespace interface is not supported

core/taint: make short_uid_range() not take a path

As requested in review.

core: drop unused param, move taint calculation to separate file

Follow-up for 2b28dfe6e632f47a9058d9378fb88a0c99b34a91.

I also considered moving the function to src/basic, but since it's only used by
the manager, it doesn't seem useful.

exec-invoke: correct dont_close[] size

THis needs 15 entries as far as I can count, not just 14.

Follow-up for: 5686391b006ee82d8a4559067ad9818e3e631247

Sniff.

Merge pull request #32449 from DaanDeMeyer/mkosi

Various mkosi fixes

mkosi: Add attr

Required for messing around with xattrs in integration tests.

mkosi: Add nvme-cli

The nvme command is needed for TEST-84-STORAGETM.

mkosi: Add psmisc to opensuse for killall

mkosi: Add psmisc to debian-ubuntu for killall

mkosi: Add psmisc to arch for killall

test: Shut down tests on crash

If an assert in systemd fails it can't shut down normally.

By default it freezes. For interactive runs we want the crash shell
to enable further debugging, but during test runs we want it to exit
without having to wait for the test timeout.

By deactivating the crash shell, enabling reboot, and configuring qemu
so that it shuts down instead of rebooting we can shut down instead.

Because by default UEFI will enroll keys and then reboot
we also have to set --qemu-firmware-variables=custom
so it doesn't need to auto-enroll.

Because mkosi has to handle not receiving an EXIT_STATUS notification
it falls back to the exit code of qemu, which in the case of reboot
would be 0, we also override the success exit status to 123
and check that we got that as an exit code from mkosi.

test: document when writable /usr overlays may be needed

mkosi: Update to latest

Merge pull request #32424 from yuwata/network-radv-cleanups

network/radv: further cleanups

Merge pull request #32443 from weblate/weblate-systemd-main

Translations update from Fedora Weblate

man: document service types that record ExecMainHandoverTimestamp

Follow-up for 93cb78aee2cff8109a5a70128287732f03d7a062

po: Translated using Weblate (Georgian)

Currently translated at 100.0% (233 of 233 strings)

Co-authored-by: Temuri Doghonadze <temuri.doghonadze@gmail.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/ka/
Translation: systemd/main

po: Translated using Weblate (Ukrainian)

Currently translated at 100.0% (233 of 233 strings)

Co-authored-by: Yuri Chornoivan <yurchor@ukr.net>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/uk/
Translation: systemd/main

po: Translated using Weblate (Turkish)

Currently translated at 100.0% (233 of 233 strings)

Co-authored-by: Oğuz Ersen <oguz@ersen.moe>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/tr/
Translation: systemd/main

po: Translated using Weblate (Swedish)

Currently translated at 100.0% (233 of 233 strings)

Co-authored-by: Luna Jernberg <bittin@reimu.nl>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/sv/
Translation: systemd/main

network/radv: merge two boolean flags for prefix into one

sd-radv: use in6_addr_prefix_intersect()

in-addr-util: introduce in{4,6}_addr_prefix_intersect()

sd-radv: allow to send multiple routes or prefix64 that have intersection with others

I cannot find any RFC that states we should not send multiple route
prefix or pref64 options that have intersection with others.
Moreover, each route prefix option has preference field, thus, user may
want to send e.g. a prefix with the normal preference, and another sub
prefix with the high preference. Previously, such configuration was
prohibited. Let's allow that now.

sd-radv: send RA on update in caller side

As the caller may want to update multiple prefixes and friends.
Let's not automatically announce on update in library side.

Currently, only prefix is updated during running. Hence, this does not
change any effective behavior.

Merge pull request #32438 from YHNdnzj/taint-cleanup

core/manager: clean up taint strings

core/manager: add unmerged-bin taint

core/manager: rearrange taint tags

core/manager: drop obsolete cgroup taint string

Wwe can't boot on systems without cgroup anyway
(even cgroup v1 will be gone pretty soon).

mount-setup: use mount_verbose_full where appropriate

Merge pull request #32437 from keszybz/notify-fixups-split-out

Two fixups for sd-notify split out from #32093

Merge pull request #32434 from poettering/cryptenroll-prefer-var

cryptenroll: prefer looking at /var/ instead of /

Add self-contained Python sd_notify example.

This complements the existing C example.

sysext: do not return 0 if `unmerge()` fails in the `refresh()` function.

Actually, return the result of `unmerge()` if it is called in the `refresh()`
function.

Fixes 8662fcbcf1f31725998bd1ebe706ac813b053962

Merge pull request #32435 from YHNdnzj/followup

Some follow-ups for recent PRs

update NEWS

cryptenroll: use [] in --help text to indicate block device argument is now optional

cryptenroll: default to block device backing /var/ rather than /

With 1df4b21abdb9e562805a7b006d179507182f845e we started to default to
enrolling into the LUKS device backing the root fs if none was specified
(and no wipe operation is used). This changes to look for /var/ instead.

On most systems /var/ is going to be on the root fs, hence this change
is with little effect.

However, on systems where / and /var/ is separate it makes more sense to
default to /var/ because that's where the persistent and variable data
is placed (i.e.  where LUKS should be used) while / doesn't really have
to be variable, could as well be immutable, or ephemeral. Hence /var/
should be a safer default.

Or to say this differently: I think it makes sense to support systems
with /var/ being on / well. I also think it makes sense to support
systems with them being separate, and /var/ being variable and
persistent. But any other kind of system I find much less interesting to
support, and in that case people should just specify the device name.

Also, while we are at it, tighten the checks a bit, insist on a dm-crypt
+ LUKS superblock before continuing.

And finally, let's print a short message indicating the device we
operate on.

journal: do not rotate unrelated journal files when full or corrupted

When we fail to add an entry to a journal file, typically when the file
is full or corrupted, it is not necessary to rotate other journal files.

Not only that's unnecessary, rotating all journal files allows
unprivileged users to wipe system or other user's journals by writing
many journal entries to their own user journal file.

Let's rotate all journal files only when
- it is really requested by a privileged user (e.g. by journalctl --rotate), or
- the system time jumps backwards.
And, otherwise rotate only the journal file we are currently writing.

core: Limit terminal reset using ANSI sequences to /dev/console

Doing this in reset_terminal_fd() is a bit too invasive, see
https://github.com/systemd/systemd/pull/32406#issuecomment-2070923583.

Let's only do this for /dev/console so that we work around weird firmwares
disabling line-wrapping, but avoid messing too much with other things.

While we're at it, let's handle more than just line wrapping, and do a
more general reset of stuff to get the terminal into a sane state.

network: suggest using "networkctl edit" instead of copying manually

cryptenroll: sort includes

Follow-up for 1df4b21abdb9e562805a7b006d179507182f845e

core/service: also allow updating main pid when SERVICE_STOP

Follow-up for f5b72af50d2bb6879f0e6d8ea10f34e9c111dcd1

See also: https://github.com/systemd/systemd/pull/32120#discussion_r1575992623

Merge pull request #32428 from poettering/sd-notify-reboot-param

pid1: send shutdown type and reboot argument to supervisor via sd_notify()

cryptenroll: use root device by default

Merge pull request #32433 from DaanDeMeyer/fix

mkosi: Fix Arch Linux package glob

manager: Improve freeze/thaw for unrealized cgroup

This is a follow-up for e50bfc89cefd4aafedaf2a7eacbf8b5ed80b134e

In that commit, we made Freeze/Thaw work with unrealized cgroups.
However, the unit was left in a strange state: it would be frozen by the
kernel but systemd would be unaware, and it remained possible to try and
realize the cgroup while the unit is supposed to be frozen. This commit
fixes the state tracking and prevents cgroups from being realized when
the unit is frozen.

Merge pull request #32427 from poettering/systemctl-help-missing

systemctl: add missing --help entries

build(deps): bump pkg/debian from `30c77a7` to `733ac7c`

Bumps pkg/debian from `30c77a7` to `733ac7c`.

---
updated-dependencies:
- dependency-name: pkg/debian
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

mkosi: Configure lower retention limit for package artifacts

This is more than 0.5G per job, so let's drop the retention to
4 days to make sure we don't hit github's limits.

mkosi: Fix Arch Linux package glob

service: allow MainPID= updates during stop of the service

Example use case is a migration of MainPID to an auxiliary scope.

Merge pull request #32352 from DaanDeMeyer/test

test: Various mkosi integration test improvements

update TODO

systemctl: set reboot argument for most forms of shutdown, not just plain reboots

This doesn't hurt anyway, and is useful now that we propagate the string
via sd_notify() too.

shutdown: send an sd_notify() message on shutdown with the shutdown reason and boot param

This is kinda nice in containers, to exfiltrate a string from the
container on shutdown.

mkosi: Run integration tests in CI

We do the image build and run the tests in a btrfs loopback so we
can make use of btrfs subvolumes and COW to keep the disk space
requirements to a minimum and speed up the ephemeral copies we make
of the image to run the tests.

We also switch to building debug packages and publishing the built
packages as artifacts.

test: Various mkosi integration test improvements

- Stop using logging module since the default output formatting is
  pretty bad. Prefer print() for now.
- Log less, logging the full mkosi command line is rather verbose,
  especially when it contains multi-line dropins.
- Streamline the journalctl command we output for debugging failed
  tests.
- Don't force usage of the disk image format.
- Don't force running without unit tests.
- Don't force disabling RuntimeBuildSources.
- Update documentation to streamline the command for running a single
  test and remove sudo as it's not required anymore.
- Improve the console output by having the test unit's output logged
  to both the journal and the console.
- Disable journal console log forwarding as we have journal forwarding
  as a better alternative.
- Delete existing journal file before running test.
- Delete journal files of succeeded tests to reduce disk usage.
- Rename system_mkosi target to just mkosi
- Pass in mkosi source directory explicitly to accomodate arbitrary
  build directory locations.
- Add test interactive debugging if stdout is connected to a tty
- Stop explicitly using the 'system' image since it'll likely be
  dropped soon.
- Only forward journal if we're not running in debugging mode.
- Stop using testsuite.target and instead just add the necessary
  extras to the main testsuite unit via the credential dropin.
- Override type to idle so test output is not interleaved with
  status output.
- Don't build mkosi target by default
- Always add the mkosi target if mkosi is found
- Remove dependency of the integration tests on the mkosi target
  as otherwise the image is always built, even though we configure
  it to not be built by default.
- Move mkosi output, cache and build directory into build/ so that
  invocations from meson and regular invocations share the same
  directories.
- Various aesthetic cleanups.

mkosi: Deal with ubuntu's special debug packages

Building debug packages on ubuntu requires the "debug" option to be
specified explicitly. Debug packages on Ubuntu have the .ddeb extension,
so let's make sure we handle that by copying the .ddeb packages in the
build script as well.

mkosi: Use -fdebug-prefix-map= instead of -ffile-prefix-map=

-ffile-prefix-map= implies -fmacro-prefix-map= which is incompatible
with our definition of PROJECT_FILE.

See https://github.com/systemd/systemd/issues/32417.

-fdebug-prefix-map= only affects debuginfo without affecting macros.

mkosi: Update to latest

systemctl: add forgotten --after/--before to --help text

Follow-up for: afba41995de65d8f378b138ea6d9804be32625a3

systemctl: add forgotten --reboot-argument= to --help text

Follow-up for: dae710bef121bfc379423d9d75e7d792074ab71c

systemctl: add forgotten --message= to --help text

Follow-up for: 9ef15026c0e7e6600372056c43442c99ec53746e

mkosi: mask isc-dhcp-server

isc-dhcp-server does not ship units, only sysv scripts, so the mkosi
presets that disable it have no effect. The generated unit is started on
each boot and fails, causing delays and noise.

Mask it so that the generated unit is overridden. It is installed only
to bring in binaries used by the networkd tests anyway.

Merge pull request #32413 from yuwata/network-radv-validator

network/radv: several cleanups for validating configs

network: add .link file to match 80-namespace.network

This file makes clear the interface shall be owned by networkd.

This does what 658169e6d307b5b1aea0d82b4a6430fa9d529c68 did for nspawn's
regular devices for the devices defined through
8aee931e7ae1adb01eeac0e1e4c0aef6ed3969ec too.

network: add "mac" to alternatives name policy by default

Alternative names are basically free, hence add "mac" there too, to make
it easier to see what names could be used as primary options too.

kernel-install/60-ukify: also search in {/run,/usr/local/lib}/kernel/

After db26d8025e5bbc188f93b645124126bbc550caa5,
kernel-install takes config files under /run/
and /usr/local/lib/ into account too. The same
should apply to ukify.

Note that ukify when invoked alone searches under
/run/systemd/, /etc/systemd/, /usr/local/lib/systemd/,
and /usr/lib/systemd/, respectively, which is against
our usual order...

machined: fix invalid edge case in machine_new

Document effective owner of stdout/stderr log file upon creation

The log files defined using file:, append: or truncate: inherit the owner and other privileges from the effective user running systemd.

The log files are NOT created using the "User", "Group" or "UMask" defined in the service.

ukify: swap the ordering of config search paths

Let's follow our usual ordering.

Follow-up for a05fa30f88e522101c8412deecd7f598e2254b20.

test: ensure all architecture ids we define definitely fit into .v/ patterns

Just some safety checks so that we never regress on this: make sure all
architectur IDs we define are embeddable safely in .v/ entry file names.

Merge pull request #32412 from weblate/weblate-systemd-main

Translations update from Fedora Weblate

test: Rework TEST-02-UNITTESTS

Currently, A large amount of unit test output is logged directly
to the console instead of to the per test log file as any subprocesses
executed by a test manager will detect that stderr is not connected
to the journal and log directly to /dev/console instead.

To solve this issue, let's make sure all tests are connected directly
to the journal by running them with systemd-run. We also simplify the
entire test script by getting rid of the custom queue and replicating
it with xargs instead. By using bash's function export feature, we can
make our run_test() function available to the bash subprocess spawned
by xargs.

Once a test is finished, we read its logs from the journal and put them
in the appropriate file if needed.