vpick: add pick_filter_image_any filter that matches both dirs and images

Merge pull request #31790 from poettering/pcrlock-policy-fix

Replace PolicyAuthValue by PolicySigned as access policy for pcrlock policy nvindex

Merge pull request #32121 from CodethinkLabs/basic-mkosi-integration-tests

Basic mkosi integration tests

Merge pull request #32336 from teknoraver/foreach_element

Foreach element

Merge pull request #32144 from bluca/portable_clean

portablectl: add --clean parameter for detaching

ci: update tests to showcase new option a bit

update NEWS

pcrlock: rework --recovery-pin= to take three different arguments

This reworkds --recovery-pin= from a parameter that takes a boolean to
an enum supporting one of "hide", "show", "query".

If "hide" (default behaviour) we'll generate a recovery pin
automatically, but never show it, and thus just seal it and good.

If "show" we'll generate a recovery pin automatically, but display it in
the output, so the user can write it down.

If "query" we'll ask the user for a recovery pin, and not automatically
generate any.

For compatibility the old boolean behaviour is kept.

With this you can now do "systemd-pcrlock make-policy
--recovery-pin=show" to set up the first policy, write down the recovery
PIN. Later, if the PCR prediction didn't work out one day you can then
do "systemd-pcrlock make-policy --recovery-pin=query" and enter the
recovery key and write a new policy.

pcrlock: generate recovery PINs via make_recovery_key()

We already have infrastructure for generating nice recovery keys, for
the usual cryptenroll recovery keys. Let's reuse them here, as they are
nicer to read and type than the base64 encoded randomness we so far
used.

Previously valid recovery keys remain valid, in their original format.
For future enrollments we'll however have nicer, easier recovery keys to
deal with.

tpm2-util: now that we don't use PolicyAuthValue anymore, let's not set an authValue anymore for the policy nvindex

We have now switched from PolicyAuthValue to PolicySigned to control
access to the policy nvindex to. This means there's no point in setting
an authValue on the nvindex anymore, hence drop this.

pcrlock: switch access policy for nvindex to store policy in from PolicyAuthValue to PolicySigned (with an HMAC-SHA256 key)

So far the nvindex to store the pcrlock policy in was protected via a
PolicyAuthValue policy (i.e. with a simple PIN set on the nvindex).
That's a bad idea however, as it means an attacker can simply remove and
re-create the nvindex and the "name" of the nvindex does not change,
thus defeating the logic. (This is because the authValue is *not* part
of the "name" of an nvindex!).

Fix this by switching from PolicyAuthValue to PolicySigned with an
HMAC-SHA256 key. Behaviour is very similar: however, the PIN is now part
of of the access policy hash, which *is* part of the "name" of an
nvindex. Thus, if an attacker removes and recreates the nvindex it has
to provide the same PIN again or the "name" of the nvindex will change.
Mission accomplished.

I'd like to thank Chris Coulson for finding this issue (and helping me
address it). Thank you!

tpm2-util: add comment explaining what tpm2_define_policy_nv_index() actually does

tpm2-util: load external key into NULL hierarchy if private key is provided

If we load an external key into the TPM we must do so in the NULL
hierarchy. An external key after all is one that is not wrapped by any
hierarchy's seed.

See TPM2 spec, Part 3, Section 12.3.1

tpm2-util: rename tpm2_get_pin_auth() → tpm2_auth_value_from_pin()

Just some renaming. I found the old name a bit confusing since it sounds
as if this would get the pin from somewhere, but it really doesn't. It
just converts a PIN into an auth_value, and I think saying so explicitly
makes things easier to grok.

tpm2: export tpm2_get_name()

We later want to use this from pcrlock.c, hence export it.

tpm2-util: import two more symbols from tpm2-tss libraries

We want to make use of TPM_PolicySigned soon, hence import the necessary
symbols from tpm2-tss.

man/systemd-stub: fix typo

use FOREACH_ELEMENT

Use FOREACH_ELEMENT where possible. Generated with this command,
and checked manually:

    git grep -l 'FOREACH_ARRAY.*ELEMENTSOF' | \
    xargs sed -ri 's/FOREACH_ARRAY\((.*), (.*), (ELEMENTSOF.*)\)/FOREACH_ELEMENT(\1, \2)/'

introduce FOREACH_ELEMENT

Add a FOREACH_ELEMENT() macro which just passes ELEMENTSOF(v)
as third argument to FOREACH_ARRAY().

test: Add mkosi-based integration test runner

The first two tests are included to ensure parallel test execution is
demonstrable.

mkosi: Extend default device timeout to 20 seconds

A moderately heavily loaded system booting an image without a rootfs
may timeout before the root device appears.
20 seconds is enough for a VM with 2 CPUs and 2GB RAM.

Merge pull request #32328 from YHNdnzj/deserialize-objective

core: follow-ups for objective serialization

Merge pull request #32330 from poettering/status-invocation

systemctl: show invocation ID in unit status output

Merge pull request #32335 from DaanDeMeyer/fix

mkosi: undefine FORTIFY_SOURCE instead of setting it zero

mkosi: undefine FORTIFY_SOURCE instead of setting it zero

Newer gcc complains if FORTIFY_SOURCE=0 is set so just undefine it
instead.

core/manager: log about previous objective

Addresses https://github.com/systemd/systemd/pull/32320#discussion_r1569192295

core/manager-serialize: serialize objective string

Follow-up for 8c15bf36e117054cf54b4f0cca59615b7531a545

I just realized that we should not serialize the number
of internal enum, as that's subject to changes and such
changes would be hard to notice. Let's serialize strings
properly instead.

core/manager: introduce ManagerObjective string table lookup

core/manager: also log soft-reboot count along with timespan

core: switch j->unit->manager to j->manager

mkosi: Disable bash debugging in Arch build script

Merge pull request #32333 from DaanDeMeyer/mkosi

mkosi: Various improvements

boot: fix assignment of ret_* variables in `initrd_prepare()`

Merge pull request #32326 from jonathan-conder/man_pam_loadkey

man: pam_system_loadkey additions and fixes

udev: permanent symlinks with USB revision for /dev/media*

As a follow-up in the style of:
  873be895ed ("udev: add USB revision in ID_PATH")
this patch adds a second symlink for media controllers, this time
including the USB revision.

This means that in addition to persistent symlinks like:
  pci-0000:04:00.3-usb-0:1:1.0-media-controller -> ../../media0

We now also get:
  pci-0000:04:00.3-usbv2-0:1:1.0-media-controller -> ../../media0

...which helps distinguish media devices plugged into different USB root
hubs provided by the same PCI card, at least as long as they are for
different USB revisions.

Fixes: 04f19d6735 ("udev: Add /dev/media/by-path symlinks for media controllers")

systemctl: add --clean= values to documentation and shell completion

mkosi: Install debug packages when WITH_DEBUG=1 is enabled

When we're building debuginfo packages, the original binaries and
libraries are stripped so make sure we install the debuginfo
packages to make sure debugging in the container/VM still works.

mkosi: Setup --ffile-prefix-map= for opensuse as well

This doesn't actually work because the opensuse spec doesn't allow
adding extra build flags, but I'm working on fixing that, so let's
already set things up for later.

mkosi: Undefine FORTIFY_SOURCE before setting it again

Otherwise we get warnings from gcc.

mkosi: Install more packages

Let's install everything we can to get more coverage and make sure
all build outputs are available in mkosi containers or VMs.

mkosi: Drop systemd-repart from package lists

This is just a Provides for systemd-udev.

mkosi: Update to latest

bash completion: add missing parameters for portablectl

portablectl: add --clean parameter for detaching

Calls CleanUnit on each portable service being removed, after it has
stopped

NEWS: mention GNOME Foundation in contributors list

Sponsored work on homed

systemctl: show invocation ID in unit status output

I think we should put more emphasis on the invocation ID as a handle for
a specific runtime cycle of a unit. Let's start with actually showing it
to users.

See: #16035

man: document other keyname options for pam_systemd_loadkey

Merge pull request #32324 from mrc0mmand/more-website-fixes

docs: use absolute links for our pages

doc: fix .ssh credential examples

Let's create the .ssh dir with the right perms first.

Suggested by @gcb.

Fixes: #28172

docs: Add note on packages produced by mkosi builds

udev: fix assignment of ret_truncated

Follow-ups for 089bef66316e5bdc91b9984148e5a6455449c1da.

blockdev-util: fix typo

Follow-up for 33ff155957327f51dde740a7a75f19122bff1ebc.

Merge pull request #32192 from yuwata/part-scan

blockdev-util: fix detection of partscan

Merge pull request #32249 from CodethinkLabs/vmspawn/predicatable_tap_names

vmspawn: generate predicatable TAP device names and MAC addresses

blockdev-util: also read 'ext_range' sysattr to check if the partscan is enabled

The 'capability' sysattr was deprecated by
https://github.com/torvalds/linux/commit/e81cd5a983bb35dabd38ee472cf3fea1c63e0f23 (v6.3).

sd-device: introduce device_get_sysattr_unsigned_full()

man: fix wrong version info (#31949)

Fixes #31920.

systemctl: allow user to suppress output when no action scheduled (#32278)

journalctl: update help to say "priority range" (#32323)

Clarify that `-p, --priority=` always treats its option as a priority range, even when given
a single log level per the full man page description.

Co-authored-by: Mike Yuan <me@yhndnzj.com>

Merge pull request #32308 from yuwata/sd-ndisc-disable-timer-on-recv

sd-ndisc: disable one more timer event source

Merge pull request #32318 from YHNdnzj/skip-leading-char

journal-gatewayd: use skip_leading_chars

man: add pam_gnome_keyring to auth section after pam_systemd_loadkey

This is required because pam_sm_open_session [1] only looks at
gkr_system_authtok, which is copied from the kernel keyring in
pam_sm_authenticate.

[1] https://gitlab.gnome.org/GNOME/gnome-keyring/-/blob/46.1/pam/gkr-pam-module.c?ref_type=tags

Merge pull request #32320 from bluca/softreboot_serialize

Soft reboot timestamp follow-ups

man: mention that sd_journal_test_cursor() needs a positioning call

Fixes #30331.

Merge pull request #32317 from DaanDeMeyer/mkosi

mkosi: Set up -ffile-prefix-map= correctly when building debuginfo packages

docs: use absolute links for our pages

Since 56b2970 has proven to be a no-go for us, as it breaks existing
links, let's embrace the trailing slash and use absolute links
everywhere for our pages. This way we'll get around browser cleverly
appending the relative link to the current location (since it ends with
a slash), and given our docs/ layout is flat it's not much of a hassle
either.

Converted using this beauty:
  $ sed -ri 's/(\[.+\]\()([A-Z_]+\))/\1\/\2/g' *.md

Resolves: #32088 (again) and #32310

Revert "docs: don't suffix page permalink with a slash"

This breaks existing links with a trailing slash, so it's a no-go.

This reverts commit d1a7e030c5daa4a09ee93b8af6b28ecaac5d34d0.

core: rename SoftRebootStartTimestamp -> ShutdownStartTimestamp and generalize

Follow-up for 54f86b86ba8168faccbfc2ad16ceeccefde98a51

manager: serialize current objective

So that we can tell what happened before the exec. It is overwritten
shortly after deserialization. Use it to bump the soft reboots counter.

Merge pull request #32315 from poettering/hwdb-256

hwdb/autosuspend/NEWS update for 256-rc1

Merge pull request #31648 from neighbourhoodie/review-content

I did the merge manually to resolve a trivial conflict.

mkosi: Drop workarounds

With the latest Github Actions image release none of these should
be required anymore (20240414.1.1).

mkosi: Switch to O0 and disable FORTIFY_SOURCE

-Og still causes a lot of "<optimized out>" in GDB so let's use -O0
instead and disable FORTIFY_SOURCE as it doesn't work without
optimizations enabled.

Merge pull request #32143 from yuwata/magic

basic/linux: copy magic.h from kernel to our code

NEWS: prepare -rc1

autosuspend: update for v256

hwdb: update for v256

Merge pull request #32311 from YHNdnzj/write-ellipsis

Some minor cleanup for string-util (ellipsis)

mkosi: Disable DWARF debug info optimization

We care more about fast builds in this case so disable the DWARF
debug optimization that's done by default.

NEWS: udev and networkd pick up more things from creds

journal-gatewayd: use skip_leading_chars where appropriate

Prompted by c5d675472588815dedf67af8c36da0fac398fb3e

journal-gatewayd: add missing assertions

mkosi: Override build_cflags instead of _distro_extra_cflags

The latter is not supported on CentOS Stream 9.

journal-gatewayd: remove duplicate call to `startswith()`

mkosi: Set up -ffile-prefix-map= correctly when building debuginfo packages

This makes sure that the debuginfo files contain source files pointing
to the source files shipped by the debugsource package.

Normally this should be done automatically by rpm invoking debugedit
but for some unknown reason debugedit refuses to rewrite the source
files in our binaries.

Given that debugedit is completely undebugable (does not generate any
logs at all, and its source code is ridiculously obtuse), let's set
-ffile-prefix-map= when building instead which achieves the same
effect.

build(deps): bump pkg/debian from `e477254` to `30c77a7`

Bumps pkg/debian from `e477254` to `30c77a7`.

---
updated-dependencies:
- dependency-name: pkg/debian
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

core/show-status: use strlen where appropriate

We don't use sizeof() outside of array definitions
these days. The compiler should be capable of
optimizing this out.

string-util: use mempcpy where appropriate

string-util: use special_glyph() at one more place

No functional change, just refactoring.

fuzz-ndisc-rs: also test packets with sd-radv

Addresses https://github.com/systemd/systemd/pull/32267#discussion_r1566715787.

Suggested-by: Evgeny Vereshchagin <evvers@ya.ru>

test: fix typo

Follow-up for 236634c82c56e280348f9452129f3cdfd1fb7a45.

sd-ndisc: improve debugging logs

sd-ndisc: disable one more timer event source

Otherwise, even if we have already received RA, timeout callback will be
called. Currently, networkd mostly does nothing on timeout, hence should
not change any effective behavior.

Follow-up for e7cb80474d4e580f7cc7c8645e1412e4a59f7588.

Merge pull request #32300 from mrc0mmand/assorted-tweaks

test: split TEST-50-DISSECT into smaller parts

Merge pull request #32303 from CodethinkLabs/push_down_disk_partitioning

test-64-udev-storage: Push disk partitioning into the testsuite itself

cryptenroll: Use CTAP2.1 credProtect extension

When enrolling a new FIDO2 token with a client PIN, this tells the authenticator to require the PIN on all uses.

It also collects a PIN before attempting to create a credential.

Works around #31443 in most (not all) scenarios.

test-64-udev-storage: partition disk inside testcase - testcase_multipath_basic_failover

test-64-udev-storage: partition disk inside testcase - testcase_virtio_scsi_identically_named_partitions

test-64-udev-storage: partition disk inside testcase - testcase_long_sysfs_path

Merge pull request #32302 from DaanDeMeyer/mkosi

Various mkosi improvements