catalog: beef up new sysctl message

Let's make use of the templating logic, to make the entry more useful.

catalog: rebreak catalog entry

networkd: move sysctl code to use PID_FMT

Now that format-util.h doesn't pull in net/if.h anymore, we can use it
to format PIDs in the networkd-sysctl.c code.

basic: split ifname related calls from format-util.h into format-ifname.h

This way we don't have to pull in net/if.h into format-util.h.

This is supposed to address https://github.com/systemd/systemd/pull/32212#discussion_r1755639881

No actual code changes, just a .c/.h file split-up.

minor fixups for #32212

Fix minor post merge comments

mkosi: Stop applying device groups patch on Arch

It stopped applying so let's stop applying it to make CI green again.

analyze: add test for verify exit status with warnings

units: Order ldconfig.service after systemd-confext.service

The configuration files required by ldconfig could be put into
place by systemd-confext.service (ldconfig only looks in /etc) so
let's order the service after systemd-confext.service to make sure
any config files are in place before the service runs.

Merge pull request #34390 from poettering/bus-process-man-tweak

man: document that sd_bus_process() only returns otherwise unhandled …

Merge pull request #32212 from teknoraver/networkd-sysctl

More visibility into systemd-networkd sysctls

update TODO

man: document that sd_bus_process() only returns otherwise unhandled messages in *ret_message

update TODO

Merge pull request #34388 from poettering/syscall-update

seccomp: update syscall list and categorize new additions a bit

Merge pull request #34385 from poettering/man-unify-pcr-key-name

man: clean up PCR public key filenames in systemd-stub and systemd-measure man pages

NEWS: correct/complete some entries

Merge pull request #34386 from keszybz/mkosi-update-helper

Mkosi update helper

seccomp-util: add recently added new syscalls to various seccomp groups, as appropriate

syscalls: run "ninja update-syscalls-*"

NEWS: the first big batch for v257

analyze: move "has-tpm2" from systemd-creds to systemd-analyze

The verb s not really specific to credential management, it was always a
bit misplaced. Hence move it to systemd-analyze, where we already have
some general TPM related verbs such as "srk" and "pcrs"

mkosi: update mkosi commit reference to v24.3-158-g2c9954fa51

* 2c9954fa51 mkosi-initrd: correct `--debug-shell` help output
*   671708a10b Merge pull request #2990 from behrmann/allthemanuals
|\
| * 2671849125 initrd: add --show-documentation option
| * e2238f5dc7 Move show_docs to its own module
| * e366093b1c doc: make documentation command take an argument
* | 9fcff08b34 Update documentation links
* | 113f7f67dd Only write to /etc/machine-id if /etc exists
|/
*   62a610c0e5 Merge pull request #3005 from DaanDeMeyer/mypy
|\
| * 9b569c93bb Don't delete reader in _tempfile() backport
| * 16f4c94930 Mark all class variables as Final
| * ca7021e9a7 Annotate two more variables that need it
| * fec368dd4d Move KeySource.Type out of KeySource
| * ff5f7b06b8 user: Drop lru_cache() for home() and name()
| * 8f7c7b366f Move code backported from cpython upstream to backport.py
| * f66212e9c2 Drop listify()
| * 4293866df2 mypy: Disable allow_redefinition
| * 2700337f11 Fix mypyc warnings in sandbox.py
|/
* 025483af04 sandbox: Use separate variable name when we change types
*   b04800cd30 Merge pull request #3003 from DaanDeMeyer/initrd
|\
| * fd64be9b60 mkosi-initrd: Ignore gnupg subdirectory
| * 7a8a21f8f6 mkosi-initrd: Only set --cacheonly=metadata when running as root
| * 156880c398 mkosi-initrd: Add --debug-shell argument
|/
*   a32c8f393a Merge pull request #3002 from DaanDeMeyer/cherry-pick
|\
| * 1d8bfabc97 news: add note to change where the manual pages are
| * 8917d65db1 initrd: flatten module into a single file
| * 76085b788a sandbox: flatten module into a single file
| * 9f48afa4a7 cli: add missing completion stubs to pyproject.toml
| * 6e21cceb03 doc: move man pages to resources/man
| * 25d1c6b579 cli: use ellipsis ligature instead of writing out ...
|/
* 013d9b5595 Move various functions to bootloader.py
* 508ad85475 Update NEWS.md
* f25b8dee6f Simplify package cache dir mirror key
*   dce4c8af51 Merge pull request #2998 from DaanDeMeyer/ci
|\
| * f4934828f7 tests: Show debug messages on console
| * fa3ae22598 ci: Drop machine-id commit timeout drop-in
* dba01269de base64 encode mirror if we put it in package cache dir key
* 364b65f7bb Add 'login' to Debian/Ubuntu/Kali package list
* ee07b5b6d2 Bump github/codeql-action from 3.25.15 to 3.26.6

mkosi: add helper script to update mkosi hash

This is very similar to tools/fetch-distro.py. The idea is that we extend the
commit to update the mkosi hash with a git log --pretty=oneline output, so that
the reader can know what changes were actually included.

The motivation is that I'm always wondering what changed in mkosi when I see a
commit updating the hash, and it's nicer to have this information shown
directly in the commit.

The script does _not_ pull changes from upstream, on the assumption that the
person doing the commit always has a fresh checkout and that they tested with
that checkout.

man: fix advertised filename of the PCR public key

man: systemd-stub places PCR public key in file 'tpm2-pcr-public-key.pem', stick to that name across the board

systemd-stub provides the signing key for TPM2 signed PCR policies in a
file tpm2-pcr-public-key.pem to userspace. Hence, to clarify that this
is the same key as used when signing via "systemd-measure", let's rename
it in the docs like that.

Also rename the private key to tpm2-pcr-private-key.pem, to keep the
symmetry.

With this we should universally stick to this nomenclature:

1. tpm2-pcr-public-key.pem   ← public part of signing key
2. tpm2-pcr-private-key.pem  ← private part of signing key
3. tpm2-pcr-signature.json   ← signature file made with key pair

Inspired by: #34069

update TODO

network/wireguard: refuse default key if all zero

Follow-up for fa724cd52c1335d6b3225b74c1a9c801389997ba

We attempt to retrieve default key if eqzero(Wireguard.private_key),
but a all zero default key should be refused too.

test-network: add test for sysctl watch

Add a NetworkdSysctlTest class which ensures that networkd correctly
complains when a sysctl file it's handling has been changed externally.

emit a warning in networkd if managed sysctls are changed

Monitor the sysctl set by networkd for writes, if a sysctl is
overwritten with a different value than the one we set, emit a warning.
Writes are detected with an eBPF program attached as BPF_CGROUP_SYSCTL
which reports the sysctl writes only in net/.

The eBPF program only reports sysctl writes from a different cgroup than networkd.
To do this, it uses the `bpf_current_task_under_cgroup_proto()` helper,
which will be available allowed in BPF_CGROUP_SYSCTL from kernel 6.12[1].

Loading a BPF_CGROUP_SYSCTL program requires the CAP_SYS_ADMIN capability,
so drop it just after the program load, whether it loads successfully or not.

Writes are logged but permitted, in future the functionality can be
extended to also deny writes to managed sysctls.

[1] https://lore.kernel.org/bpf/20240819162805.78235-3-technoboy85@gmail.com/

store the sysctls set by networkd

networkd set several sysctl to set the network configuration. Save their
value so we can check is other processes change them.

extend sysctl functions to shadow values

Pass to all the sysctl_* functions a hashmap which can be used to
optionally save the value written in the sysctl.

resolvectl: rework StatusMode handling into a switch/case statement

resolvectl: rename shallow destructors …_done()

Merge pull request #34373 from poettering/resolved-dnssd-move-out

move dnssd configuration file parsing from generic code into dnssd source files

resolved: simplify dns_scope_get_n_dns_servers(), don't count each time

resolved: use dns_scope_ifindex() at more places

And add a mirroring dns_scope_ifname()

resolved: simplify initialization of DnsScope

pcrlock: remove empty components from our list

This is a rework of e7a93e75219b22424bab95fe45982f5eef21d581: instead of
handling components with n_variants being zero at every step of the way, we instead
remove it from our list after loading all components, given that such a
component simply makes not sense for the rest of our logic.

resolved: use unlinkat() where appropriate

Merge pull request #34377 from DaanDeMeyer/symlinks

repart: Add MakeSymlinks=

resolvectl: show DefaultRoute state in per-link DNS staus info too

pcrlock: correct --help text regarding recovery pin

Fixes: #33917

cryptenroll: don't try to get PCR bank if we know the device key

If we operate in "offline" mode, i.e. know the device key, then we will
not have a TPM2 connection, hence don't try to read the PCR bank to use form
it.

We don't need it anyway because we are not going to test unseal things.

Fixes: #33855

repart: Add MakeSymlinks=

Similar to MakeDirectories=, but creates symlinks in the filesystem.

repart: Add missing parameter comment

repart: Fix memory corruption

 hwdb.d/60-keyboard.hwdb: add Clevo mic mute quirk for V5x iGPU, NV41PZ

Signed-off-by: Filip Lewiński <filip.lewinski@3mdeb.com>

udev: allow persistent storage rules for zram devices

The /dev/zramN devices can be used as regular block devices. They are
typically used for swap areas, but it would be beneficial to have
LABEL and UUID in the udev database to make it more user-friendly for
tools such as lsblk or mount (if used with other filesystems).

resolved: move dnssd parsers to resolved-dnssd.c

Let's keep only the parsers for the main config in resolved-conf.c

resolved: move resolved_dnssd_gperf_lookup() prototype definition to resolved-dnssd.h

repart: Reuse partition_needs_populate() more

man: fix help text for systemd-creds tool's "list" verb

I guess this was copy/pasted from sysupdate? Weird though. Fix it. And
also reword "cat" help text to make it more precise.

pcrlock: log if we generate an "empty" policy

Such a policy won't provide any protection, but it's still entirely fine
to have it like this in various contexts, for example at OS install
time, to allocate the nvindex and reference it in enrollments. However,
it does deserve mention, hence log about it at LOG_NOTICE level.

This is based on a similar patch by Arnaud Patard
<arnaud.patard@collabora.com> proposed at #33663.

man: Correct flag description of systemd-cat

It is not true that "no string" is written to journal; the binary
name is used when run via `systemd-cat command`, or `cat` is used
when run via `command | systemd-cat`.

test: fix TEST_SKIP for test cases with subtests

TEST-64-UDEV-STORAGE is invoked with the subtest appended, so TEST_SKIP=TEST-64-UDEV-STORAGE
does not work. Fix it by using TEST_SKIP as a partial match.

Follow-up for ddc91af4eaa32511f92c83b2c24d9cc0425fd5f5

tpm2-util: fix whitespace

Merge pull request #34353 from yuwata/timesync-bus-document

timesync: add document for org.freedesktop.timesync1

Merge pull request #34348 from poettering/stub-efivar-tweaks

sd-stub: report stub location in efi vars

Change OS X to macOS in BOOT.md (#34358)

stub: add StubDevicePartUUID/StubImageIdentifier

These variables closely mirror the existing
LoaderDevicePartUUID/LoaderImageIdentifier variables. But the Stub…
variables indicate the location of the stub/UKI (i.e. of systemd-stub),
while the Loader… variables indicate the location of the boot loader
(i.e. of systemd-boot). (Except of course, there is no boot loader used,
in which case both sets point to the stub/UKI, as a special case).

This actually matters, as we support that sd-boot runs off the ESP,
while a UKI then runs off XBOOTLDR, i.e. two distinct partitions.

stub: tweak setting of common Loader* EFI vars

Let's always check if we have data to set *first*, and only then check
if an EFI var is already set.

Checking for the EFI var is more expensive after all.

man: fix documentation for LoaderDevicePathUUID + LoaderImageIdentifier, in systemd-stub man page too

Let's fix the version here too, and also clarify that this is usually
not necessarily the ESP.

man: fix LoaderDevicePathUUID + LoaderImageIdentifier descriptions

First of all, these were always set, i.e. since sd-boot was merged into
our tree, i.e. v220. Let's say so explicitly.

Also, let's be more accurate, regarding which partition this referes to:
it's usually "the" ESP, but given that you can make firmware boot from
arbitrary disks, it could be any other partition too. Hence, be
explicit on this.

Also, clarify tha sd-stub will set this too, if sd-boot never set it.

bootctl: show new sd-boot/sd-stub feature flags

src/sysext: Use versioned names when logging extensions used for merge operation

If this is not done, and there are two images, image_1.raw and image_2.raw under
an image.raw.v folder, then the log will say "Using extensions image" instead of
using "Using extensions image_2.raw" which is the desired behavior for v-picked extensions.

tmpfiles: add separate fragment for stuff we copy from .extra/ into /run/systemd

Let's move copying out the PCR signature/key into its own tmpfiles
snippet.

And then let's add support for copying out the profile + os-release
information systemd-stub now places in the invoked initrd.

That way these four pieces of information are available even after the
initrd→host transition.

meson: increase default number of available sections for the stub

Now that we have multi-profile UKIs people likely want to stick more PE
sections into them than before. Hence, bump the number of available PE
section slots to 30 (up from 15). Also, make this configurable at build
time since some folks probably want even more, and others don't want
this at all.

(pre-allocating too many shouldn't matter too much btw, I'd advise
everyone to overshoot, except maybe on the tiniest of embedded boards)

man: add basic documents for org.freedesktop.timesync1

Closes #34352.

timesync: add support of basic command line options

timesync: use BusObjectImplementation

doc-sync: strip point release from version before uploading

We create subdirectories for each major release, but not for point releases
so strip the suffix if it is present

cryptsetup: use the new crypt_token_set_external_path() API if available

Let's make use of libcryptsetup's new crypt_token_set_external_path()
API in place of the interposition stuff we have been doing before. Let's
kill it entirely, given that this was a developer feature only anyway
(and guarded by an appropriate ifdef).

Fixes: #30098

homectl: when chainloading a shell, prefix "-" rather than overriding first char

Login shells are supposed to marked via a dash as first char. We follow
that logic, but right now we simply overwrite the first char of the
shell. That might not be the right choice, given that this turns
"zsh" into "-sh", which suggests some bourne shell process.

Hence, let's correct things, and instead prefix a dash, which should be
safer.

Inspired by findings on https://github.com/systemd/systemd/issues/34153#issuecomment-2338104907

Merge pull request #34339 from poettering/uki-with-many-boot

sd-boot: synthesize one menu entry for each profile of multi-profile UKIs

hwdb: death to tabs!

Some tabs snuck in here, but we don't like tabs in our codebase. Fix
them.

Merge pull request #34331 from yuwata/network-netdev-cleanups

network/netdev: several cleanups for attaching/detaching netdev, and setting/getting ifindex from netdev

udev/ata_id: export read look-ahead values

Indicates whether the ATA read look-ahead feature is supported
and enabled.

Signed-off-by: Tomas Bzatek <tbzatek@redhat.com>

boot: don't hardcode drop-in paths at multiple places

Instead, let's define them once, and pass them through as parameters
everywhere.

boot: synthesize a separate menu entry from each .profile section

This iterates through the .profile sections a UKI provides and uses it
to generate multiple menu entries from them, one for each .profile
section.

test-network: add test more cases for assigned units for each interface

network/state-file: save assigned .netdev file even if the interface is unmanaged

Follow-up for 2cf9b1a0eed7bcd85543e19ba6f0d26767fe1163.

network/vxcan: also manage peer interface name by manager

Then, the Link object for the peer interface can have a reference to the
corresponding NetDev object.

network/vxcan: refuse when peer and the main interface names are equivalent

network/l2tp: manage l2tp session name by Manager

Then, Link object for an L2TP session can have reference to the
corresponding NetDev object.

network/l2tp: refuse duplicated session name

network/l2tp: downgrade log level of several messages

Also, use log_section_warning_errno() where applicable.

network/veth: also manage peer name by Manager

Then, the Link object for the peer interface can have a reference to the
corresponding NetDev object.

network/veth: refuse when peer and the main interface names are equivalent

network/netdev: add attach(), detach(), set_ifindex(), and get_ifindex() to netdev vtable

Currently no vtable sets these functions, but will be used later.

network/netdev: allow to register the same NetDev object with multiple names

Preparation for later commits.

network/netdev: split out netdev_set_ifindex_internal() and _impl()

No functional change, just refactoring and preparation for later
commits.

network/netdev: split out netdev_attach() and netdev_attach_name() from netdev_load_one()

No functional change, just refactoring and preparation for later
commits.

network/netdev: use hashmap_remove_value() on detaching NetDev from manager

Then, it is not necessary to free NetDev.ifname when a conflicting
.netdev file is already loaded.

This also split out netdev_detach_name() and netdev_detach_impl().

No functional change, just refactoring.

network/netdev: downgrade log level in netdev_set_ifindex()

This also makes netdev_enter_failed() called on caller side.

No functional change, just refactoring.

network/netdev: check family of received NEWLINK message

For safety. No functional change, just refactoring and preparation for
later commits.

network/route: use NetDev object assigned to Link

network/netdev: also check ifindex, iftype, and kind when assigning NetDev to Link

Even when a NetDev object with the same name found, its iftype or kind
may be different. For safety, let's also check them.

boot: only open type2 ukis once when parsing

Merge pull request #34294 from poettering/uki-with-many-core

multi-profile UKIs (systemd-stub hookup)

Merge pull request #34318 from YHNdnzj/networkctl-edit-if-netdev

networkctl: support editing netdev files by link and cat ":all"