test: make it sure that devices are processed by udevd before running subtests

test: lock device on sfdisk or mkfs, and extend timeout

Hopefully fixes #33111.

gitignore: Ignore /pkg/ instead of pkg/ (#33119)

So we only match the top level directory and not subdirectories.

Add pkg/ to .gitignore folder

Required now that the directories under pkg/ are not git submodules
anymore.

Merge pull request #33106 from DaanDeMeyer/submodule

mkosi: Replace submodules with our own thing

Merge pull request #33093 from YHNdnzj/freezer-util

bus-unit-util: rework UnitFreezer, explicitly thaw unit

basic: Add BCACHEFS magic

Import magic.h from Linux 6.9 to get the definition of
BCACHEFS_SUPER_MAGIC. Update filesystems-gperf.gperf to add knowledge of
bcachefs.

This fixes the following error building against a bleeding edge kernel.
```
src/basic/meson.build:234:8: ERROR: Problem encountered: Unknown filesystems defined in kernel headers:

Filesystem found in kernel header but not in filesystems-gperf.gperf: BCACHEFS_SUPER_MAGIC
```

hwdb: Lenovo 16G6IRL volume keys and friends (#33107)

This prevents volume keys on the machine from repeating.
Full modalias:
```
$ cat /sys/class/dmi/id/modalias
dmi:bvnLENOVO:bvrMMCN36WW:bd03/26/2024:br1.36:efr1.30:svnLENOVO:pn21KH:pvrThinkBook16G6IRL:rvnLENOVO:rnLNVNB161216:rvrSDK0T76530WIN:cvnLENOVO:ct10:cvrThinkBook16G6IRL:skuLENOVO_MT_21KH_BU_idea_FM_ThinkBook16G6IRL:
```

hwdb: Add Logitech MX Master 3S Bluetooth ID

We already have an entry for this mouse when it is connected via USB Bolt
receiver, now add a Bluetooth LE connection entry too.

This mouse model supports both connection types, with up to 3 connection
slots (to different hosts) per single mouse.

mkosi: Override rpm's _fixperms script to be a noop

Since rpm 4.20 it tries to fix the permissions of all source files
in the sources. This takes forever and fails in our case with a
permission error. Since we don't want rpm touching our source files,
override the script to be a noop.

mkosi: Disable add-determinism on Fedora

This was added for reproducible builds which we don't really care
about when building rpms in mkosi, so disable it from running as it's
broken and breaks our rpm builds.

mkosi: Skip debuginfo workaround on newer rpm

The corresponding bug was fixed in rpm 4.20 (of which the alpha is in
rawhide as rpm 4.19.91) so skip the workaround when we detect a newer
rpm version.

mkosi: Don't install wireguard-tools on Debian

Package was removed from testing. This can be reverted next week once
it's added back to testing.

mkosi: Replace submodules with our own thing

Unfortunately, git submodules break in all sorts of ways:

- Various github workflows (dependabot, github pages) try to do a shallow
clone of git submodules which does not work at all when the git repository
is hosted on pagure (https://pagure.io/pagure/issue/5453,
https://github.com/dependabot/dependabot-core/issues/9391).
- If the git forge hosting the git repository uses SHA256, then it breaks our
usage of it as a submodule as SHA256 repositories cannot be used as submodules
in SHA1 repositories (src.opensuse.org moved to SHA256 which broke our usage of
opensuse's systemd spec as a submodule).
- git submodules completely break usage of git worktrees.
- ...

Let's avoid all these issues by just doing our own home grown implementation of
git submodules. We lose the automatic dependabot updates this way but since dependabot
fails to run more often that not with submodules we don't really lose anything.

Merge pull request #33081 from keszybz/networkctl-formatting

Fix formatting of speeds in networkctl

bus-unit-util: extend the bus call timeout for UnitFreezer

Might fix #33083

There's another report available on Mastodon:
https://m.otter.homes/@kaixin/112510783502516607
https://m.otter.homes/@kaixin/112510803023469180

sleep,home: clean up logs for session freezer a bit

bus-unit-util: rework UnitFreezer, explicitly thaw unit

Currently, we don't explicitly call unit_freezer_thaw(),
but rely on the destructor to thaw the frozen unit on
return. This has several problems though, one of them
being that we ignore the return value of ThawUnit(),
which is something we really shouldn't do here,
since such failure can easily leave the whole system
in unusable state. Moreover, the logging is kinda messy,
e.g. homed might log "Everything completed" yet immediately
followed by "Failed to thaw unit". Instead, we should log
consistently and at higher level, to make things more
debuggable.

Therefore, let's step away from the practice. Plus,
make UnitFreezer object heap-allocated, to match
with existing unit_freezer_new() and allow us to
use NULL to denote that the freezer is disabled.

core/dbus-unit: modernize bus_unit_method_freezer_generic a bit

core/dbus-manager: only allow Freeze/ThawUnit() if loaded

Merge pull request #33101 from DaanDeMeyer/revert

Revert accidentally merged commits

homed: drop caches harder

echoing "2" is apparently not enough to erase inodes/dentrys from
memory, hence use "3", which seems to work.

Fixes: #32596

Revert "mkosi: Sanitizer improvements"

This reverts commit aef13ad0294b403993e19b424b26535fb65749f4.

Revert "ci: Build with sanitizers in mkosi"

This reverts commit 639403f9a86869984b155edda2521741950f5417.

Merge pull request #32866 from DaanDeMeyer/sanitizers

mkosi: Sanitizers

mkosi: Preserve environment when running integration tests with sudo

Otherwise we won't detect we're running in Github Actions and will
show the wrong command to fetch the journal.

Merge pull request #33090 from poettering/tpm12-efi-check

efi-api: tighten check for TPM2 systems

hwdb: add a vmbus id for HyperV Video device

Merge pull request #33084 from DaanDeMeyer/cgroup-log

cgroup-util: Don't try to open pidfd for pids from cgroup.threads

ci: Build with sanitizers in mkosi

mkosi: Sanitizer improvements

- Let's set the environment on the kernel command line so it applies
to initrd and main system.
- Let's add the necessary wrappers that are also added in test-functions.
Unlike test-functions we don't use gcc/clang to get the library path as
that requires installing gcc/clang in the initrd.
- Let's drop the hack to get journald writing to the console and have
it write to kmsg instead. We'll get the output either way.
- Stop removing libstdc++ and sanitizer libraries from Arch Linux
initrds and other images as it's required by the sanitizer libraries.
- Add a workaround for specifying extra meson options for opensuse
- Add a leak sanitizer suppression file as a workaround for a false
positive leak in verify_selinuxmnt() in libselinux. We do a soname match
because the stacktrace can't be properly symbolized on Debian.

test-network: Add dirs_exist_ok=True to cp_r()

Let's not fail if directories already exist in cp_r().

test-execute: Load systemd-asan-env environment file if available

When DynamicUser= is enabled, we need LD_PRELOAD to be configured
correctly as the tests will load systemd's nss module which will complain
when built with sanitizers if the sanitizer libraries were not loaded
first.

test-execute: Skip system call filter tests when sanitizers are used

System call filtering is incompatible with sanitizers so let's skip
these tests when we're built with sanitizers.

test-execute: Skip test_exec_mount_apivfs() when running with sanitizers

The test fails when running under sanitizers due to missing sanitizer
libraries. For now, let's skip the test until we can make the necessary
changes to run it under sanitizers.

TEST-02-UNITTESTS: Pass asan environment to units if it is available

Some tests (e.g. test-udev.py) might trigger one of our NSS modules
which means LD_PRELOAD has to be configured properly.

TEST-79-MEMPRESS: Load systemd-asan-env if available

Required since we run with DynamicUser=1.

TEST-36-NUMAPOLICY: Skip when running with sanitizers

The test does not work under sanitizers as strace is used. Until the
test is fixed to not use strace let's skip it when running with
sanitizers.

shared/format-table: print BPS with part after point

Fixes https://github.com/systemd/systemd/issues/33076.
"2Gbps" → "2.5Gbps".

shared/format-table: do not print '.0'

This makes output a bit shorter and nicer. For us, shorter output is generally
better.

Also, drop unnecessary UINT64_C macros. The left operand is always uint64_t,
and C upcasting rules mean that it doesn't matter if the right operand is
narrower or signed, the operation is always done on the wider unsigned type.

blockdev-util: update comment for blockdev_partscan_enabled

Follow-up for aa6fe772e1886cdf759954bc2a4742e818ec84c5

Also, the 'partscan' sysattr has been backported to v6.6.

cgroup-util: Don't try to open pidfd for pids from cgroup.threads

Opening pidfds for non thread group leaders only works from 6.9 onwards with PIDFD_THREAD. On
older kernels or without PIDFD_THREAD pidfd_open() fails with EINVAL. Since we might read non
thread group leader IDs from cgroup.threads, we introduce and set CGROUP_NO_PIDFD to avoid
trying open pidfd's for them and instead use the pid as is.

man: mention that IPMasquerade= and IPv6SendRA= implies IPv4Forwarding=/IPv6Forwarding=

It has been mentioned in IPv4Forwarding= and IPv6Forwarding=,
but let's also explain in the settings who imply these settings.

Follow-up for 3976c430927e1bfefa0413f80ebac84ab9a64350 and
485f5148b3a3e5ebc7e14acef78494a98435c4b9.

pcrlock: tweak error messages when we are not looking at a TPM2 event log

If we are looking at a TPM1.2 event log the first log record will not be
the "EfiSpecIdEvent" but something else. Let's improve the log messages
about this, and say explicitly that this is likely not a TPM2.0 event
log.

efi-api: check /sys/class/tpm/tpm0/tpm_version_major, too

If the ceck for the ACPI TPM2 table did not work we currently check if
the EFI TPM table exists to check if the firmware supports TPM2.
Specifically we check if
/sys/kernel/security/tpm0/binary_bios_measurements exists. But that's
not enough, since that also exists on TPM1.2 systems. Hence, let's also
check /sys/class/tpm/tpm0/tpm_version_major which should exist under
similar conditions and tells us the kernel's idea of the TPM version in
use.

I originally intended to read the signature of the
/sys/kernel/security/tpm0/binary_bios_measurements contents for this,
but this is not ideal since that file has tight access mode, and our TPM
availability check would thus not work anymore if invoked unpriv.

Follow-up for 4b3391158197e9158cc754e56bbeaf94e2fd8395

Fixes: #33077

TEST-02-UNITTESTS: Fix exit code checks

TEST-05-RLIMITS: Bump memory limits

When running with sanitizers we need more memory otherwise the unit
gets OOM killed.

mkosi: Stop installing dbus-broker on OpenSUSE

dbus-broker and dbus-daemon have not been made interchangable on
OpenSUSE so we currently end up with dbus-broker used for the system
bus and dbus-daemon for the session bus. Let's stick to dbus-daemon
on OpenSUSE until they switch to dbus-broker.

mkosi: Install bpftrace

Merge pull request #33079 from poettering/watchdog-no-disarm

watchdog: don't disarm on shutdown

Merge pull request #33072 from poettering/generator-fixes

various fixes to generator execution

basic: Add debug logging for pidref_set_pid()

cgroup-util: Add debug logging for cg_kill_recursive()

main: add comment explaining parameter to watchdog_close

shutdown: explicitly close watchdog with disarm=false before we destroy watchdog resources

Otherwise we'll close the device disarming it as side-effect of
watchdog_free_device(), which is not intended. Hence, let's close the fd
first explicitly leaving it armed.

Fixes: #33075

watchdog: reset last ping timestamp when opening watchdog

When we open a watchdog fresh we have never pinged it, hence reset the
ping timestamp explicitly, so that it is not only reset the first time
we open the device, but all times.

watchdog: normalize how we name watchdog related calls

Let's put the "watchdog" always as prefix in the name, and not as suffix
or the middle. Just for reasons of naming hygiene

test-format-table: add test for TABLE_BPS formatting

Merge pull request #33062 from DaanDeMeyer/virtio-scsi

mkosi: Switch back to cloud/KVM kernel packages

mkosi: Switch back to cloud/KVM kernel packages

Now that we don't need megasas2 anymore, let's switch back to the
KVM/cloud kernel images to save on image size, build times and boot
times.

test: Use virtio-scsi for keydev drive

Otherwise qemu defaults to ide for which the module isn't always
available (e.g. it's missing in the debian linux cloud images).

TEST-64-UDEV-STORAGE: Replace megasas2 controller with virtio scsi controller

The virtio-scsi driver is available in the KVM/cloud kernel
packages provided by distributions whereas the megasas2 driver is
not. Let's switch to virtio-scsi so we can switch back to the KVM/cloud
kernel packages.

Merge pull request #33065 from DaanDeMeyer/nspawn

test: Run tests that don't need a vm in systemd-nspawn

exec-util: make sure to close all fds for invoked generators

We should really have set O_CLOEXEC for all our fds, but better be safe
than sorry.

exec-util: use the stdio array of safe_fork_full() where appropriate

mkosi: Run integration tests as root

This allows running integration tests that support it in nspawn
instead of qemu. This both gives extra coverage and speeds things up.

test: Run tests that don't need a vm in systemd-nspawn

If we're not running the test as root, stick to using a virtual
machine, as mkosi can't do rootless nspawn yet.

mkosi: Disable iscsi service and socket

We'll always start these on demand in integration tests that need
them. No need to start them by default.

mkosi: Switch from btrfs to ext4

Mounting multiple btrfs filesystems with the same fsid only works
properly from kernel 6.7 onwards. Let's switch to ext4 for now which
does support this.

mkosi: update to latest

generator-setup: use RET_GATHER()

mkosi: Set EXTRA_CFLAGS on opensuse

The opensuse spec doesn't unconditionally set FORTIFY_SOURCE=2 anymore
so let's drop our workaround.

Merge pull request #32562 from Werkov/test-cgroup-opensuse

Revert "TEST-19-CGROUP: Skip on opensuse"

bpf: add helper to translate kernel error codes from libbpf

libbpf returns error codes from the kernel unmodified, and we don't understand
them so non-fatal ones are handled as hard errors.
Add a translation helper, and start by translating 524 to EOPNOTSUPP, which is
returned when nsresourced tries to use LSM BPF hooks that are not
implemented on a given arch (in this case, arm64 is misssing trampolines).

Fixes https://github.com/systemd/systemd/issues/32170

test-network: update comment about status of kernel regression

Merge pull request #33066 from YHNdnzj/logind-linger

logind-user: check linger file in user_wants_service_manager too

tmpfiles: improve warning message and use O_NOCTTY

Mention in the warning message for a failed open on a to be removed file
why systemd-tmpfiles tried to open it.

Also open the file with the O_NOCTTY flag, since it should never become
the controlling terminal.

logind-user: check linger file in user_wants_service_manager too

Follow-up for 5099a50d4398e190387d204f5df81cc176bd33e2

Fixes #33005

logind-user: add missing assertion for user_check_linger_file

Also make the function take const User*

test-network: tun/tap fd may be owned by tentative worker processes

PID1 may invoke a helper process, e.g. sd-close, during the test.
So, processes other than networkd and PID1 may be shown.
```
testtap99: tap pi multi_queue vnet_hdr persist filter
        Attached to processes:systemd-network(2852)(sd-close)(2863)systemd(1)
```

Closes #33055.

Merge pull request #33057 from poettering/partscan-no-part

blockdev-util: for partition block devices partition scanning is always off

man: capsule support was added in v256

The version info added directly to --capsule. If we add the
same switch in other places in the future, we will have to move
this.

Closes https://github.com/systemd/systemd/issues/33048.

Merge pull request #33063 from keszybz/wiki-links

Update wiki links

Merge pull request #33008 from fbuihuu/optionally-link-ssh-dropins

Optionally link ssh dropins

test: lock device when sfdisk or mkfs

Or, trigger devices after the command incase the device is dm or md.

Fixes #33056.

socket-util: use GREEDY_REALLOC_APPEND where appropriate

Also, previously GREEDY_REALLOC was used improperly,
causing the fds_array to be leaked when realloc() fails.

machined: downgrade warning if we cannot drop ref to systemd unit if disconnected from bus

if machined exits while a machine is still running, we'll issue the
UnrefUnit() call on the unit. This quite likely will fail if during
shutdown the bus connection is already down. But that's no reason to
warn at all, since the ref count will implicitly be dropped if our side
disappears from the bus. Hence, downgrade to LOG_DEBUG in case of
connection problems.

Merge pull request #33052 from yuwata/missing-loop

Fixlets for missing_loop.h

README: update link for backports

various: update links to usr-merge

docs: drop link to obsolete multiseat page

We link to the man page which replaced this historical document right above,
so just drop the whole paragraph.

man: update links to "API File Systems"

various: update links to more wiki pages

man: update links to "Inhibitor Locks"

man: update links to "Compatibility with SysV"

man: update links to "New Control Group Interfaces"

man: update links to catalog docs

docs/CONTRIBUTING.md: Fix links in CONTRIBUTING

Get them to point to the rendered version, instead of
letting Github thinks they are absolute links in the
repository. The rendered version is much more user-friendly.

test: add superficial test for partscan test

blockdev-util: partition block devices never have partition scanning enabled