test/sd-script.py: new helper script for udev testing

Script for generating LOTS of SCSI disk and partition devices in
the fake sysfs we use for udev testing.

This script is supposed to be run after sys-script.py. It uses
code from sys-script.py as template to generate additional SCSI disk data
structures. Together with the "generator" code in udev-test.pl
added in the previous patch, it allows to run udev tests with almost
arbitrarily many devices, and thus to do performance scaling tests.

test/udev-test.pl: generator for large list of block devices

Manually listing all devices in the test definition becomes cumbersome with
lots of devices. Add a function that scans on all block devices in
the test sysfs and generates a list of devices to test.

test/udev-test.pl: add repeat count

for easier reproduction of sporadic test failures.

tests/udev-test.pl: add multiple device test

Add 4 new tests using multiple devices. Number 2-4 use many
devices claiming the same symlink, where only one device has
a higher priority thatn the others. They fail sporadically with
the current code, if a race condition causes the symlink to point
to the wrong device. Test 4 is like test 2 with sleeps in between,
it's much less likely to fail.

test/udev-test.pl: count "good" results

This is helpful to catch possible regressions in the test.
Also, don't count wait() errors, they are likely not udev errors.

test/udev-test.pl: merge import parent tests into one

As we can test multiple devices and multiple links per device
in one test now, these two tests can be merged into one.

test/udev-test.pl: merge "space and var with space" tests

As we can check multiple links in a single test now, these 3
tests can be merged into one.

test/udev-test.pl: remove bogus rules from magic subsys test

These rules have survived from an ancient version of the code
and save no purpose any more.

test/udev-test.pl: Make some tests a little harder

Add some rules that make it a bit harder to pass, mainly the
non-existence checks.

test/udev-test.pl: last_rule is unsupported

the "last_rule" option hasn't been supported for some time.
Therefore this test fails if a "not_exp_links" attribute is added,
as it should be. Mark it appropriately.

test/udev-test.pl: fix wrong test descriptions

udev hasn't supported renaming device nodes for some time.

test/udev-test.pl: allow checking multiple symlinks

Instead of testing the existence or non-exisitence of just a single
symlink, allow testing of several links per device.

Change the test definitions accordingly.

test/udev-test.pl: test correctness of symlink targets

Test if symlinks are created correctly by comparing the symlink
targets to the devnode path. This implies (for the symlink) that
major/minor numbers and permissions are correct, as we have tested
that on the devnode already.

test/udev-test.pl: use computed devnode name

More often than not, the created devnode is the basename of the
sysfs entry. The "devnode" device may be used to override the
auto-detected node name.

Permissions and major/minor number are now verified on the devnode
itself, not on symlinks.

For those tests where exp_name is set to the computed devnode name,
the explicit "exp_name" can be removed. "exp_name" is only required for
symlinks.

This allows separate testing for devnodes and symlinks an a follow-up
patch.

test/udev-test.pl: allow concurrent additions and removals

Allow testing cases where multiple devices are added and removed
simultaneously. Tests are started as synchronously as possible using a
semaphore, in order to test possible race conditions. If this isn't desired,
the test parameter "sleep_us" can be set to the number of microseconds to wait
between udev invocations.

test/udev-test.pl: create rules only once

It's not necessary to write the rules for every udev run, as we
now may have many (rather than just 2) per test.

test/udev-test.pl: allow multiple devices per test

Allow testing cases where multiple devices are added and removed.
This implies a change of the data structure: every test allows
for multiple devices to be added, and "exp_name" etc. are now properties
of the device, not of the test.

network: selinux hook handling to enumerate nexthop

When selinux is enabled, the call of
manager_rtnl_enumerate_nexthop() fails.

This fix is to facilitate selinux hook handling for enumerating
nexthop.

In manager_rtnl_enumerate_nexthop() there is a check
if "Not supported" is returned by the send_netlink() call.

This check expects that -EOPNOTSUPP is returned,
the selinux hook seems to return -EINVAL instead.

This happens in kernel older than 5.3
(more specificallytorvalds/linux@65ee00a) as it does not support
nexthop handling through netlink.

And if SELinux is enforced in the order kernel, callingRTM_GETNEXTHOP
returns -EINVAL.

Thus adding a call in the manager_rtnl_enumerate_nexthop for the
extra return -EINVAL.

Fix typo

automount: make user unmounting for automount units more debuggable

Let's add an explicit log message plus an error state for automount
units, if users explicitly unmounted our autofs mount.

Prompted by: #17448

pid1: various minor watchdog modernizations

Just some clean-ups.

Merge pull request #17399 from afq984/udev-escaped-string

Allow escaped string in udev rules

Merge pull request #17444 from BtbN/fix_ib_dhcp4

networkd: fix DHCP on InfiniBand interfaces

Merge pull request #17472 from keszybz/spdx-license-headers

More SPDX license headers

Merge pull request #17476 from poettering/resolved-tweaks

three small resolved cleanups

hwdb: Add accel orientation quirk for Predia Basic tablet

Add a quirk to fix the accelerometer orientation on the
Predia Basic tablet.

document udev escaped string in udev(7)

udev: add fuzzer for udev_rule_parse_value

udev: test udev_rule_parse_value()

udev: escaped string syntax e"..." in rule files

* Existing valid rule files written with KEY="value" are not affected
* Now, KEY=e"value\n" becomes valid. Where `\n` is a newline character
* Escape sequences supported by src/basic/escape.h:cunescape() is
  supported

headers: use custom LicenseRef- spdx tag for various "public domain" files

There is no spdx tag defined for those versions of "public domain", but we can
add a custom tag, see
https://spdx.github.io/spdx-spec/6-other-licensing-information-detected/.

crc32.h is updated to match crc32.c.

headers: add spdx tags to imported files with a known license

I added the header in the cases where the license text is present and it is
easy to find the appropriate SPDX header.

For "public domain" stuff: SDPX treats each "public domain" license as unique [1],
but luckily the one in siphash24.c is one of the identified variants. There are
some other cases which specify "public domain" but there doesn't seem to be a
SPDX identifier.

[1] https://wiki.spdx.org/view/Legal_Team/Decisions/Dealing_with_Public_Domain_within_SPDX_Files

gunicode.[ch] are imported from glib, which is licensed as LGPL2.1+,
see https://gitlab.gnome.org/GNOME/glib/-/blob/master/glib/gunicode.h.

time-wait-sync: drop gpl snail mail boilerplate

No idea why this chunk was left when we removed the other copies.

tree-wide: use the usual SPDX header for our own files

journalctl: drop format_journal_url() if gcrypt is not used

Follow-up for f1b823596f8a4dc6b1f76206b7473bac71e3840b.

Update org.freedesktop.hostname1 documentation

This documents the polkit actions for `SetDeployment()` and `SetLocation()` which previously were undocumented.

Merge pull request #17435 from poettering/event-shuffle-refactor

sd-event: split up sd_event_source_set_enable() function

Merge pull request #17454 from keszybz/journal-dlopen-cleanup

Journal dlopen cleanup and qrcode printing test

Merge pull request #17467 from keszybz/unconditionally-pull-in-cryptsetup-remote

Unconditionally pull in cryptsetup-remote.target in the initramfs

networkctl: use and print full hardware address

Intentionally not checking the iftype for the ieee_oui lookup to support
other ethernet-like devices.

dhcp4: fix DHCP on InfiniBand interfaces

With these patches applied, networkd is successfully able to get an
address from a DHCP server on an IPoIB interface.

1)
Makes networkd pass the actual interface type to the dhcp client,
instead of hardcoding it to Ethernet.

2)
Fixes some issues in handling the larger (20 Byte) IB MAC addresses in
the dhcp code.

3)
Add a new field to networkds Link struct, which holds the interface
broadcast address.

3.1)
Modify the DHCP code to also expect the broadcast address as parameter.
On an Ethernet-Interface the Broadcast address never changes and is always
all 6 bytes set to 0xFF.
On an IB one however it is not neccesarily always the same, thus
fetching the actual address from the interface is neccesary.

4)
Only the last 8 bytes of an IB MAC are stable, so when using an IB MAC to
generate a client ID, only pass those 8 bytes.

network: store full hardware address in Link struct

This passes the legacy ethernet address to functions in a lot of places,
which all will need migrated to handle arbitrary size hardware addresses
eventually.

sd-netlink: introduce netlink_message_{read,append}_hw_addr

Hardware addresses come in various shapes and sizes, these new functions
and accomapying data structures account for that instead of hard-coding
a hardware address to the 6 bytes of an ethernet MAC.

Merge pull request #17471 from keszybz/man-update-fedora-version

Update fedora version in man pages

resolved: advertise smaller UDP datagram size on extra stubs

resolved: remove redundant conditionalization

If all protocols are listed there's no point in having the if check.

Follow-up for 8b4198373b976035e0dfc347f50b61eab40c8e00

resolved: use structured initialization everywhere

Merge pull request #17455 from poettering/packet-auxdata

add Timestamping= to socket units and some other .socket unit tweaks

Merge pull request #17438 from anitazha/systoomd_quick

Additional fix ups from #17417

meson: fix setting of ENABLE_OOMD

-Doomd=auto (the default) didn't work as intended because the initial correct
value was overwritten later by logic that didn't check for 'auto'.

test: add a simple test for the qr printing code

Ideally, we'd read back what we wrote, but that would have been
much more complicated. But just writing stuff is useful to test under
valgrind or manually.

journal,homectl: unify implementations of libqrencode loading and fss key printing

We had two of each: both homectl and journalctl had the whole dlopen()
wrapper, and journalctl had two implementations (slightly different) of the
code to print the fss:// pattern.

print_qrcode() now returns -EOPNOTSUPP when compiled with qrcode support. Both
callers ignore the return value, so this changes nothing.

No functional change.

network: actually update radv mac

man: update fedora version

F33 was released today!

man/machinectl: fix pull-raw example

We do not allow machine names with "_", so the command would fail as written.
Share the example with the systemd-nspawn page instead.

units: turn on timestamping for journald sockets

To make things simple and robust when debugging journald, we'll leave
the SO_TIMESTAMP invocations in the C code in place, even if they are
now typically redundant, given that the sockets are already passed into
the process with SO_TIMESTAMP turned on now.

man: document the new Timestamping= option

core: add Timestamping= option for socket units

This adds a way to control SO_TIMESTAMP/SO_TIMESTAMPNS socket options
for sockets PID 1 binds to.

This is useful in journald so that we get proper timestamps even for
ingress log messages that are submitted before journald is running.

We recently turned on packet info metadata from PID 1 for these sockets,
but the timestamping info was still missing. Let's correct that.

conf-parser: add a flavour of DEFINE_CONFIG_PARSE_ENUM() that allows specifiying the precie from_string() function to call

journald: remove pointless conditionalization

Let's not have #ifdeffery both in the consumers and the providers of the
selinux glue code. Unless the code is particularly complex, let's do the
ifdeffery only in the provider of the selinux glue code, and let's keep
the consumers simple and just invoke it.

socket-util: make socket_set_recvpktinfo control PACKET_AUXDATA sockopt on AF_PACKET

Just for the sake of completness.

man: add references to fifo(7) and mq_overview(7) man pages

tree-wide: cast result of get_process_comm() to (void) where we ignore it

sd-event: split out enable and disable codepaths from sd_event_source_set_enabled()

So far half of sd_event_source_set_enabled() was doing enabling, the
other half was doing disabling. Let's split that into two separate
calls.

(This also adds a new shortcut to sd_event_source_set_enabled(): if the
caller toggles between "ON" and "ONESHOT" we'll now shortcut this, since
the event source is already enabled in that case and shall remain
enabled.)

This heavily borrows and is inspired from Michal Sekletár's #17284
refactoring.

sd-event: split out helper functions for reshuffling prioqs

We typically don't just reshuffle a single prioq at once, but always
two. Let's add two helper functions that do this, and reuse them
everywhere.

(Note that this drops one minor optimization:
sd_event_source_set_time_accuracy() previously only reshuffled the
"latest" prioq, since changing the accuracy has no effect on the
earliest time of an event source, just the latest time an event source
can run. This optimization is removed to simplify things, given that
it's not really worth the effort as prioq_reshuffle() on properly
ordered prioqs has practically zero cost O(1)).

(Slightly generalized, commented and split out of #17284 by Lennart)

units: unconditionally pull in remote-cryptsetup.target in the initramfs

[zjs: Replaces #17149.

I took half of the patch in
https://github.com/systemd/systemd/pull/17149#issuecomment-698399194,
hence I'm keeping Jonathan's authorship.

The original reasoning for 6c5496c492a8d74e54d22bf8824160cab1e63c10 was that we
enable remote-cryptsetup.target via presets, and since presets are not used for
the initrd, we need a different target. But since parts of the unit and target
tree are shared between the initramfs and the main system, we can't just create
a separate target for the initramfs. All the targets that depend on this one
would need to be split also. That condition is true for initrd-fs.target, but
not for sysinit.target.

So let's instead just uncoditionally pull in remote-cryptsetup.target in the
initramfs. It should normally be empty, so there should be no impact on boots
that don't have units in the target.

Jonathan's patch used initrd-root-fs.target, this version instead uses
initrd-root-device.target. initrd-root-device.target is ordered before
sysroot.mount, which means that the decrypted devices will be available earlier
too.]

Revert "units: add initrd-cryptsetup.target"

This reverts commit 6c5496c492a8d74e54d22bf8824160cab1e63c10.

sysinit.target is shared between the initrd and the host system. Pulling in
initrd-cryptsetup.target into sysinit.target causes the following warning at
boot:
Oct 27 10:42:30 workstation-uefi systemd[1]: initrd-cryptsetup.target: Starting requested but asserts failed.
Oct 27 10:42:30 workstation-uefi systemd[1]: Assertion failed for initrd-cryptsetup.target.

meson: simplify with_runlevels ternany op usage

core: clean up inactive/failed {service|scope}'s cgroups when the last process exits

If processes remain in the unit's cgroup after the final SIGKILL is
sent and the unit has exceeded stop timeout, don't release the unit's
cgroup information. Pid1 will have failed to `rmdir` the cgroup path due
to processes remaining in the cgroup and releasing would leave the cgroup
path on the file system with no tracking for pid1 to clean it up.

Instead, keep the information around until the last process exits and pid1
sends the cgroup empty notification. The service/scope can then prune
the cgroup if the unit is inactive/failed.

syscall-names: add process_madvise which is planned for 5.10

It was added in v5.9-11793-gecb8ac8b1f and is still present in v5.10-rc1, so it
seems likely that it'll be in 5.10 too.

l10n: update Czech Translation

docs: update coding style for `return (void) func(...)`

Seems that people think it's useful for brevity so make it explicit in
the CODING_STYLE.

man: correct xdg-autostart-generator path

NEWS: v247-rc1

NEWS: update contributors list for v247-rc1

NEWS: mention IPv6PrefixDelegation→IPv6SendRA renaming

tmpfiles: Handle filesystems without ACL support in more cases.

NEWS: fix typo (`systemd-userdb` > `systemd-userdbd`)

test-network: add a test case for DNSSL in RA

Closes #4590.

Merge pull request #17430 from yuwata/network-drop-foreign-routes-managed-by-manager

network: drop routes managed by Manager when they are not requested

test: ignore ENOMEDIUM error from sd_pid_get_cgroup()

Ubuntu builds on the Launchpad infrastructure run inside a chroot that does
not have the sysfs cgroup dirs mounted, so this call will return ENOMEDIUM
from cg_unified_cached() during the build-time testing, for example when
building the package in a Launchpad PPA.

tree-wide: fix typos found by Fossies codespell report

Revert "sd-dhcp-client: use asynchronous_close()"

This effectively reverts the commit 22fc2420b2a7220addcee33c2fa17ada44d87f9c.

The function `asynchronous_close()` confuses valgrind. Before this commit,
valgrind may report the following:

```
HEAP SUMMARY:
    in use at exit: 384 bytes in 1 blocks
  total heap usage: 4,787 allocs, 4,786 frees, 1,379,191 bytes allocated

384 bytes in 1 blocks are possibly lost in loss record 1 of 1
   at 0x483CAE9: calloc (vg_replace_malloc.c:760)
   by 0x401456A: _dl_allocate_tls (in /usr/lib64/ld-2.31.so)
   by 0x4BD212E: pthread_create@@GLIBC_2.2.5 (in /usr/lib64/libpthread-2.31.so)
   by 0x499B662: asynchronous_job (async.c:47)
   by 0x499B7DC: asynchronous_close (async.c:102)
   by 0x4CFA8B: client_initialize (sd-dhcp-client.c:696)
   by 0x4CFC5E: client_stop (sd-dhcp-client.c:725)
   by 0x4D4589: sd_dhcp_client_stop (sd-dhcp-client.c:2134)
   by 0x493C2F: link_stop_clients (networkd-link.c:620)
   by 0x4126DB: manager_free (networkd-manager.c:867)
   by 0x40D193: manager_freep (networkd-manager.h:97)
   by 0x40DAFC: run (networkd.c:20)

LEAK SUMMARY:
   definitely lost: 0 bytes in 0 blocks
   indirectly lost: 0 bytes in 0 blocks
     possibly lost: 384 bytes in 1 blocks
   still reachable: 0 bytes in 0 blocks
        suppressed: 0 bytes in 0 blocks

For lists of detected and suppressed errors, rerun with: -s
ERROR SUMMARY: 1 errors from 1 contexts (suppressed: 0 from 0)
```

Merge pull request #17429 from keszybz/revert-17188

Revert the change to allow arbitrary environment variable names

test: make TEST-56-OOMD service unit files static

shared/qrcode-util: reduce scope of iterator variables

meson: sort include dirs

Our headers should have unique names, so the sort order shouldn't matter.

Merge pull request #17427 from poettering/v247-bump

preparation for v247-rc1

test-network: add tests for routes managed by Manager

network: drop routes managed by Manager when link is removed

Also, foreign routes managed by Manager are dropped in
link_drop_foreign_routes().

network: specify route type in route_remove()

This factors out the common netlink message handling in route_remote()
and route_configure() to route_set_netlink_message().

network: link may be NULL

network: ignore error in writing proxy_ndp

This partially reverts the commit fd773a11d8e2b01e9e6d234ca5693417c0101fca.

As, IPv6 may be disabled by kernel.

network: fix typo

man: document what variables are allowed

update TODO

Revert "basic/env-util: (mostly) follow POSIX for what variable names are allowed"

This reverts commit b45c068dd8fac7661a15e99e7cf699ff06010b13.

I think the idea was generally sound, but didn't take into account the
limitations of show-environment and how it is used. People expect to be able to
eval systemctl show-environment output in bash, and no escaping syntax is
defined for environment *names* (we only do escaping for *values*). We could
skip such problematic variables in 'systemctl show-environment', and only allow
them to be inherited directly. But this would be confusing and ugly.

The original motivation for this change was that various import operations
would fail. a4ccce22d9552dc74b6916cc5ec57f2a0b686b4f changed systemctl to filter
invalid variables in import-environment.
https://gitlab.gnome.org/GNOME/gnome-session/-/issues/71 does a similar change
in GNOME. So those problematic variables should not cause failures, but just
be silently ignored.

Finally, the environment block is becoming a dumping ground. In my gnome
session 'systemctl show-environment --user' includes stuff like PWD, FPATH
(from zsh), SHLVL=0 (no idea what that is). This is not directly related to
variable names (since all those are allowed under the stricter rules too), but
I think we should start pushing people away from running import-environment and
towards importing only select variables.

https://github.com/systemd/systemd/pull/17188#issuecomment-708676511

basic/env-util: make function shorter

build-sys: prepare 247-rc1

Interestingly, the libudev so version was already bumped.

update hwdb