base-filesystem: check for __s390x__ first

On s390x both __s390__ and __s390x__ are defined, and with the original
order we'd go through the __s390__ branch and emit a warning:

[169/2118] Compiling C object src/shared/libsystemd-shared-256.a.p/base-filesystem.c.o
../src/shared/base-filesystem.c:136:11: note: ‘#pragma message: Please add an entry above specifying whether your architecture uses /lib64/, /lib32/, or no such links.’
  136 | #  pragma message "Please add an entry above specifying whether your architecture uses /lib64/, /lib32/, or no such links."
      |           ^~~~~~~

test: account for build dir being under one of the tmpfs-ed directories

If we're running test-execute from the build directory which is under
one of the tmpfs-ed directories (i.e. /root or /tmp), test-execute might
behave strangely, since in that case manager_new() pins the system
systemd-executor binary instead of the build dir one, which may lead to
a very confusing test fails (if there's enough difference between the
system and built sd-executor binary). Let's account for that and
bind-mount the build dir under the tmpfs-ed directory if necessary.

test: make test-fd-util more lenient when using fd_move_above_stdio()

On s390x this test fails when the SUT uses the z90crypt kernel module,
as it's an another FD the test doesn't account for:

/* test_rearrange_stdio */
Successfully forked off 'rearrange' as PID 57293.
test_rearrange_stdio: r=0
/proc/57293/fd:
total 0
lrwx------. 1 root root 64 Apr  5 06:18 0 -> /dev/pts/0
lrwx------. 1 root root 64 Apr  5 06:18 1 -> /dev/pts/0
lrwx------. 1 root root 64 Apr  5 06:18 2 -> /dev/pts/0
lrwx------. 1 root root 64 Apr  5 06:18 3 -> /dev/z90crypt
rearrange terminated by signal ABRT.

Debugging this was pain, since the child process didn't log anything
once we closed stdout/stderr (for obvious reasons). Let's fix both
issues by switching logging to kmsg once we close stdin/stdout/stderr,
and also by making the test work fine when there are some extra FDs in
the child's environment.

log: fix comment

core: Serialize both pid and pidfd to keep downgrades working

Currently, when downgrading from a version with pidfd support to a
version without pidfd support, all information about running processes
is lost as the newer systemd will serialized pidfds which are not recognized
by the older systemd when deserializing.

To improve the situation, let's serialize both the pid and the pidfd.
This is safe because existing versions will either replace the first
deserialized pidref with the second one or discard the second one in
favor of the first one depending on the unit and field. Older versions
that don't support pidfd's will silently discard any fields that contain
a pidfd as those will try to parse the field as a pid and since a pidfd
field will start with '@', those versions will debug error log and ignore
the value.

To make sure we reuse the existing pidfd as much as possible, the pidfd
is serialized first. Both for scopes and service main pids, if the same
pid is seen multiple times, the first pidref is kept. So by serializing
the pidfd first we make sure the original pidfd is used instead of the
new one which is opened when deserializing the first pid field.

For other control units, older versions with pidfd support will discard
the first pidfd and replace it with a new pidfd from the second pid field.
This is a slight regression on downgrades, but we make sure it doesn't
happen for future versions (and older versions when this commit is
backported) by modifying the logic to only use the first successfully
deserialized pidref so that the raw pid without pidfd is discarded instead
of it replacing the existing pidfd.

meson: set -fno-ssa-phiopt when building bpf with gcc

There are bugs in the kernel verifier that cause legitimate code
to be rejected, disabling this optimization makes bpf programs
built with a new enough gcc work again.

Fixes https://github.com/systemd/systemd/issues/31888

hwdb: fix missing colon (#32108)

Missing colon prevents this from working correctly on the Chuwi UBook X and UBook X Pro.

Merge pull request #32085 from yuwata/udev-check-processing

udev: check ID_PROCESSING udev property more

Merge pull request #31373 from yuwata/network-neighbor-advertisement

network: add basic support of neighbor advertisement

udevadm-test: also show security labels if specified

Follow-up for 03b6879f4d45c49264708aef872fd05af30ddcf0.

backlight: fix detection of multiple graphic cards

Follow-up for e0504dd011189d97a1ea813aabfe1e696742bcf5.

Hopefully, devices in PCI subsystem have some properties, thus have
their udev database file. But, that may not be true. Here, we only read
sysattrs of enumerated devices, hence it is not necessary to check if
the device is initialized or not.

udev: do not update sysattr and sysctl value on testing

Follow-up for 089bef66316e5bdc91b9984148e5a6455449c1da.

Merge pull request #32102 from YHNdnzj/efi-var-consistent

Trivial follow-up for hibernate-resume

man/kernel-command-line: document resume_offset= too

hibernate-util: say "HibernateLocation EFI variable" consistently

udevadm-test: insert missing line break

Addresses post-merge comment:
https://github.com/systemd/systemd/commit/03b6879f4d45c49264708aef872fd05af30ddcf0#r140587790

TEST-50: add tests for riscv{32,64}

Requested for the testing of F40 riscv bringup. Numbers copied from
https://uapi-group.org/specifications/specs/discoverable_partitions_specification/.

It'd be nice to do the same in TEST-58, but the code there is rather involved
and I don't have a system to test on. We can probably try that later on when F40
is available.

Fixed resolution for pen and touchpad

netowrk/ndisc: drop NDisc configurations when received NA without Router flag

Closes #28421.

test-ndisc: add basic tests for Neighbor Advertisement handling

sd-ndisc: add basic support of Neighbor Advertisement message

This adds basic support of receiving and parsing Neighbor Advertisement
message defined in RFC 4861.

cryptsetup-tokens: fix argument order mismatch in function

The order of the arguments of the function `acquire_luks2_key()` in
`luks2-tpm2.h` is wrong, `pcrlock_path` and `pin` are swapped.

Fixes 404aea7815595c1324947ed7f2a7502b17d3cc01

tree-wide: refuse enumerated device with ID_PROCESSING=1

When enumerated devices are being processed by udevd, we will receive
corresponding uevents later. So, we should not process devices in that
case.

tree-wide: use device_is_processed() more

udev-util: rename device_is_processing() -> device_is_processed()

And make it also check the existence of the udev database.

Merge pull request #32097 from keszybz/sd-notify-cleanups

Small cleanups to sd_notify docs

Merge pull request #32033 from DaanDeMeyer/unit-creds

debug-generator: Add unit and drop-in credentials

watchdog: clarify that we set the *watchdog* timeout

This makes sure we mention the word "watchdog" in every log message
related to the watchdog.

Also, this uses the expression "hardware timeout" when referring to the
primary timeout of the watchdog, as opposed to the "pretimeout".

(Not ideal wording I know, but it's preexisting to some point, I just
continued it. I think it's OK though, in particular to underline the
difference to the software watchdog logic we implement via WATCHDOG= in
sd_notify().)

Fixes: #31662

debug-generator: Add unit and drop-in credentials

These allow adding extra units and drop-ins via credentials.

network-generator: Add logging

We stick to debug logging because in some cases network-generator
will fall back to trying another parsing function if one fails, so
if we return an error it's not necessarily a failure.

man: align strings in sd_notify() examples

I think this way it's easier to see that they are part of the same argument.

man/notify-selfcontained-example: check argument first

This is just good style. In this particular case, if the argument is incorrect and
the function is not tested with $NOTIFY_SOCKET set, the user could not get the
proper error until running for real.

Also, remove mention of systemd. The protocol is fully generic on purpose.

man: regenerate rules

Fixup for dfad86b83807fa8696ca94982a5ba591b6d86a80.

man: update fedora example to F40

F40 will be out soon, so we can update the man page already. The example should
already work.

The cloud link was dropped in fd571c9df0ba86636401582c4ea0a8cb608e1216, so
drop the unused variable too.

core/exec-invoke: replace basename() with path_extract_filename() (#32076)

vmspawn: fix error code

mkosi: More package updates

- Install individual asan libraries instead of gcc
- Drop duplicate qrencode package from arch config
- Install dbus-user-session which provides default-dbus-session-bus
- Explicitly install dbus-broker on Arch Linux

sysupdate: use log_syntax() when logging about a configuration file

All code around this does this too, hence do it here as well.

Also fix plural verb form.

Follow-up for: #32018

man/example: also build example code with C90

Unfortunately, sd-bus-vtable.h, sd-journal.h, and sd-id128.h
have variadic macro and inline initialization of sub-object, these are
not supported in C90. So, we need to silence some errors.

mkosi: Install selinux tools in main image instead of initramfs

Also install setools-console and policycoreutils instead of setools
which pulls in the kitchen sink. Also install selinux-policy-targeted
to make sure the right policy is installed.

mkosi: Install git-core where possible

This avoids pulling in the perl kitchen sink.

Revert "kernel-install: Add kernel version to title (#31581)"

This reverts commit 85b774de49caff8be819f021740dd680ba76ab77.

Merge pull request #32072 from YHNdnzj/no-ellipsize

core/manager: use cellescape and don't be too aggressive

resolved: return ExpectedMore error if we require "more" varlink flag on method call

Fixes: #32066

Merge pull request #32043 from YHNdnzj/resume-clear-efi

units: introduce systemd-hibernate-clear.service that clears stale HibernateLocation EFI variable

fuzz: check that ND options are parsed sucessfully

At that point the options have been parsed, sent and received again so
`ndisc_parse_options` should never fail there (unless ndisc_send corrupts
them somehow).

It's a follow-up to https://github.com/systemd/systemd/pull/31807

man/examples: set _GNU_SOURCE in source, rather than by compile option

Addresses https://github.com/systemd/systemd/pull/32057#issuecomment-2034408569.

ssh-generator: create privsep dir via tmpfiles.d/ if we are told to

To make it easy to have a workable ssh-generator on various distros,
let's optionally generate the ssh privsep dir via tmpfiles.d/ drop-in.

This enables the concept with a path of /run/sshd/ as default. This is
the path Debian/Ubuntu uses, and means that we just work on those
distros. Debian/Ubuntu is the only distro (apparently?) that puts the
privsep dir under /run/, hence always needs the dir to be created
manually. Other distros don't need it that much, because they place the
dir in /usr/ (fedora, best choice!) or /var/ (others, not ideal, because
still mutable).

Also adds a longer explanation about this in NEWS, in the hope that
distro maintaines read that and maybe start cleaning this up.

Alternative to: #31543

core/manager: use cellescape and don't be too aggressive

Addresses https://github.com/systemd/systemd/pull/32068#issuecomment-2034799862

string-util: add missing assertion in cellescape

Merge pull request #32065 from bluca/dlopen_debug

dlopen: fix bpf symbol loading check and log at debug level when loading a library

Merge pull request #32019 from bluca/gcrypt_dlopen

gcrypt: dlopenify for libsystemd

notify-example: also send STOPPING=1 at exit

I think the example should reflect the full set of lifecycle messages,
including STOPPING=1, which tells the service manager that the service
is already terminating. This is useful for reporting this information
back to the user and to suppress repeated shutdown requests.

It's not as important as the READY=1 and RELOADING=1 messages, since we
actively wait for those from the service message if the right Type= is
set. But it's still very valuable information, easy to do, and completes
the state engine.

man/kernel-command-line: be clear that resumeflags= is about timeout opts only

units: introduce systemd-hibernate-clear.service that clears
stale HibernateLocation EFI variable

Currently, if the HibernateLocation EFI variable exists,
but we failed to resume from it, the boot carries on
without clearing the stale variable. Therefore, the subsequent
boots would still be waiting for the device timeout,
unless the variable is purged manually.

There's no point to keep trying to resume after a successful
switch-root, because the hibernation image state
would have been invalidated by then. OTOH, we don't
want to clear the variable prematurely either,
i.e. in initrd, since if the resume device is the same
as root one, the boot won't succeed and the user might
be able to try resuming again. So, let's introduce a
unit that only runs after switch-root and clears the var.

Fixes #32021

hibernate-resume: introduce --clear for clearing hibernate storage var

hibernate-resume: add options handling

hibernate-resume-config: expose get_efi_hibernate_location

hibernate-resume: EINVAL -> ENOTBLK where appropriate

hibernate-util: make clear_efi_hibernate_location_and_warn return 1 if
actually cleared the variable

dlopen: log debug message when a library is dlopened

Useful to track what is being used and when

bpf: actually check for errors when loading symbols

Also restructure ifdef to avoid confusing vscode

Follow-up for 87e462f71361a47b154865dc14032a27580dd4cb

Merge pull request #32057 from yuwata/man-example

man: add simple build test for example code

99-systemd.rules: rework SYSTEMD_READY logic for device mapper

Device mapper devices are set up in multiple steps. The first step, which
generates the initial "add" event, only creates an empty container, which is
useless for higher layers. SYSTEMD_READY should be set to 0 on this event to
avoid premature device activation.

The event that matters is the "activation" event: the first "change" event on
which DM_UDEV_DISABLE_OTHER_RULES_FLAG=1 is not set. When this event arrives,
the device is ready for being scanned by blkid and similar tools, and for being
activated by systemd.

Intermittent events with DM_UDEV_DISABLE_OTHER_RULES_FLAG=1 should be ignored
as far as systemd or higher-level block layers are concerned. Previous device
properties and symlinks should be preserved: the device shouldn't be scanned or
activated, but shouldn't be deactivated, either.  In particular, SYSTEM_READY
shouldn't be set to 0 if it wasn't set before, because that might cause mounted
file systems to be unmounted. Such intermittent events may occur any time,
before or after the "activation" event.

DM_UDEV_DISABLE_OTHER_RULES_FLAG=1 can have multiple reasons. One possible reason
is that the device is suspended. There are other reasons that depend on the
device-mapper subsystem (LVM, multipath, dm-crypt, etc.).

The current systemd rule set

1) sets SYSTEMD_READY=0 if DM_UDEV_DISABLE_OTHER_RULES_FLAG is set in "add"
events;
2) imports SYSTEMD_READY from the udev db if DM_SUSPENDED is set, and jumps to systemd_end;
3) sets SYSTEMD_READY=1, otherwise.

This logic has several flaws:

* 1) can cause file systems to be unmounted if an coldplug event arrives while
a file system is suspended. This rule shouldn't be applied for coldplug events
or in general, "synthetic" add events;
* 2) evaluates DM_SUSPENDED=1, which is a device-mapper internal property.
It's wrong to infer that a device is accessible if DM_SUSPENDED=0.
The jump to systemd_end may cause properties and/or symlinks to be lost;
* 3) is superfluous, because SYSTEMD_READY=1 is equivalent with SYSTEMD_READY
being unset, and can create the wrong impression that the device was explicitly
activated.

This patch fixes the logic as follows:

- apply 1) only if DM_NAME is empty, which is only the case for the first
"genuine add" event;
- change 2) to use DM_UDEV_DISABLE_OTHER_RULES_FLAG instead of DM_SUSPENDED,
and remove the GOTO directive;
- remove 3).

Fixes: b7cf1b6 ("udev: use SYSTEMD_READY to mask uninitialized DM devices")
Fixes: 35a6750 ("rules: set SYSTEMD_READY=0 on DM_UDEV_DISABLE_OTHER_RULES_FLAG=1 only with ADD event (#2747)")

Signed-off-by: Martin Wilck <mwilck@suse.com>

gcrypt: dlopenify for libsystemd

gcrypt is used only for journal sealing operations in libsystemd, so it
can be made into a dlopen dependency that is used only on demand. This
allows to reduce the footprint of libsystemd in the most common cases.

Keep systemd-pull and systemd-resolved with normal linking, as they are
executables, and usually built with OpenSSL support anyway.

man/meson: add simple build test for example code

sd-bus-vtable: add dummy macro to support compile without GNU extension

If SD_BUS_METHOD_WITH_ARGS() is set with SD_BUS_NO_ARGS and/or SD_BUS_NO_RESULT,
then it introduces
_SD_VARARGS_FOREACH_EVEN(_SD_ECHO, NULL)
    -> _SD_VARARGS_FOREACH_SEQ(_01, …, _50, NULL)
Hence, the variadic argument `...` in _SD_VARARGS_FOREACH_SEQ() has no
argument, but it is not allowed if built without GNU extension, e.g. -std=c11.

Let's introduce one more unused dummy argument to support such situation.

man/examples: fix sd- header path

man/examples: use strerror() instead of %m

man/example: fix build failure of hwdb-usb-device.c

STRLEN() and xsprintf() is our internal macros.

Merge pull request #32060 from YHNdnzj/timespec-minor-cleanup

Minor cleanup for timespec/efivars

efivars: minor modernization for efi_set_variable

signal-util: make struct timespec const

time-util: drop unneeded 'struct'

git-contrib: use 'git shortlog' command

Also, this drops Weblate (again) and dependabot from the contributers list.

Moreover, this makes the contributers sorted by git command, rather
than sort command. Then, the authors are sorted by their first name, e.g.
- before
Xiaotian Wu, Yuri Chornoivan, Yu Watanabe, Zbigniew Jędrzejewski-Szmek,
- after
Xiaotian Wu, Yu Watanabe, Yuri Chornoivan, Zbigniew Jędrzejewski-Szmek,

Suggested-by: Matteo Croce <teknoraver@meta.com>

Merge pull request #32059 from bluca/doc

Docs and TODO fixes

test: Always exit with 77 if we skip a test

Prep work for running the integration tests with meson, which requires
tests to exit with 77 to indicate they are skipped.

Note this only deals with the easy cases where there's only tests. The
hard ones where there's subtests of which only some are skipped are left
for another PR.

docs: notify example was moved to sd_notify manpage

Reference in the portability doc was forgot

Follow-up for 383917ac67570e2dccd558bcde3910a686b9f077

TODO: drop line about bzip2/gzip

These are only used in the importd binary, which is a leaf optional
binary that also depends on libcurl, so it's not worth the
additional complications

Merge pull request #32055 from mrc0mmand/pre-rc-coccinelle

Coccinelle-suggested tweaks, pre-rc edition

Merge pull request #32052 from mrc0mmand/even-more-test-tweaks

A couple of assorted tweaks

resolve: avoid reusing 'r' for encoded packet size

This is a footgun, as using r between the encoded length being
taken and it being used risks it being overwritten accidentally

test: don't hide exit code of the systemd-run process

core: correctly deserialize credentials with empty payload

For example with SetCredential=mycred: the data payload is empty, but it
is still a valid credential.

This reorders the arguments when serializing credentials, so the
possibly empty argument is not at the end of the serialized string. This
way we can still easily use the extract_many_words() machinery, and with
the use of EXTRACT_DONT_COALESCE_SEPARATORS properly deserialize even an
empty credential. This changes LoadCredentials= as well just to keep the
code for (de)serializing both directives in sync.

test: check if sd-executor doesn't complain during (de)serializing

This was usually caught by "accident" by other tests that parse output
of commands executed by sd-executor, so let's have an explicit check for
this.

test: bump the container boot timeout when running w/o acceleration

With plain QEMU on a saturated AWS region we might just barely miss the
timeout window, causing unexpected test fails:

[  688.681324] systemd-nspawn[1332]: [  OK  ] Finished systemd-user-sessions.service.
[  689.451267] systemd-nspawn[1332]: [  OK  ] Started console-getty.service.
[  689.572874] systemd-nspawn[1332]: [  OK  ] Reached target getty.target.
[  693.634609] testsuite-74.sh[1223]: + at_exit
[  693.634609] testsuite-74.sh[1223]: + rm -fv -- /tmp/test-dump /tmp/test-usr-dump /tmp/make-dump
[  693.838395] testsuite-74.sh[1502]: removed '/tmp/test-dump'
[  693.838395] testsuite-74.sh[1502]: removed '/tmp/test-usr-dump'
[  693.838395] testsuite-74.sh[1502]: removed '/tmp/make-dump'
[  693.951114] testsuite-74.sh[670]: + echo 'Subtest /usr/lib/systemd/tests/testdata/units/testsuite-74.coredump.sh failed'
[  693.951114] testsuite-74.sh[670]: Subtest /usr/lib/systemd/tests/testdata/units/testsuite-74.coredump.sh failed
[  693.951114] testsuite-74.sh[670]: + return 1
[  694.659094] systemd[1]: testsuite-74.service: Main process exited, code=exited, status=1/FAILURE
[  694.719563] systemd[1]: testsuite-74.service: Failed with result 'exit-code'.
[  694.882069] systemd[1]: Failed to start testsuite-74.service.
[  695.574445] systemd[1]: Reached target testsuite.target.
[  696.174844] systemd[1]: Starting end.service...
[  699.509408] systemd-nspawn[1332]:
[  699.509408] systemd-nspawn[1332]: CentOS Stream 9
[  699.509408] systemd-nspawn[1332]: Kernel 5.14.0-432.el9.x86_64 on an x86_64 (pts/0)
[  699.509408] systemd-nspawn[1332]:

Also, move the rest of container the setup for the user xattrs test into
the condition, since doing it without the actual test is pretty
pointless.

ci: fix commit SHA for stefanbuck/github-issue-parser

The SHA for this action was updated by Dependabot in #25900 to a commit
which later disappeared from the repo. Since then Dependabot kept
(silently) failing to bump the SHA further:

updater | 2024/03/31 21:22:13 ERROR <job_807574419> Error processing stefanbuck/github-issue-parser (Dependabot::SharedHelpers::HelperSubprocessFailed)
updater | 2024/03/31 21:22:13 ERROR <job_807574419> error: no such commit c1a559d78bfb8dd05216dab9ffd2b91082ff5324

See: https://github.com/systemd/systemd/pull/25900#issuecomment-2028912672

Let's bump the SHA manually to v3.1.0 to get Dependabot back on the track.

Co-authored-by: Evgeny Vereshchagin <evvers@ya.ru>

Merge pull request #32030 from bluca/dlopen_document

man: document that using sd_journal APIs might cause dlopen to happen and add self-contained notify protocol example

test: use free() instead of mfree()

Since we don't use the returned value anyway.

sysext: use mfree() in one more place

Simplify a couple of conditions

Use IN_SET() more

Merge pull request #32004 from YHNdnzj/umount-new-cycle

core/mount: if mount is gone eventually, consider it success

man: add self-contained example of notify protocol

We are saying in public that the protocl is stable and can be easily
reimplemented, so provide an example doing so in the documentation,
license as MIT-0 so that it can be copied and pasted at will.

man: document that using sd_journal APIs might cause dlopen to happen

Merge pull request #32042 from YHNdnzj/implicit-mounts-for

units: remove one implicit RequiresMountsFor=

debug-generator: Drop unnecessary include

debug-generator: Use arg_dest instead of argument

build(deps): bump systemd/mkosi

Bumps [systemd/mkosi](https://github.com/systemd/mkosi) from 31af101620fc2996517d87e86da310f7ba553d58 to 4dfdf98ed2877a1e40f37234e0b8fbba0fec3584.
- [Release notes](https://github.com/systemd/mkosi/releases)
- [Changelog](https://github.com/systemd/mkosi/blob/main/NEWS.md)
- [Commits](https://github.com/systemd/mkosi/compare/31af101620fc2996517d87e86da310f7ba553d58...4dfdf98ed2877a1e40f37234e0b8fbba0fec3584)

---
updated-dependencies:
- dependency-name: systemd/mkosi
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

mkosi: Use '-' instead of '.' to separate upstream version and debian revision

The debian revision starts after the '-' character, so make sure the
timestamp we append is treated as the revision instead of being a part
of the upstream version.