boot: Change boot entry sorting

There are a few undesirable properties to how boot entries are
currently sorted.

First, it sorts by entry file name only, which may not correspond
to the title that is shown (for exmaple because it is prefixed by
machine-id). The file ending will also create unexpected ordering
("arch-lts.conf" would come before "arch.conf").

While the list is sorted alphabetically ascending, it is also
lower version/priority first, which is unintuitive. In particular,
a boot-counted entry that is bad (0 tries left) will be at the very
top.

Additionally, the Windows and Mac loaders should be sorted with
the rest of the loaders.

Merge pull request #22071 from keszybz/xdg-autostart-logs

Improve logs in systemd-xdg-autostart-generator

Merge pull request #22070 from keszybz/rm-rf-wip

Simplify recursive removal code and replace stack recursion with a heap queue

docs: fix typo in key name and adjust grammar a bit

xdg-autostart-generator: rework debug logging

The logs used the service name as the primary log key. But the service name
often needs to contain escape symbols, and the logs are rather hard to read
because of this. Thus the logs are changed to use the path to the source
desktop file. I think this is much more useful because the user will want to
look at the source file too and maybe change it if something goes wrong.

A bit more logging to show which directories we are looking at and why we
skip certain units is added too.

$ rm -rf /tmp/out && mkdir /tmp/out && SYSTEMD_LOG_LEVEL=debug SYSTEMD_LOG_TARGET=console build/systemd-xdg-autostart-generator /tmp/{out,out,out}
Scanning autostart directory "/home/zbyszek/.config/autostart"…
Scanning autostart directory "/etc/xdg/autostart"…
/etc/xdg/autostart/tracker-miner-rss-3.desktop: not generating unit, marked as skipped by generator.
/etc/xdg/autostart/gnome-initial-setup-first-login.desktop: ExecCondition executable gnome-systemd-autostart-condition not found, unit will not be started automatically: No such file or directory
/etc/xdg/autostart/geoclue-demo-agent.desktop: symlinking app-geoclue\x2ddemo\x2dagent@autostart.service in xdg-desktop-autostart.target/.wants…
SELinux enabled state cached to: disabled
Directory "/tmp" already exists, but has mode 0777 that is too permissive (0755 was requested), refusing.
/etc/xdg/autostart/polkit-mate-authentication-agent-1.desktop: symlinking app-polkit\x2dmate\x2dauthentication\x2dagent\x2d1@autostart.service in xdg-desktop-autostart.target/.wants…
/etc/xdg/autostart/mate-settings-daemon.desktop: symlinking app-mate\x2dsettings\x2ddaemon@autostart.service in xdg-desktop-autostart.target/.wants…
/etc/xdg/autostart/user-dirs-update-gtk.desktop: symlinking app-user\x2ddirs\x2dupdate\x2dgtk@autostart.service in xdg-desktop-autostart.target/.wants…
/etc/xdg/autostart/org.freedesktop.problems.applet.desktop: symlinking app-org.freedesktop.problems.applet@autostart.service in xdg-desktop-autostart.target/.wants…
/etc/xdg/autostart/org.gnome.SettingsDaemon.Datetime.desktop: not generating unit, startup phases are not supported.
/etc/xdg/autostart/org.gnome.SettingsDaemon.XSettings.desktop: not generating unit, startup phases are not supported.
/etc/xdg/autostart/org.gnome.SettingsDaemon.DiskUtilityNotify.desktop: symlinking app-org.gnome.SettingsDaemon.DiskUtilityNotify@autostart.service in xdg-desktop-autostart.target/.wants…
/etc/xdg/autostart/gnome-initial-setup-copy-worker.desktop: not generating unit, startup phases are not supported.
/etc/xdg/autostart/org.gnome.Evolution-alarm-notify.desktop: symlinking app-org.gnome.Evolution\x2dalarm\x2dnotify@autostart.service in xdg-desktop-autostart.target/.wants…
/etc/xdg/autostart/tracker-miner-fs-3.desktop: not generating unit, marked as skipped by generator.
/etc/xdg/autostart/orca-autostart.desktop: ExecCondition executable gnome-systemd-autostart-condition not found, unit will not be started automatically: No such file or directory
...

Inspired by https://bugzilla.redhat.com/show_bug.cgi?id=2038750.

The return value from xdg_autostart_service_generate_unit() is ignored by the
caller, so we can do a shortcut return without functional change. This is nicer
because we're now consistently always returning an error if something failed.

Merge pull request #22019 from lnussel/shutdown

shutdown command fixes

xdg-autostart-generator: make parameter const

meson: no longer skip dependencies when fuzzers are built locally

to make it easier to fuzz code that uses external libraries like libelf/libdw.

The dependencies are skipped on OSS-Fuzz because they aren't available
at runtime if they aren't linked statically. This restriction can safely
be lifted when the fuzzers are built locally with all the dependencies
installed. As far as I know there is at least one fuzz target in the systemd
repository that can benefit from this: https://github.com/systemd/systemd/issues/11018

systemctl: consistent output for scheduled shutdowns

Use same terms when scheduling and showing sheduled shutdowns.

units: start systemd-resolved in basic.target

In the olden days systemd-resolved used dbus and it didn't make sense to start
it before dbus which is started fairly late. But we have mostly ported resolved
over to varlink. The queries from nss-resolve are done using varlink, so name
resolution can work without dbus. resolvectl still uses dbus, so e.g. 'resolvectl
query' will not work, but by starting systemd-resolved earlier we're not making this
any worse.

If systemd-resolved is started after dbus, it registers the name and everything
is fine. If it is started before dbus, it'll watch for the dbus socket and
connect later. So it should be fine to start systemd-resolved earlier. (If dbus
is stopped and restarted, unfortunately systemd-resolved does not reconnect.
This seems to be a small bug: since our daemons know how to watch for
dbus.socket, they could restart the watch if they ever lose the connection. But
this scenario shouldn't happen in normal boot, and restarting dbus is not
supported anyway.)

Moving the start earlier the following advantages:
- name resolution becomes availabe earlier, in particular for synthesized
  hostnames even before the network is up.
- basic.target is part of initrd.target, so systemd-resolved will get started
  in the initrd if installed. This is required for nfs-root when the server is
  specified using a name (https://bugzilla.redhat.com/show_bug.cgi?id=2037311).

boot-timestamps: Discard firmware init time when running in a VM

Fixes: #22060

bpf: actually skip RestrictFileSystems= when not supported

Units would fail to start, incl. systemd-journald.service and systemd-udevd.service.
Since unit->manager->restrict_fs will be set if and only if we can use it,
we can just check for that and remove the other checks.
Follow-up for 299d9417238e0727a48ebaabb5a9de0c908ec5c8.

test: explicitly configure oomd stuff via dropins

so we don't get overridden by distro-shipped ones.

Fixes: #22030

test: store empty files rather than symlinks for test-fstab-generator

Dangling symlinks get pruned when packaging up the installation
directory. Just store empty files instead, and compare the names
rather than the content for .requires/.wants - the filename is
what is important anyway, the content is ignored.

Fixes #22059

meson: Use files() for source lists for boot and fundamental

This fixes build reproducibility as otherwise the full path
of the source files ends up in the output binary.

Merge pull request #22028 from medhefgo/boot-cleanup

boot: Cleanup

core: teach LoadCredential= to load from a directory

Merge pull request #22044 from keszybz/minor-man-page-adjustments

Minor man page adjustments

man: adjust chart in bootup(5)

The style used for that one branch was inconsistent with other branches.

man: refer to os-release(5) for description of files in the same format

man: add missing example title in systemd.network(5)

Also rename the file to match the example being extended.

seccomp: move arch_prctl to @default

It was reported as used by the linker:

> [It is] called in the setup of ld-linux-x86-64.so.2 from _dl_sysdep_start.
> My local call stack (with LTO):
>
> #0 init_cpu_features.constprop.0 (/usr/lib64/ld-linux-x86-64.so.2)
> #1 _dl_sysdep_start (/usr/lib64/ld-linux-x86-64.so.2)
> #2 _dl_start (/usr/lib64/ld-linux-x86-64.so.2)
> #3 _start (/usr/lib64/ld-linux-x86-64.so.2)
>
> Looking through the source, I think it's this (links for glibc 2.34):
> - First dl_platform_init calls _dl_x86_init_cpu_features, a wrapper for init_cpu_features.
> - Then init_cpu_features calls get_cet_status.
> - At last, get_cet_status invokes arch_prctl.

Fixes #22033.

man: correct minor mistakes in systemd-creds

Signed-off-by: Morten Linderud <morten@linderud.pw>

Merge pull request #22013 from yuwata/fstab-generator-skip-nfsroot

fstab-generator: skip root directory handling when nfsroot is requested

kernel-install: prefer /boot over /boot/efi for $BOOT_ROOT

This restores the preference order from before 9e82a74. The code
previous to that change 'preferred' /boot over /boot/efi; that
commit changed it to check /boot/efi before checking /boot.
Changing this precedence could (and did, for me) have unexpected
effects - it seems safer to leave it how it was.

Signed-off-by: Adam Williamson <awilliam@redhat.com>

homed: stop before stopping dbus

Otherwise, systemd-homed-active.service will fail to deactivate all
homes because homectl can no longer talk to homed if dbus stops first.
As a result, /home cannot be umounted.

Doing this on systemd-homed-active.service instead works as well, but
systemd-homed will exit 1 if dbus is already shut down.

Merge pull request #22006 from yuwata/on-ac-power

udev-util: ignore USB-C ports in power source mode

bpf: do not freeze if bpf lsm fails to set up

BPF LSM is cgroup unaware and it's set up is happening in core manager.
It occures that the current implementation is too restrictive and causes
pid 1 to freeze.
Instead:
* in bpf_lsm_setup set manager->restrict_fs pointer last,
so it is an indicator that the set up was successful
* check for manager->restrict_fs before applying unit options

Merge pull request #22031 from floppym/issue22001-1

test-watchdog adjustments

test-watchdog: set timeout to 2 seconds by default

Some hardware/drivers do not handle a 1 second timeout properly.

Fixes: https://github.com/systemd/systemd/issues/22001

test-watchdog: use watchdog_runtime_wait() to determine sleep interval

As sugggested in
https://github.com/systemd/systemd/issues/22001#issuecomment-1006755438.

userdbctl: fix "Password OK" shown even when password is empty or locked (#21308)

userdbctl: fix "Password OK" shown even when password is empty or locked

test: add test cases for fstab-generator

tree-wide: fix typo

NEWS: sort entries

boot: Simplify line_edit

boot: Switch to insertion sort

We can do a little better than bubble sort without ramping up the
code complexity.

boot: Do more config handling in config_load_all_entries

boot: Remove no_autoselect

boot: Close xbootldr root_dir

boot: Simplify config_entry_add_osx

meson: install test-network-generator-conversion.sh even if networkd is not enabled

Follow-up for 987dd89c775815831ae21736fe60aef59cb7a6fa.

fstab-generator: also skip other network filesystems and live image

fstab-generator: skip root directory handling when nfsroot is requested

Fixes RHBZ#2037233 (https://bugzilla.redhat.com/show_bug.cgi?id=2037233).

udev-util: ignore USB-C ports in power source mode when detecting system is running on AC power

Fixes #21988.

udev-util: re-implement on_ac_power() with sd-device

util: move on_ac_power() from util.c -> udev-util.c

oomd: move oomctl to bindir

We don't really need oomctl during early boot, so bindir seems like a
more suitable place for the binary.

test-watchdog: mark as unsafe

If something goes wrong with this test it may result in an unsafe
system restart. Let's avoid running it automatically.

See https://github.com/systemd/systemd/issues/22001.

random-seed: cleanup code nits

This incorporates various nits from the post-merge review on #21986.

Signed-off-by: Jason A. Donenfeld <Jason@zx2c4.com>

Merge pull request #22018 from keszybz/logind-survive-aborted-suspend

Make logind survive aborted suspend

Merge pull request #22016 from yuwata/small-cleanups

assorted trivial cleanups

test: use full date & time when checking for coredumps

Otherwise we might hit a window where the coredump happens before
midnight, but we check for it after midnight, which yields no results.

E.g.:

```
$ coredumpctl --no-legend --no-pager --file system.journal
Wed 2022-01-05 01:00:06 CET 359 0 0 SIGABRT journal /usr/bin/udevadm n/a
$ coredumpctl --since 23:59:55 --no-legend --no-pager --file system.journal
No coredumps found.
$ coredumpctl --since "2022-01-04 23:59:59" --no-legend --no-pager --file system.journal
Wed 2022-01-05 01:00:06 CET 359 0 0 SIGABRT journal /usr/bin/udevadm n/a
```

Merge pull request #22012 from DaanDeMeyer/journal-full-message

journal: Log a better message when we're rotating because a file is full

Merge pull request #22014 from keszybz/networkd-reduce-append-logging

Drop detailed error messages for netlink message append operations

logind: do not propagate error in delayed action

If the action failed, we should log about the issue, and continue.
Exiting would bring the graphical session down, which of course is not
appreciated by users.

As documented in previous commits, a non-negative return from the callback
doesn't matter, so the callback is simplified a bit.

Fixes #21991.

man: add example of sd_event_add_child()

The thing with blocking SIGCHLD is rather annoying. I think we could/should
make this automatic.

man: add better descriptions of what event handlers do

The meaning of the return value, the default handlers, and loop exiting are now
described.

systemctl: Fix --show timestamp

backlight: ignore error if the backlight device is already removed

Fixes #21997.

Merge pull request #21974 from yuwata/test-repart-find-sfdisk

test-repart: find sfdisk

Merge pull request #21981 from medhefgo/boot-cleanup

boot: Cleanup

journal: Log filename when we fail to write an entry

journal: Log a better message when we're rotating because a file is full

The previous message was confusing errors. When we're rotating because
we've reached the file size limit, let's log a better message.

Fixes #22007.

sd-boot: select newest kernel entry matching with the default glob pattern

This fixes a bug introduced by 0c674ce5f24a6e52561ec6520e43a1ca45d90f01.

Fixes #22004.

watchdog: adjust comment

resolve: add missing initialization of libgcrypt

Fixes #21951.

oss-fuzz: drop line-tables-only

It was copy-pasted directly from OSS-Fuzz where it makes sense to
kind of strip binaries to get nice backtraces but when the fuzzers
are built and run locally with gdb it would be nice to have a little
bit more than that.

It was initially discovered in elfutils where I put the same flags
and was surprised when I couldn't run the fuzzer comfortably step
by step, which led to the same change there: https://github.com/google/oss-fuzz/pull/7092
:-)

tests: log_tests_skipped() already appends ", skipping tests"

We would say:
test-bpf-lsm: Can't use mlock(), skipping., skipping tests.

network: move logging from route_set_netlink_message() to the callers

Overall size change for the whole series:
$ size build/systemd-networkd{.0,}
   text    data     bss     dec     hex filename
1878634  394016      36 2272686  22adae build/systemd-networkd.0
1755066  394080      36 2149182  20cb3e build/systemd-networkd

i.e. 121 kb.

network: move logging from routing_policy_rule_set_netlink_message() to the callers

network: move logging from qdisc_configure()/tclass_configure() to the caller

network: simplify logging in request_process_bridge_fdb()

network: move logging from tc .fill_message to the callers

Structured initialization is used a bit more.

There were two kinds of log messages: about failed size calculations and
about failed appends to the message. I "downgraded" the first type to log_debug,
and moved the latter to the caller. This way there should be at most one high-priority
message.

I also changed sizeof(<type>) to sizeof(var) — there is less chance of select-and-paste
error in the second form.

network: split out neighbor_configure_message(), simplify logging

network: split out dhcp4_pd_create_6rd_tunnel_message(), simplify logging

network: adjust log message about MACsec associations

network: simplify logging in macsec netdev code

network: simplify logging in l2tp_create_session() and l2tp_create_tunnel()

All the detailed logging is replaced by a simple "Failed to create netlink message",
which should be enough for the user in the unlikely case that this ever fails.

network: split out link_configure_fill_message(), simplify logging

network: move logging from can_set_netlink_message() to the caller

network: de-duplicate logging in bridge_vlan_append_info() and the caller

The remaining message is changed, because the user would most likely not
understand that "append VLANs" is just talking about the netlink message.

network: move logging from ipoib_set_netlink_message() to the caller

coredump: drop unnecessary initialization

network: split out netdev_fill_fou_tunnel_message(), simplify logging

network: split out netdev_create_message(), simplify logging

network: replace more detailed netlink append messages

Some refactoring was needed here to avoid duplicate messages.
Some select-and-paste errors were fixed on the way.

systemd-networkd is thinner by 8k.

network: use SYNTHETIC_ERRNO in one more place

network: replace detailed netlink append messages with a single generic message

This commit is the first in the series, and they generally follow the same
idea: we had very detailed logging for message append operations which would
only fail either with some type error or intrinsic limit (and then they would
fail everywhere, so this would be noticed during development or in CI), or they
would fail with ENOMEM, in which case the exact location is not very interesting
since this is not repeatable.

I am in general in favour of detailed logging messages, because it helps with
diagnosis of errors, but I think case is an exception. Despite not being very
useful, those messages required a lot of effort, because they were customized
for each and every append operation. In fact some of the messages contained copy
errors. The text of the messages (since they are generally unique) also added up
to a considerable size.

This removes the log messages after each sd_netlink_message_append_*() in
fill_message_create() with a single line in netdev_create(). As described
above, we are just appending fields to a message, so those calls would almost
never fail.

A forgotten 'return' was added in one place.

$ size build/systemd-networkd{.0,}
   text    data     bss     dec     hex filename
1878634  394016      36 2272686  22adae build/systemd-networkd.0
1842450  394080      36 2236566  222096 build/systemd-networkd

… so we save 30k too.

test-repart: append /sbin and /usr/sbin to $PATH= to make sfdisk can be found

Fixes #21972.

test-repart: disable pager

random-seed: hash together old seed and new seed before writing out file

If we're consuming an on-disk seed, we usually write out a new one after
consuming it. In that case, we might be at early boot and the randomness
could be rather poor, and the kernel doesn't guarantee that it'll use
the new randomness right away for us. In order to prevent the new
entropy from getting any worse, hash together the old seed and the new
seed, and replace the final bytes of the new seed with the hash output.
This way, entropy strictly increases and never regresses.

Fixes: https://github.com/systemd/systemd/issues/21983
Signed-off-by: Jason A. Donenfeld <Jason@zx2c4.com>

boot: Add gdb support and documentation

This will finally allow debugging issues in systemd without resorting to
Print() calls all over the place.

Merge pull request #21977 from systemd/wip/hadess/minipro-uaccess

hwdb: Allow end-users root-less access to TL866 EPROM readers

test: build fuzzers with --werror if set

to catch issues like systemd/systemd#21996.

fuzz-bcd: silence warning about always-true comparison

Occurs with gcc-11.2.1-7.fc35.x86_64.

hwdb: Allow end-users root-less access to TL866 EPROM readers

As is currently done in the upstream minipro tool:
https://gitlab.com/DavidGriffith/minipro/-/tree/master/udev

Revert "udev: Import hwdb matches for USB devices"

This reverts commit 94cb45d57f6e94dd4c93bd4706f9be70634bf03f.

This rule set up a duplicate import:

$ udevadm test /devices/pci0000:00/0000:00:14.0/usb2/2-4/2-4.1/2-4.1.3
...
2-4.1.3: /usr/lib/udev/rules.d/40-libgphoto2.rules:9 Importing properties from results of builtin command 'usb_id'
2-4.1.3: /usr/lib/udev/rules.d/50-udev-default.rules:13 Skipping builtin 'usb_id' in IMPORT key
2-4.1.3: /usr/lib/udev/rules.d/50-udev-default.rules:13 Importing properties from results of builtin command 'hwdb --subsystem=usb'
2-4.1.3: hwdb modalias key: "usb:v17EFp3054:OneLink+ Giga"
2-4.1.3: /usr/lib/udev/rules.d/50-udev-default.rules:15 Importing properties from results of builtin command 'hwdb 'usb:v17efp3054''
2-4.1.3: No entry found from hwdb.
2-4.1.3: /usr/lib/udev/rules.d/50-udev-default.rules:15 Failed to run builtin 'hwdb 'usb:v17efp3054'': No data available
2-4.1.3: /usr/lib/udev/rules.d/50-udev-default.rules:52 MODE 0664

except that the existing one was done with uppercase digits and the full match pattern,
and the second one was done with lowercase digits.

With the previous commit we only have uppercase digits in our match patterns, so we can
drop the duplicate import. (Some other projects might have rules that used the lowercase
match patterns, and people might have some local rules that did that too. But the second
import was only added recently so I think it's better to rip off the bandaid quickly.)

hwdb: make usb match patterns uppercase

Those patterns were always supposed to be uppercase.

hwdb: fix check for uppercasedness of match patterns

The check was added in 77547d5313ea916d2fb64ca5a8812734e9b50f92, but
it doesn't work as expected. Because the second part is wrapped in Optional(),
it would silently "succeed" when the lowercase digits were in the second part:

>>> from parse_hwdb import *
>>> g = 'v' + upperhex_word(4) + Optional('p' + upperhex_word(4))
>>> g.parseString('v04D8pE11C*')
(['v', '04D8', 'p', 'E11C'], {})
>>> g.parseString('v04D8pe11c*')
(['v', '04D8'], {})

The following matches are OK:
usb:v0627p0001:*QEMU USB Keyboard*
usb:v0627p0001:*
usb:v0627p0001*
usb:v0627*